信息速览
INFOBOX — ANI-1x 一屏速览
维度 内容 本质 主动学习(Active Learning)驱动的有机分子非平衡构象 DFT 数据集,用于训练通用机器学习势(MLP) 谱系 ANI-1(2017,随机采样约 20M)→ ANI-1x(2018,主动学习约 5M) → ANI-1ccx(2019,其中约 50 万构象 CCSD(T)*/CBS 重算) 团队 Los Alamos National Laboratory(LANL) 主导,UNC Chapel Hill(Roitberg)、UF/CMU(Isayev)合作 主论文 J. Chem. Phys. 2018, 148(24), 241733,doi:10.1063/1.5023802;arXiv:1801.09319 数据描述 Scientific Data 2020, 7, 134,doi:10.1038/s41597-020-0473-z(figshare 归档 2020-04-23) 规模 4,956,005 构象 / 75,700,481 原子;约 6.4 万分子及复合物;3114 个 HDF5 化学式分组;平均约 15 原子 元素 仅 C / H / N / O(H 47.63%、C 30.30%、N 13.32%、O 8.75%) 标签 ωB97X/6-31G(d) 计算的能量、力、偶极;per-atom 力 + per-structure 能量/偶极 采样 Query by Committee(QBC)主动学习 × 四种采样:MD / 简正模 / 二聚体 / 扭转 高精度子集 ANI-1ccx 约 50 万构象(约占 10%)@ CCSD(T)*/CBS 基准 COMP6(含药物分子/三肽/小蛋白),验证势的泛化能力 获取 figshare 公开直链(ani1x-release.h5,HDF5);辅助仓库 github.com/aiqm/ANI1x_datasets 许可 CC0 1.0 Universal(公共领域奉献,无署名义务)
§0 导读:这个数据集解决什么问题
0.1 一句话定位
ANI-1x 是一份用「主动学习」而非「随机采样」生产出来的有机分子构象数据集。 它收录了约 495.6 万个含碳、氢、氮、氧(CHNO)的小分子与分子复合物的非平衡构象,每个构象都带有一段用密度泛函理论(Density Functional Theory, DFT)以 ωB97X/6-31G(d) 模型化学算出来的能量、力与偶极矩标签。它的目标不是记录某个实验,而是为训练「机器学习势」(Machine Learning Potential, MLP)提供高质量的量子化学「教材」——让神经网络学会用远低于第一性原理计算的成本,预测分子的能量与原子受力。
0.2 它要解决的核心矛盾:算得准 vs 算得起
计算化学长期被一个两难困住:
- 耦合簇方法(如 CCSD(T)) 精度最高,被称作「金标准」,但计算量随体系规模呈灾难式增长,几十个原子就已让超算捉襟见肘;
- 密度泛函理论(DFT) 快得多,但精度依赖泛函选择,且对单个分子逐一计算仍难撑起动辄数百万次的结构搜索;
- 经典力场 极快,能模拟百万原子,却是「用简化物理近似」,对陌生分子或反应常常失效。
机器学习势试图填这个缺口:用神经网络拟合量子化学给出的「结构 → 能量/力」映射,训练完成后推理速度可比 DFT 快几个数量级。但训练一个通用的 MLP,需要海量、且化学空间覆盖足够广的量子化学数据。传统做法是随机采样构象并逐一算 DFT——昂贵且低效,大量算力浪费在模型早已「学会」的简单构象上。
0.3 ANI-1x 的破题思路:让模型自己说要学什么
ANI-1x 的关键创新正是主动学习(Active Learning, AL)。它训练一个神经网络集成(ensemble),用成员之间的预测分歧度量模型对某个结构的「不确定程度」——分歧大的地方,就是模型还没学会的「难点」。算法只对这些高不确定性结构补算 DFT 标签,再回灌训练集、重新训练、进入下一轮迭代。这样算力就集中花在「模型不会的地方」,用远少于随机采样的数据达到同等甚至更好的精度。论文标题「Less is more(更少即是更多)」正是这个意思:数据更少、覆盖面更广、模型更强。
一句话概括 ANI-1x 的历史地位:它是「主动学习造数据集」这一范式的标杆之作,也是 ANI 系列通用势从 ANI-1 走向 ANI-1ccx 的关键中间层。 后续大量等变神经网络、张量敏感网络的通用能力评测,都把 ANI-1x 当作标准训练集与对照 baseline。
0.4 读者路线图
- 只想快速了解规模与许可 → 读本 INFOBOX 与 §1「十问十答」;
- 想知道数据怎么生成、含哪些字段 → 读 §2「数据构成与规格」与 §3「主动学习流水线」;
- 关心它和 ANI-1/ANI-1ccx 的关系 → 读 §4「家族谱系与双口径」;
- 要下载使用、关心格式与工具 → 读 §5「获取与工程实操」与 §6「许可与合规」;
- 想避坑或做复现 → 读 §7「生态影响」、§8「方法学启示」、§9「与库内条目关系」、§10「避坑清单」及 FAQ。
0.5 名字里的三层含义
初次接触容易被 ANI-1x 的名字绕晕,这里一次性拆解:
- ANI = ANAKIN-ME,全称 Accurate NeurAl networK engINe for Molecular Energies,是 LANL 团队为「分子能量」打造的神经网络势引擎系列名。它不是某个具体数据集,而是一整套方法 + 数据的家族品牌。
- 1 = 家族的第一代主干(后续还有 2x 代)。
- x = 「扩展/精炼(extended)」——指这一版是用主动学习采样扩展出来的,区别于随机采样的原始 ANI-1。
所以「ANI-1x」的字面意思就是:ANI 家族第一代主干里,用主动学习扩展出的那版数据。而「ANI-1ccx」的 ccx = coupled cluster extended,指用耦合簇精度扩展标注的子集。理解这套命名法,就能一眼看懂 ANI 家族的谱系图。
0.6 本条目为何值得进入「AI-Ready」图谱
「千方病案医数集」聚焦医疗 AI 的数据基础设施。ANI-1x 虽不直接是临床数据,却是药物发现与计算化学 AI 的地基:
- 它是「AI-Ready 数据集」的正面范例——许可最开放(CC0)、获取无门槛、社区工具链成熟;
- 它是「数据方法论」的标杆——用主动学习证明「更少的数据可以更好」,对医疗领域「如何高效构建标注数据集」有直接借鉴意义;
- 它是「可复现科学」的样本——流程全自动化、数据公开、论文可查,是 AI-Ready 光谱理想端的代表。
因此,本条目不仅介绍「这是什么样的数据」,更着力剖析「它为什么这样设计、凭什么说是 AI-Ready、别人能学到什么」。
0.7 本条目的事实纪律声明
本条目严格遵循千方库的核验纪律:
- 所有硬数字均标注来源,并在 §4.4 与附录 D 存照双口径与遗留疑点;
- 候选情报仅供参考,凡与一手来源冲突处按实核结果成稿(如 arXiv 号纠错、820 万疑点存照);
- 互链 rid 一律不写死,由主会话入库后按 DB 实查回填(R018 纪律);
- frontmatter 引号纪律:中文强调统一用「」,避免 YAML 解析失败(R009 纪律)。
若你在阅读中发现任何数字与一手来源不符,欢迎回原文核对并在库内反馈。
§1 数据集速览:十问十答
1.1 是什么?
ANI-1x 是一份有机分子非平衡构象 + DFT 能量/力/偶极标签的数据集,约 495.6 万构象、7570 万原子、仅含 C/H/N/O 四元素,用于训练通用机器学习势。它是 ANAKIN-ME(ANI)系列中承上启下的一代(「x」代表用主动学习「扩展/精炼」出来的版本)。
1.2 谁做的?
由洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory, LANL) 主导,合作方包括北卡罗来纳大学教堂山分校(UNC Chapel Hill,Adrian E. Roitberg 组)与佛罗里达大学/卡内基梅隆大学(Olexandr Isayev 组)。论文署名作者为 Justin S. Smith、Ben Nebgen、Nicholas Lubbers、Olexandr Isayev、Adrian E. Roitberg。
1.3 规模多大?
| 指标 | 数值 |
|---|---|
| 构象总数 | 4,956,005(≈500 万) |
| 原子总数 | 75,700,481(≈7570 万) |
| 分子及复合物数 | 约 64,000(6.4 万,口径见 §4) |
| HDF5 化学式分组数 | 3114 |
| 平均分子大小 | 约 15 原子 |
| ANI-1ccx 高精度子集 | 约 500,000(约占 10%) |
| 元素 | 仅 C/H/N/O |
1.4 标签是什么水平?
主标签是 ωB97X/6-31G(d)(等价写法 ωB97X/6-31G*)的 DFT 计算,用 Gaussian 09 完成;提供每原子力(force,单位 eV/Å)、每结构能量(energy)、每结构偶极矩(dipole)。约 50 万构象子集(ANI-1ccx)另以 CCSD(T)*/CBS(近似耦合簇/完备基组)重算,精度更高。
1.5 数据怎么来的?
主动学习(Query by Committee)。先训练 ANI 势集成,用成员预测标准差按 √N 归一得到不确定性度量 ρ;对 ρ 大的结构补算 DFT 并回灌训练,迭代至收敛。每次对选中的分子施加四种采样之一:分子动力学采样、简正模采样、二聚体采样、扭转采样。分子来源为 GDB-11、ChEMBL 及 RDKit 生成的氨基酸与二肽。
1.6 许可怎样?
CC0 1.0 Universal(公共领域奉献)。即作者放弃全部著作权,任何人可自由使用、修改、再分发,无需署名、无需遵守任何条件。这在化学数据集里属于最开放的许可档位之一。
1.7 怎么获取?
主分发点为 figshare(Springer Nature Figshare):ANI-1x Dataset Release(doi:10.6084/m9.figshare.10047041),核心文件 ani1x-release.h5(HDF5 格式)。公开直链,无申请门槛。解析需 h5py/ASE 等工具,辅助脚本见 github.com/aiqm/ANI1x_datasets。另有 modelforge curated 版(Zenodo)与 load-atoms 封装加载器作为镜像。
1.8 配套基准是什么?
COMP6——一个包含药物分子、三肽、二聚体乃至小型蛋白的多样有机分子基准,用于检验势的泛化能力(结构通常比训练集更大更复杂)。ANI-1x 论文的核心结论之一:主动学习势在 COMP6 上仅用 10% 数据即达到 ANI-1 水平,用 25% 数据大幅超越 ANI-1。
1.9 和 ANI-1、ANI-1ccx 什么关系?
三者构成 ANAKIN-ME 家族的递进链:
- ANI-1(2017):随机采样,约 2000 万构象;
- ANI-1x(2018):主动学习,约 500 万构象,多样性远高于 ANI-1;
- ANI-1ccx(2019):ANI-1x 中智能挑选的约 10%(约 50 万构象),用 CCSD(T)*/CBS 重算的高精度子集。
ANI-1x 既是独立训练集,也是训练 ANI-1ccx 的迁移学习底座。
1.10 为什么它重要?
因为它示范并验证了一条「用模型的不确定性指导数据生成」的通用路线,把「造数据集」从盲目堆算力变成有目标的主动搜索。这条路线后来被广泛复制到分子、材料、催化等领域的 MLP 数据构建中。对药物发现而言,ANI-1x 训练的势可用于快速筛选候选分子的构象能、稳定性与受力,是「AI for chemistry」基础设施的一环。
1.11 一句话澄清五个常见误解
| 误解 | 事实 |
|---|---|
| 「ANI-1x 是 ANI-1 的新版本」 | 是不同采样范式的独立数据集,非简单升级 |
| 「ANI-1x 有 820 万构象」 | 实证为 4,956,005(≈500 万) |
| 「ANI-1x 标签是耦合簇精度」 | 主标签是 DFT,只有 ANI-1ccx 子集才是耦合簇 |
| 「ANI-1x 需要申请才能下载」 | 公开直链,无申请门槛 |
| 「ANI-1x 有官方 HuggingFace」 | 没有,走 figshare |
1.12 阅读本文后你应该能回答的问题
- ANI-1x 到底有多少构象、多少原子、多少元素?
- 它和 ANI-1、ANI-1ccx 的确切关系是什么?
- 它的数据是怎么被「主动学习」生产出来的?
- 它的许可允许我做什么、不允许我做什么?
- 我从哪里下载、用什么工具读、有哪些坑?
- 它适合/不适合哪些任务?
若这些问题你都能在本文中找到明确答案,那么本条目就达到了它的目的。
§2 数据构成与规格
2.1 规模与量化口径
ANI-1x 的官方口径是「约 500 万个构象」。把它精确到个位,得自两处独立镜像的精算:
- load-atoms(jla-gardner 维护的数据集加载器)遍历
ani1x-release.h5逐组累加coordinates.shape[0],得 4,956,005 个结构、75,700,481 个原子; - modelforge curated dataset(choderalab 维护,Zenodo 归档)在其描述中记 4,956,005 total conformers,3114 unique entries,与 load-atoms 的构象数完全一致。
两个数字因此可以放心采纳为硬事实:构象 4,956,005、原子 75,700,481。候选情报中的「约 4.96M 构象 / 75.7M 原子」与此吻合;但情报另称「约 820 万重采样构象」,在任何一手来源中均未得证(详见 §4.4 的双口径存照与 §10 避坑)。
2.2 元素构成与分子尺度
load-atoms 给出的原子种类占比为:
| 元素 | 占比 |
|---|---|
| H(氢) | 47.63% |
| C(碳) | 30.30% |
| N(氮) | 13.32% |
| O(氧) | 8.75% |
数据仅覆盖碳氢氮氧(CHNO),不含氟、硫、磷等。氢原子数几乎占一半,说明数据集以大量含氢的有机骨架为主。Sci. Data 与 Nat. Commun. 论文均记平均分子大小约 15 个原子,属于「小分子」量级——这也划定了 ANI-1x 适用的化学空间边界:它能很好地描述小有机分子与二聚体,但天生不适配大分子、金属、无机材料。
2.3 HDF5 结构:以化学式为键
ani1x-release.h5 的组织方式对使用者而言至关重要。它的顶层键(key)不是分子的标识符,而是化学式(stoichiometry)。load-atoms 的导入脚本逻辑是:
with h5py.File(tmp_dir / "ani1x-release.h5", "r") as f:
n_structures = sum(data["coordinates"].shape[0] for data in f.values())
for data in f.values():
Zs = data["atomic_numbers"] # 该组分子的原子序数
coords = data["coordinates"][()] # N × 3 坐标
dft_energy = data["wb97x_dz.energy"][()] # ωB97X/6-31G(d) 能量(hartree)
dft_dipole = data["wb97x_dz.dipole"][()] # 偶极
dft_forces = data["wb97x_dz.forces"][()] # 力
cc_energy = data["ccsd(t)_cbs.energy"][()] # CCSD(T)*/CBS 能量(子集)
也就是说,同一化学式下的所有分子/构象被归到同一个组,组内以数组形式存放该组全部构象。这解释了 §1 与 §4 的关键双口径:组数(3114)不等于分子数(约 6.4 万)——许多结构异构体共享同一化学式,因而落入同一组。检索者若按「键数 = 分子数」理解 HDF5,会把 6.4 万分子误读成 3114 个,反之亦然。
2.4 标签字段与单位
每个构象可携带的标注(以 ωB97X/6-31G(d) 为主,curated 版扩展):
| 层级 | 字段 | 单位 | 说明 |
|---|---|---|---|
| per-atom | forces | eV/Å | 每个原子的受力矢量(N×3) |
| per-structure | energy | hartree(脚本转 eV) | 该构象的 DFT 总能量 |
| per-structure | dipole | e·Å | 偶极矩 |
| per-structure | is_in_ccx | bool | 是否属 ANI-1ccx 高精度子集 |
| curated 扩展 | wb97x_tz 系列能量/力 | kJ/mol 等 | 更大基组(def2-TZVPP)重算 |
| curated 扩展 | CM5/Hirshfeld/MBIS 电荷 | e | 多种电荷分配方案 |
| curated 扩展 | npno/tpno/mp2 校正能量 | kJ/mol | 多种 CCSD(T) 校正量 |
单位陷阱:HDF5 内 wb97x_dz.energy 以 hartree 存储,而 load-atoms/modelforge 导入脚本会把它转成 eV 或 kJ/mol(Hartree→eV 换算因子 27.2114079527)。使用者在跨库对齐时若忽略单位,会得到量级错误的对照。modelforge 版明确把单位写成 openff-units 兼容字符串(如 kilojoule_per_mole),是更「自描述」的格式。
2.5 数据质量与抽样偏差
作为主动学习产物,ANI-1x 的构象分布明显偏向「模型当初不确定」的区域,而非化学空间中的均匀或平衡分布。这带来两点后果:
- 优势:覆盖了随机采样容易漏掉的「困难」区域(高能、畸变、过渡构象),因此泛化性更好;
- 代价:构象分布高度不均匀,某些化学式/分子贡献了远多于其他的构象;直接拿它做无偏统计(如构象分布直方图)会有严重的采样偏置。做训练集划分时,按「化学式分组」切分比按构象随机切分更合理,可避免同组数据泄漏到测试集。
2.6 与「平衡态采样」数据集的边界
ANI-1x 采样的是非平衡构象(non-equilibrium),来源包括 MD 轨迹、简正模位移、二聚体与扭转扫描。这使其不是一个「平衡态构象库」,也不能直接当作「分子基态几何表」使用。Sci. Data 描述论文明确指出,正因为是非平衡采样,ANI-1x 比「QMx 式」数据集的构象多样性要大得多——这是它的卖点,也是它区别于 QM9、MD17 等数据集的根本所在。
2.7 一条记录的解剖:从原子序数到能量标签
为了让「一条 ANI-1x 记录」的抽象描述落地,这里追踪一个典型构象从 HDF5 到可训练样本的完整路径:
- 定位分组:HDF5 顶层以化学式(如
C7H10N2O)为键,找到对应组; - 读原子身份:
atomic_numbers给出该组所有原子的原子序数数组(决定元素种类与分子骨架); - 读几何:
coordinates给出每个构象的 N×3 坐标矩阵(单位 Å),第 i 个构象即coordinates[i]; - 读能量标签:
wb97x_dz.energy[i]是该构象的 DFT 总能量(hartree); - 读力标签:
wb97x_dz.forces[i]是每个原子的受力(N×3),是训练势函数的核心监督信号; - 读偶极:
wb97x_dz.dipole[i]是分子偶极矩(e·Å); - 查高精度标志:
is_in_ccx[i]与ccsd(t)_cbs.energy[i]判断该构象是否有耦合簇标签。
训练时,模型输入「原子种类 + 坐标」,输出「能量 + 每个原子受力」,用监督学习拟合这一映射。力标签之所以关键,是因为它提供了比单个能量标量丰富得多的梯度信息——一个含 N 个原子的构象,能量是 1 个标量,力却有 3N 个分量,极大地提升了学习效率。
2.8 为什么「力」比「能量」更重要
在势函数训练中,力(forces)标签的信息密度远高于能量。原因有三:
- 维度优势:单个构象提供 3N 个力分量 + 1 个能量标量,力主导了监督信号;
- 梯度即导数:力是能量对坐标的负梯度,直接约束了势能面的局部形状,比绝对能量更贴近「势能否驱动正确动力学」这一目标;
- 标定尺度:能量可以整体平移而不影响物理(只差常数),力则不然——力是绝对的,因此是更「干净」的监督目标。
ANI-1x 同时提供能量与力,正是为了让训练既锚定绝对能量,又精确刻画势能面梯度。这也是它在 MD 应用上表现出色的原因之一。
2.9 数据规模在同类中的位置
把 ANI-1x 的 4,956,005 构象放进同类数据集的坐标中:
| 数据集 | 构象量级 | 相对 ANI-1x |
|---|---|---|
| QM7 | 约 7 千 | 千分之一量级 |
| QM9 | 约 13.4 万 | 约 2.7% |
| ANI-1ccx | 约 50 万 | 约 10% |
| ANI-1x | 约 495.6 万 | 1× |
| ANI-1 | 约 2000 万 | 约 4× |
| OC20 | 百万级(吸附体系) | 同量级但异域 |
注意:规模大不等于「更适合」。ANI-1 的 2000 万构象是随机采样,而 ANI-1x 用约 1/4 的数据实现了更广的化学空间覆盖——这正是主动学习的价值所在。单纯比拼构象数会错失重点。
2.10 标签精度的层级:DFT 与 CCSD(T) 的差距
ANI-1x 的主标签是 DFT(ωB97X/6-31G(d))。DFT 虽快,但与耦合簇(金标准)之间存在系统性误差,典型量级在能量上可达数 kcal/mol。ANI-1ccx 子集用 CCSD(T)*/CBS 重算,把这一误差压到接近化学精度(约 1 kcal/mol)。因此:
- 用全量 ANI-1x 训练 → 势的精度上限受 DFT 标签精度限制;
- 用 ANI-1ccx 子集训练 → 势的精度上限接近耦合簇。
这是「分层精度」策略的直接体现:大规模数据用 DFfor 保证覆盖,关键子集用耦合簇保证精度。检索者若对精度有高要求,务必确认自己用的是哪一层标签。
2.11 数据的「三宗最」与「三短板」
三宗最(相对同类):
- 最开放的许可之一:CC0,无任何约束;
- 数据效率最高的范式之一:主动学习,用更少数据覆盖更广空间;
- 元数据最丰富的字段之一:能量 + 力 + 偶极 + 电荷 + 多精度标签齐备。
三短板:
- 元素最窄:仅 CHNO,缺卤素/硫/磷;
- 分子最小:平均 15 原子,难及大分子;
- 分布最偏:主动学习采样,非无偏样本。
这张「三宗最 + 三短板」表,是快速判断「ANI-1x 是否适合我」的决策辅助。若你的任务落在短板区,请转向 ANI-2x 或异域数据集;若落在长处区,ANI-1x 是极低摩擦的起点。
2.12 复核用的最小核对清单
任何引用 ANI-1x 数字的场合,建议先过一遍这张核对清单:
| 要核对的数字 | 正确值 | 常见错误 |
|---|---|---|
| 构象总数 | 4,956,005 | 820 万(错) |
| 原子总数 | 75,700,481 | — |
| 分子数 | 约 6.4 万 | 3114(口径混淆) |
| HDF5 组数 | 3114 | 6.4 万(口径混淆) |
| 主标签方法 | ωB97X/6-31G(d) | 误当 CCSD(T) |
| 高精度子集 | ANI-1ccx,约 50 万 | — |
| 论文 arXiv | 1801.09319 | 1706.00279(错) |
| 许可 | CC0 1.0 | 误当 CC BY-NC |
这张表本身就是一份「避坑速查」,对应 §10 的坑点清单。
§3 主动学习流水线:数据是怎么「长」出来的
3.1 为什么不用随机采样
传统 QM 数据集(如 ANI-1)用随机采样生成构象:对每个分子随机扰动、算 DFT。问题在于,这种策略对「模型已经学好的简单区域」和「模型没学会的困难区域」一视同仁,算力被大量浪费在无信息量的点上。要给通用势覆盖足够广的化学空间,随机采样的数据量需求呈指数式膨胀。
ANI-1x 的解法是主动学习(Active Learning, AL):让模型自己报告哪里不确定,只对不确定的地方补数据。论文标题「Less is more」即由此而来。
3.2 Query by Committee(QBC)机制
ANI-1x 的主动学习基于 Query by Committee(QBC,委员会查询)。具体流程:
- 训练集成:在一个初始「引导数据集」上训练一组 ANI 神经网络(集成),成员之间因初始化与数据子集不同而存在预测差异;
- 度量不确定性:对任一新结构,计算集成成员预测的标准差,再按 √N(N 为体系原子数)归一化,得到不确定性度量 ρ(rho);
- 筛选补算:ρ 值大 → 说明集成成员分歧大、模型「没把握」→ 对这一结构补算 DFT 标签;
- 回灌迭代:把新标签加入训练集,重新训练集成,进入下一轮;
- 分批加速:新数据分批加入以加快迭代,整个流程自动化、可重复,直至收敛。
Sci. Data 描述论文对 ρ 的定义是:「ρ 与集成预测的标准差成正比,并以体系原子数的平方根归一化。」这一归一化很关键——否则大分子天然预测方差更大,会误导采样的选择。
3.3 四种采样技术
每轮主动学习对选中的分子施加四种采样技术之一,以覆盖不同类型的构象空间:
- 分子动力学采样(MD sampling):用当前训练的 ML 势集成驱动 MD 模拟。论文给出的具体参数是——随机温度 50–800 K、Langevin 恒温器、时间步 0.5 fs、摩擦系数 0.02 fs⁻¹,每 5 个 MD 步就计算一次 ρ。这能沿着势能面探索热运动可达的构象。
- 简正模采样(normal mode sampling):在平衡几何附近沿简正模方向施加随机位移(位移幅度按温度标定),生成平衡几何邻域内的构象。这补齐了「分子在其平衡结构附近的小幅振动」区域。
- 二聚体采样(dimer sampling):对分子二聚体(两分子接近的复合物)采样,专门探测分子间相互作用(如氢键、范德华作用)。这是单体采样无法覆盖的区域。
- 扭转采样(torsion sampling):系统性扫描分子的二面角(扭转角),覆盖构象异构体的完整能量曲线。这对柔性分子至关重要——很多药物分子的活性取决于特定扭转构象。
四种技术的组合,使得 ANI-1x 的构象多样性远超单纯随机扰动所得。
3.4 分子来源库
主动学习循环从以下来源随机抽取新分子:
- GDB-11:含至多 11 个重原子的枚举有机分子数据库;
- ChEMBL:生物活性分子数据库(药物化学来源);
- RDKit 生成:氨基酸与 2-氨基酸二肽(用 RDKit 化学信息学 Python 包生成)。
这种「通用小分子库 + 药物分子库 + 生物相关肽」的组合,决定了 ANI-1x 的化学空间定位:面向药物发现与小分子生物化学。
3.5 从 ANI-1x 到 ANI-1ccx:迁移学习
ANI-1ccx 的生成是第二阶段的工作,基于 ANI-1x 做迁移学习(transfer learning):
- 从 ANI-1x 中智能挑选约 10%(约 50 万构象)子集;
- 对这些构象用 CCSD(T)*/CBS(近似耦合簇/完备基组)重新计算标签;
- 用这批高精度数据对 ANI-1x 势进行再训练(迁移学习)。
选择子集的过程同样用 QBC:先用一批 CCSD(T)*/CBS 数据训练集成,计算 ANI-1x 中所有构象的 ρ,挑选 ρ 超阈值者补算。这样,高成本的耦合簇计算被集中用在信息量最大的点上,实现了「以少量高精度数据换取接近 CCSD(T) 的全局精度」。ANI-1ccx 论文(Nat. Commun. 2019)称这是「通过迁移学习逼近耦合簇精度」。
3.6 自动化与可复现
整个流程用 ASE(Atomic Simulation Environment) Python 库完成 MD 模拟与几何优化。数据描述论文强调流程「完全自动化」,可重复、可扩展。这也是后续 ANI-2x(扩展到 S、F、Cl 等元素)等方法论的直接基础。
3.7 主动学习的成本账:省下了什么
要理解 ANI-1x 的「数据效率」主张,需要把它换算成计算成本。DFT 单点计算的成本随体系规模快速上升,而生成一个「有用」的构象(即模型真正需要的构象)的成本,取决于采样策略是否高效:
- 随机采样路线(ANI-1):构象均匀撒在化学空间,大量落点位于模型早已掌握的区域,标记这些点几乎不带来精度收益,却同样消耗 DFT 算力。要达到某精度,需要 2000 万级构象。
- 主动学习路线(ANI-1x):每一轮只标记 ρ 值高的构象,落点集中于模型「不会」的区域,每个标签的信息量更高。达到同等或更好精度,只需约 500 万级构象。
论文给出的量化结论是:在 COMP6 上,主动学习势用 10% 数据即达到 ANI-1 水平,用 25% 数据大幅超越 ANI-1。这里「10%/25%」是相对于「达到同精度所需的随机采样数据量」而言,体现的正是 AL 相对于随机采样的数据效率倍数。
3.8 ρ 阈值与批次策略
主动学习中一个关键的工程选择是「ρ 阈值」——多大算「不确定」,才值得补算。阈值过低,会补算太多(回到低效的随机采样);阈值过高,会补算太少(模型学不动)。ANI-1x 采用的是「分批补算 + 逐步降阈值」的实践:每轮取 ρ 最高的一批结构标记,回灌后重新评估,如此往复。数据描述论文特别指出新数据「分批(in batches)」加入以「加速主动学习过程」——批量太小迭代慢,批量太大则每一轮的训练失衡。
3.9 四种采样技术各自的适用场景
| 采样技术 | 覆盖的构象空间 | 何时最有用 |
|---|---|---|
| 分子动力学(MD) | 热运动可达的非平衡区域 | 探索反应路径、高温构象 |
| 简正模(normal mode) | 平衡几何邻域的小幅振动 | 精修势在平衡点附近的精度 |
| 二聚体(dimer) | 分子间相互作用区 | 氢键、范德华、堆叠作用 |
| 扭转(torsion) | 二面角扫描的构象异构体 | 柔性分子的构象能曲线 |
四者互补:简正模保证「近平衡区」,MD 覆盖「热扰动区」,扭转保证「构象异构体完整」,二聚体补齐「分子间」。缺少任一类,势在对应区域的精度都会塌陷。
3.10 与「模型选择」的耦合风险
主动学习有一个内在的方法论风险:训练数据由模型自身的判断生成。若初始模型存在系统性偏差,它可能持续在「自己认为不确定」但实际并不重要的区域采样,形成「自我强化」的偏置回路。ANI-1x 通过「四种采样技术轮换 + 多来源分子库 + 分批迭代」来缓解这一风险,但检索者应意识到:主动学习数据集并非「无偏样本」,其分布天然携带生成时模型的印迹。这一点在做分布敏感的下游分析时尤为关键。
§4 家族谱系与双口径:三个必须分清的数字
4.1 ANAKIN-ME(ANI)家族三代
| 代际 | 年份 | 构象数 | 采样方式 | 精度 | 论文 |
|---|---|---|---|---|---|
| ANI-1 | 2017 | 约 2000 万 | 随机/简正模 | ωB97X/6-31G(d) | Sci. Data 4:170193 |
| ANI-1x | 2018 | 约 496 万 | 主动学习 | ωB97X/6-31G(d) | JCP 148:241733 |
| ANI-1ccx | 2019 | 约 50 万 | ANI-1x 子集重算 | CCSD(T)*/CBS | Nat. Commun. 10:2903 |
名字里的「x」指主动学习「扩展/精炼」出的版本;「ccx」指「coupled cluster extended」,即用耦合簇精度重算的子集。ANI-1 的 2000 万构象是随机采样的产物,ANI-1x 的约 500 万构象则是主动学习的产物——更少的数据,更大的多样性,这正是「Less is more」的核心主张。
4.2 ANI-1x 在谱系中的双重身份
ANI-1x 既是独立训练集(训出 ANI-1x 势),又是迁移学习底座(ANI-1ccx 的基础)。理解这一点对正确引用至关重要:若你的模型在 ANI-1x 上训练,你用的是 DFT 级标签;若在 ANI-1ccx 上训练,你用的是「在 ANI-1x 之上再叠耦合簇」的标签,两者精度与适用场景不同。ANI-1ccx 的构象重叠于 ANI-1x,不计入 ANI-1x 的构象总量。
4.3 论文与 DOI 的正确对应
检索 ANI-1x 时最易混淆的是「哪篇论文对应哪个 DOI」:
| 内容 | 论文 | DOI | arXiv |
|---|---|---|---|
| ANI-1x 首发(方法论) | J. Chem. Phys. 2018, 148, 241733 | 10.1063/1.5023802 | 1801.09319 |
| ANI-1x + ANI-1ccx 数据描述 | Scientific Data 2020, 7, 134 | 10.1038/s41597-020-0473-z | — |
| ANI-1ccx(迁移学习) | Nat. Commun. 2019, 10, 2903 | 10.1038/s41467-019-10827-4 | — |
| ANI-1(前作) | Sci. Data 2017, 4, 170193 | 10.1038/sdata.2017.193 | — |
重要纠错:本次核验发现,候选情报把 ANI-1x 论文的 arXiv 号写成 1706.00279 是错误的。经三源核验,1706.00279 实为 Garrido & Meroño 的数学拓扑学论文《The Samuel realcompactification》(math.GN);ANI-1x 论文的正确 arXiv 号是 1801.09319(v1 2018-01-28,v2 2018-04-09)。同理,PMC6602931 并非 ANI-1x 的数据描述论文,而是 2019 年 ANI-1ccx 的 Nat. Commun. 论文。真正的数据描述论文是 Scientific Data 2020, 7, 134。
4.4 双口径存照:3114 vs 6.4 万,以及「820 万」疑点
口径 A(HDF5 分组数):modelforge curated 版记 3114 unique entries;load-atoms 遍历 HDF5 亦得约 3114 个顶层键(化学式分组)。3114 = HDF5 键数 = 化学式分组数。
口径 B(分子实体数):Scientific Data 描述论文与 matbench 记 约 64,000(64k)个分子及分子复合物——这是采样覆盖的分子实体数。
二者不矛盾:同一化学式的多个结构异构体/构象被归入同一 HDF5 组,因此组数(3114)远小于分子数(6.4 万)。引用时务必注明口径,否则会得出「ANI-1x 只有 3114 个分子」的错误印象。
第三个数字「约 820 万重采样构象」——遗留疑点。 候选情报称 ANI-1x 有「约 820 万重采样构象(主动学习采样)」。本次核验中,所有一手来源给出的构象总量均为 4,956,005(≈500 万),无一处出现 820 万。该数字的可能来源:(1)与 ANI-1 的约 2000 万或其他版本混淆;(2)把主动学习迭代过程中累计生成过的中间结构(含未入选最终发布的部分)计入;(3)单纯的引用错误。本条目按一手实证的 4,956,005 成稿,「约 820 万」仅作为遗留疑点记录,不作为硬数字采用。
4.5 与 ANI-1 的关系边界
Scientific Data 描述论文明确:ANI-1x 采用非平衡采样而非平衡采样,因此比「QMx 式」数据集构象多样性大得多;且因采用主动学习,其构象多样性远高于 ANI-1 的随机采样集。但一手来源未明确给出 ANI-1x 与 ANI-1 的构象是否重叠、重叠多少——ANI-1x 是 ANI-1 的超集还是独立集,文献未明写。这是一处遗留疑点,引用时不宜自行断言二者无重叠。
§5 获取与工程实操
5.1 官方分发点
ANI-1x 的主分发点是 Springer Nature Figshare:
- ANI-1x Dataset Release:https://springernature.figshare.com/articles/dataset/ANI-1x_Dataset_Release/10047041
- doi: 10.6084/m9.figshare.10047041,posted 2020-04-23
- 核心文件:
ani1x-release.h5(HDF5) - figshare 直链:
https://springernature.figshare.com/ndownloader/files/18112775(md5 前缀 fe0ba06198ee)
- 合并 Collection(ANI-1ccx + ANI-1x):doi 10.6084/m9.figshare.c.4712477
figshare 记录页正文极简,只有一句「数据文件需要特殊工具提取」,工具见辅助仓库 github.com/aiqm/ANI1x_datasets。这意味着没有官方脚本你就无法直接读懂 HDF5,必须依赖社区工具或自行按结构解析。
5.2 镜像与 curated 版本
由于 HDF5 直读门槛较高,社区衍生出多个「友好封装」版本:
| 版本 | 维护方 | 载体 | 说明 |
|---|---|---|---|
| 原始 HDF5 | LANL(aiqm) | figshare | 官方,ani1x-release.h5 |
| modelforge curated | choderalab | Zenodo records/12176579(v1.1)/ 12176580(v0) | HDF5 schema 2,openff-units 自描述单位,含更多电荷/能量字段;ani1x_dataset_v1.1_ntc_1000.hdf5.gz 约 1.4 MB |
| load-atoms | jla-gardner | PyPI 包 | 从 figshare 下载并转 ASE Atoms,一键 load_dataset("ANI-1x") |
| TorchANI | aiqm | GitHub/PyPI | ANI 势的 PyTorch 实现,配套数据加载 |
5.3 最小加载示例(load-atoms)
from load_atoms import load_dataset
ds = load_dataset("ANI-1x")
# ds: 4956005 structures, 75700481 atoms
# species: H 47.63% / C 30.30% / N 13.32% / O 8.75%
# per-atom: forces
# per-structure: dipole, energy, is_in_ccx
load-atoms 的优势在于把 HDF5 封装成 ASE 对象,自动处理单位换算(hartree→eV)与字段映射,是快速上手的最短路径。缺点是首次使用需联网从 figshare 下载完整 HDF5(体积较大)。
5.4 存储与算力提示
约 500 万构象、7570 万原子的 HDF5 文件,解压/加载后占用可观内存。工程建议:
- 不要一次性把全量读进内存;按化学式分组(HDF5 key)流式读取;
- 训练时按化学式分组切分训练/验证/测试集,避免同组泄漏(见 §9 方法学建议);
- 若只需子集,
is_in_ccx字段可快速筛出 ANI-1ccx 的高精度子集。
5.5 与 HuggingFace 的关系
ANI-1x 没有官方 HuggingFace 托管。化学/材料数据集在 HF 上的托管相对少见,检索者若在 HF 上找不到 ANI-1x 不必惊讶——它的正统入口始终是 figshare。第三方镜像以 Zenodo(modelforge)为主。
5.6 获取门槛总结
| 资产 | 门槛 |
|---|---|
| 原始 HDF5(figshare) | 无门槛公开直链 |
| 解析工具(aiqm/ASE/h5py) | 开源可自由获取 |
| modelforge curated(Zenodo) | 无门槛 |
| load-atoms(PyPI) | 无门槛 |
| 许可 | CC0,无任何限制 |
ANI-1x 在「可获取性」维度上是近乎满分的数据集:公开直链 + 最宽松许可 + 活跃的社区工具链。这与其「基础设施型」定位相符。
5.7 数据血缘与版本演进
理解 ANI-1x 的版本链,有助于避免「下错版本、用错字段」:
- 2018-01 / 2018-06:ANI-1x 随 JCP 论文首次公开(方法论与初版数据);
- 2019-08:ANI-1ccx 随 Nat. Commun. 论文发布(ANI-1x 的约 10% 耦合簇重算子集);
- 2020-04-23:figshare 正式归档 ANI-1x + ANI-1ccx 合并 HDF5(
ani1x-release.h5),这是当前最正统的下载入口; - 2024:modelforge curated 版发布(Zenodo records/12176579 为 v1.1),把数据整理进 HDF5 schema 2,单位自描述,便于现代 ML 流水线直接消费。
关键点:ANI-1x 与 ANI-1ccx 在同一份归档文件里。下载 ani1x-release.h5 后,ANI-1ccx 的高精度子集通过 ccsd(t)_cbs.energy 字段与 is_in_ccx 标志区分,不需要单独下载。
5.8 figshare 记录页的「元数据荒漠」问题
本次核验发现一个真实的工程障碍:figshare 的 ANI-1x 记录页正文极简,只有一句「数据文件需要特殊工具提取,工具见 github.com/aiqm/ANI1x_datasets」,并未在页面上直接给出构象数、原子数、元素构成或许可全文。这意味着:
- 想确认「到底多少构象」,得去读论文或第三方镜像(这正是本条目要做三源互证的原因);
- 想确认「许可到底是什么」,得在页面角落的 Licence 字段里找(显示为 CC0);
- figshare 未提供机器可读的结构化 metadata JSON(至少不在页面可见层)。
对 AI-Ready 而言,这是互操作性维度扣分的直接来源:数据本体开放,但元信息散落。使用者应养成「以论文 + 第三方镜像交叉核对元数据」的习惯。
5.9 与相邻数据集的取舍
若你手头的任务在以下几种情形,应重新考虑是否用 ANI-1x:
- 需要含氟/硫/磷的分子 → 转向 ANI-2x(元素扩展版);
- 需要耦合簇级精度 → 用 ANI-1ccx 子集,或 QM 级高精度库;
- 需要平衡态几何/热力学 → 用平衡态数据集(如 QM9 的优化几何);
- 需要大分子/蛋白/材料 → ANI-1x 覆盖不足,考虑更大的 NNP 数据集;
- 需要分子间弱相互作用专项 → ANI-1x 有二聚体采样,但专门的 S66x8 等基准可能更聚焦。
5.10 复现实操:从零到可训练样本
以下是使用 ANI-1x 的推荐工程路径(load-atoms 快捷路线):
# 1) 安装加载器(会按需从 figshare 下载 ani1x-release.h5)
pip install load-atoms
# 2) 一行加载(首次触发下载,体积较大,建议预留磁盘与带宽)
python - <<'PY'
from load_atoms import load_dataset
ds = load_dataset("ANI-1x")
print(len(ds)) # 4956005
print(ds[0]) # ASE Atoms 对象,含 energy/forces/dipole
PY
若走原始 HDF5 路线(需精细控制字段与内存):
import h5py
with h5py.File("ani1x-release.h5", "r") as f:
keys = list(f.keys()) # 3114 个化学式分组
g = f[keys[0]]
Zs = g["atomic_numbers"][:]
coords = g["coordinates"][:] # N_conf × N_atom × 3
e = g["wb97x_dz.energy"][:] # hartree
forces = g["wb97x_dz.forces"][:]
5.11 内存与 IO 优化的四条实践
面对约 500 万构象的体量,工程上有四条经验值得记住:
- 流式读取:按 HDF5 分组逐个处理,不要
f[...][()]一次性读全量; - 格式转换缓存:把常用子集转成内存映射友好的格式(如 numpy
.npy、LMDB、WebDataset),避免重复解析 HDF5; - 分组切分:训练/验证/测试按化学式组划分(见 §8.4),既防泄漏又便于并行;
- 单位归一:进入训练管线前统一到单一单位制(推荐 kJ/mol + Å),避免 hartree/eV 混用。
5.12 数据加载的常见报错与排查
| 现象 | 可能原因 | 处置 |
|---|---|---|
KeyError 找不到字段 |
字段名随版本不同(如 wb97x_dz vs wb97x_tz) | 先 print(g.keys()) 看实际字段 |
| 能量量级异常 | 单位误判(hartree 当 eV) | 检查加载器是否换算,或手动 ×27.2114 |
| 内存溢出 | 一次性读全量 | 改流式/分块 |
| 下载中断 | 大文件网络问题 | 用支持断点的下载工具重试 |
| 找不到官方 HF | 本就没有 | 走 figshare(见坑 7) |
5.13 与训练框架的衔接
ANI-1x 的「原子坐标 + 能量 + 力」结构,是所有主流势函数框架的通用输入。接入方式:
- TorchANI:aiqm 官方 PyTorch 实现,直接消费 ANI-1x;
- ASE 生态:load-atoms 输出 ASE
Atoms,可喂给任意 ASE 兼容框架; - 自研框架:按「原子序数 + 坐标 + 能量 + 力」四元组构造 Dataset/Dataloader 即可。
关键约定:同一次前向必须用「同构象」的坐标-能量-力三者配对,切勿错位(HDF5 内三者按构象索引对齐)。
§6 许可与合规:CC0 意味着什么
6.1 许可事实
ANI-1x 数据集采用 CC0 1.0 Universal(公共领域奉献,Public Domain Dedication)。三个独立来源一致确认:
- figshare 记录页 Licence 明示 CC0;
- matbench-discovery 记 CC0-1.0;
- modelforge(Zenodo)记「released with CC0 1.0 Universal License」。
CC0 是 Creative Commons 中最极端的一档:作者放弃一切著作权及相关权利,将作品置于公共领域。
6.2 CC0 的实际含义
与常见的 CC BY(需署名)、CC BY-NC(禁商用)、CC BY-SA(传衍生)等许可不同,CC0 不要求署名、不限制商用、不要求衍生作品同许可。具体而言:
- ✅ 可自由使用、复制、修改、分发;
- ✅ 可用于商业产品(如药物发现软件、云平台);
- ✅ 可闭源、可再许可;
- ✅ 无署名义务(虽然学术惯例上仍建议引用论文)。
这在化学数据集中属于最开放的档位。作为对比,许多生物医学数据集采用 CC BY-NC 或「申请制」,而 ANI-1x 的 CC0 使其成为真正的「公共基础设施」。
6.3 学术引用的惯例
尽管 CC0 不强制署名,学术规范仍强烈建议引用原始论文。推荐引用:
Smith, J. S.; Nebgen, B.; Lubbers, N.; Isayev, O.; Roitberg, A. E. Less is more: sampling chemical space with active learning. J. Chem. Phys. 2018, 148 (24), 241733. doi:10.1063/1.5023802
若使用 ANI-1ccx 子集或数据描述内容,还应引用:
Smith, J. S. et al. The ANI-1ccx and ANI-1x data sets, coupled-cluster and density functional theory properties for molecules. Sci. Data 2020, 7, 134. doi:10.1038/s41597-020-0473-z
6.4 许可边界注意事项
- 数据集许可 ≠ 论文许可:JCP 论文本身受出版商版权约束(阅读/引用规则与数据集 CC0 不同)。CC0 适用于数据,不自动适用于论文正文。
- 底层来源库:构象生成的分子来自 GDB-11、ChEMBL 等,但最终发布的 HDF5 是 DFT 计算结果(新生成的衍生数据),CC0 覆盖的是这批计算结果。使用者无需回溯原始分子库的许可。
- 计算软件:Gaussian 09 为商业软件,但其输出的计算结果不受 Gaussian 软件许可约束——数据可自由分发(这正是 LANL 能以 CC0 发布的原因)。
6.5 AI-Ready 合规评价
从「AI-Ready」视角评估 ANI-1x 的许可合规:
| 维度 | 评价 |
|---|---|
| 商用许可 | ✅ CC0 允许 |
| 再分发 | ✅ 无限制 |
| 署名要求 | ⚪ 无强制(惯例建议引用) |
| 用途限制 | ⚪ 无 |
| 可修改/衍生 | ✅ 允许 |
| 检索门槛 | ✅ 公开直链 |
这是 AI-Ready 光谱中最理想的一端:法律风险接近零。研究者可放心将其纳入训练管线、商业模型与再分发数据集,无需担心许可污染。
6.6 许可对比:ANI-1x 与常见数据许可
为帮助检索者快速判断「能不能用」,列出常见许可的关键差异:
| 许可 | 商用 | 署名 | 衍生同许可 | 典型场景 |
|---|---|---|---|---|
| CC0(ANI-1x) | ✅ | ❌ 无要求 | ❌ 无要求 | 公共领域奉献 |
| CC BY | ✅ | ✅ 必须 | ❌ | 要求署名的开放数据 |
| CC BY-NC | ❌ 禁商用 | ✅ | ❌ | 学术专用 |
| CC BY-SA | ✅ | ✅ | ✅ | 维基式传染 |
| 申请制 | 视协议 | 视协议 | 视协议 | 医疗隐私数据 |
ANI-1x 的 CC0 是所有档位里约束最少的。这也是它能在工业界被广泛采用(无需法务审查许可兼容性)的原因。
6.7 AI-Ready 许可合规的「三条自检」
拿到任何数据集,可用以下三条快速判断 AI-Ready 合规性,ANI-1x 作为对照:
- 能否商用? ANI-1x 可以(CC0),无 NC 限制;
- 再分发是否触发传染条款? ANI-1x 不触发(CC0 无 SA),可自由并入专有数据集;
- 是否要求署名? ANI-1x 不强制(CC0),学术惯例建议引用即可。
三条全过,即为「低摩擦 AI-Ready」数据。ANI-1x 三项全绿。
§7 生态、基准与影响
7.1 COMP6 基准
COMP6 是随 ANI-1x 一同推出的配套基准,用于检验「通用势」的泛化能力。它包含多个子集,覆盖:
- 药物样分子(含 S66x8 等分子间作用子集);
- 三肽(tripeptides);
- 部分小型蛋白(small proteins);
- 含分子间相互作用的复合物。
与训练集相比,COMP6 的结构通常更大、更复杂——这正是检验「通用性」的关键:一个真正通用的势,必须能外推到训练时没见过的大分子与复杂相互作用。
7.2 论文的核心结论
ANI-1x 论文(JCP 2018)报告的定量结论是:
- 主动学习势在 COMP6 上,仅用 10% 的数据即达到 ANI-1 势的水平;
- 用 25% 的数据则大幅超越 ANI-1 势;
- 主动学习同时减少了对人工挑选数据的依赖,缓解了「人决定用什么数据」的主观偏置。
这些结论确立了「主动学习造数据」相对于「随机采样造数据」的效率优势。
7.3 后续影响与引用生态
ANI-1x 已成为计算化学/材料机器学习领域的标准训练集与 baseline,被大量后续工作引用:
- 等变神经网络与张量敏感网络:如 HIP-NN-TS(arXiv:2212.03195)以 ANI-1x 为通用能力测试床。报告称张量敏感(ℓ>0)相对纯标量(ℓ=0)在 COMP6 上能量与力误差降低约 2 倍,且集成(ensemble)显著降低预测散布。
- 不确定性估计方法:MAUL(arXiv:2501.05250)用 ANI-1x 做 9 折交叉验证来评估贝叶斯神经网络的不确定性质量。
- 势函数实现:TorchANI(aiqm)提供 PyTorch 版 ANI 势;ASE 提供统一的原子模拟接口。
- 方法论延伸:ANI-2x 把元素覆盖扩展到 S、F、Cl 等,继承并扩展了 ANI-1x 的主动学习框架。
7.4 在数据集景观中的位置
把 ANI-1x 放进分子/量子化学数据集的谱系中:
| 数据集 | 规模 | 元素 | 精度 | 采样方式 | 定位 |
|---|---|---|---|---|---|
| QM7 / QM9 | 7k / 134k | CHNOF | DFT | 平衡态 | 小分子性质预测 |
| MD17 | 少量分子 | 多元素 | DFT | MD 轨迹 | 单分子动力学 |
| ANI-1x | 约 496 万 | CHNO | DFT | 主动学习 | 通用势训练 |
| ANI-1ccx | 约 50 万 | CHNO | CCSD(T)* | 子集重算 | 高精度势 |
| OC20/OC22 | 百万级 | 多元素 | DFT | 表面吸附 | 催化 |
ANI-1x 的独特之处在于:它用主动学习而非随机/固定轨迹采样,从而在小得多的数据量下获得更大的化学空间覆盖。这使它成为「数据效率」研究的理想案例。
7.5 对下游任务的实用价值
对药物发现与分子模拟而言,ANI-1x 训练的势可用于:
- 快速构象能评估:替代昂贵的 DFT 单点计算,加速候选分子筛选;
- MD 加速:用 ML 势驱动分子动力学,精度接近 DFT 而速度快数个数量级;
- 过渡态与反应路径初筛:在高不确定性区域(ρ 大)提示可能需要更高精度计算的位置;
- 迁移学习起点:为特定体系(如含新元素、特定蛋白口袋)微调通用势的初始权重。
7.6 生态风险与局限
- 元素覆盖窄:仅 CHNO,遇到含卤素、硫、磷的体系无法直接使用;
- 分子规模小:平均 15 原子,直接外推到蛋白/材料可靠性下降;
- 非平衡主导:训练集偏向畸变构象,预测平衡态物性时可能不如平衡态数据集「专用」;
- 存在衍生数据集竞争:ANI-2x、MACE、NequIP 等新范式与数据集正在扩展边界,ANI-1x 的角色逐渐从「最新」转为「奠基」。
7.7 下游工作的三种典型用法
ANI-1x 在后续文献中被使用的方式大致分三类,理解这三类有助于判断「该不该引它」:
- 作为训练集直接训练新势:若想验证一个新网络架构(如等变网络、张量敏感网络)的通用能力,最标准的做法是在 ANI-1x 上训练、在 COMP6 上测试。ANI-1x 在这里扮演「通用能力基准床」。
- 作为对照 baseline:论文常把「ANI-1x 势」当作高精度参照模型,与自己的新势在相同基准上比误差(能量 ΔE、力 F 的 MAE/RMSE)。ANI-1x 在这里扮演「标杆」。
- 作为迁移学习起点或不确定性研究素材:如 MAUL 用它做 9 折交叉验证来评估 Bayesian 神经网络的不确定性质量;也有工作用它研究「模型何时会失准」。ANI-1x 在这里扮演「素材库」。
7.8 COMP6 子集的构成直觉
虽然 COMP6 的精确子集清单以官方 GitHub 为准,但其设计直觉值得把握:它刻意选取比训练集更难、更大的结构——正是为了暴露「通用势在未见场景会不会崩」。一个只在训练分布内表现好的势,会在 COMP6 上暴露短板。因此,「在 COMP6 上的表现」成为衡量通用势真本事的标准尺子。这也是为什么那么多后续论文都报 COMP6 数字——它提供了一个跨工作可比的共同擂台。
7.9 与其他势函数数据集的生态位关系
| 数据集 | 生态位 | 与 ANI-1x 的关系 |
|---|---|---|
| ANI-1 | 前代 | ANI-1x 的对照;随机采样 |
| ANI-1ccx | 高精度子集 | ANI-1x 的精度升级层 |
| ANI-2x | 元素扩展 | ANI-1x 继承者(加 S/F/Cl) |
| QM9 | 平衡态小分子 | 异域(平衡 vs 非平衡) |
| MD17 | 单分子 MD | 异域(轨迹 vs AL 采样) |
| OC20/22 | 催化表面 | 异域(吸附 vs 气相分子) |
ANI-1x 的独特生态位是「主动学习采样的通用有机分子势训练集」——在这一格上没有直接的替代品。
7.10 引用 ANI-1x 的三种「正确姿势」
不同用途对应不同的引用对象,用错会显得不专业:
| 你的用途 | 应引 | 不该只引 |
|---|---|---|
| 用数据训练势 | JCP 2018(数据来源) | 只引 Sci. Data |
| 用 ANI-1ccx 子集 | Nat. Commun. 2019 + Sci. Data 2020 | 只引 JCP 2018 |
| 讨论数据组织/获取 | Sci. Data 2020(数据描述) | 只引 JCP 2018 |
| 讨论 AL 方法论 | JCP 2018 | — |
一句话记忆:方法论引 JCP、数据描述引 Sci. Data、高精度子集引 Nat. Commun.,三者按需组合。
7.11 对数据科学社区的三点更广启示
跳出化学领域,ANI-1x 对一般数据科学实践也有借鉴:
- 「标注什么」比「标注多少」更关键:把有限标注预算花在模型最不确定的地方,是普适的效率原则;
- 不确定性可以是可操作的信号:不只用于「知道模型何时不靠谱」,更可用于「主动决定下一步做什么」;
- 开放许可放大影响力:CC0 让 ANI-1x 被工业界与学术界无摩擦采用,形成网络效应——许可越简单,采用越广,引用越多。
这三点对医疗 AI 的数据构建同样成立:在隐私与合规允许的前提下,越开放、越结构化、越可机器读取的数据,越能成为真正的地基。
7.12 小结:ANI-1x 的生态地位一句话
在「用 AI 模拟分子」这件事上,ANI-1x 既是历史转折点(证明主动学习可行),也是现实基础设施(被反复训练与评测)——它不新,但它稳。
§7 附:常见下游任务与 ANI-1x 适配度速查
| 下游任务 | 适配度 | 说明 |
|---|---|---|
| 通用势训练 | ★★★★★ | 设计初衷 |
| COMP6 泛化评测 | ★★★★★ | 官方基准配套 |
| 构象能快速评估 | ★★★★☆ | 受 DFT 精度限制 |
| MD 加速 | ★★★★☆ | 力标签精确 |
| 含卤素体系 | ★☆☆☆☆ | 元素缺失 |
| 大分子/蛋白 | ★★☆☆☆ | 规模不足 |
| 平衡态物性 | ★★☆☆☆ | 非平衡偏置 |
| 不确定性方法研究 | ★★★★★ | 9 折划分即为此设 |
§8 方法学启示:三条可迁移的经验
8.1 「不确定性驱动的数据生成」是可复制的范式
ANI-1x 的最大方法论贡献,不是某个具体数字,而是验证了「用模型不确定性指导数据生成」这条路线。它的核心洞见是:别问『该给哪些分子算 DFT』,去问『模型在哪些结构上最没把握』。这条思路后来被广泛复制到材料(主动学习筛选候选材料)、催化(表面反应中间体)、生物分子等领域的 MLP 数据构建中。
可迁移的操作要点:
- 用集成(ensemble)而非单模型度量不确定性——成员分歧是廉价且有效的代理指标;
- 归一化不确定性(如按 √N)以避免体系规模混淆;
- 分批补算以平衡迭代速度与训练稳定性。
8.1.1 与其他不确定性度量路线的比较
「集成分歧」不是唯一的不确定性度量方式。理解它的位置有助于判断适用边界:
| 度量方式 | 代表 | 相对集成分歧的优势 | 相对劣势 |
|---|---|---|---|
| 集成分歧(QBC) | ANI-1x | 实现简单、无需改网络结构 | 需训练多模型,成本×K |
| 贝叶斯神经网络 | MAUL 等 | 单模型输出分布 | 训练与推断更复杂 |
| 高斯过程 | 早期 AL | 解析不确定性 | 大规模数据下不可行 |
| 距离/密度估计 | 部分 AL | 无需训练集成 | 对高维化学空间估计粗糙 |
ANI-1x 选择集成分歧,是因为在化学空间的高维、非线性场景下,它既稳定又足够便宜——这是工程务实的选择。
8.2 「更少即是更多」:数据质量 > 数据数量
ANI-1 有 2000 万构象,ANI-1x 只有约 500 万,但 ANI-1x 更通用。这是对「大数据迷信」的有力反驳:在正确的区域采样,比在任意区域堆量更有效。对任何需要生成训练数据的领域,这都是值得深思的教训——盲目扩大数据规模可能不如改进采样策略。
8.3 「分层精度」:把昂贵的计算花在刀刃上
ANI-1x → ANI-1ccx 的迁移学习展示了一种分层精度策略:
- 大规模数据用中等精度(DFT)标注,保证覆盖;
- 高不确定性关键点用最高精度(CCSD(T)*/CBS)标注,保证精度。
这样,昂贵的耦合簇计算只占总量的约 10%,却让最终势的精度逼近耦合簇水平。这种「广撒网用廉价标签、重点区域用昂贵标签」的分工,是资源受限场景下构建高质量数据集的一般原则。
8.4 数据划分的陷阱:按化学式分组
ANI-1x 的 HDF5 以化学式为键、组内多构象的特性,带来一个训练集划分陷阱:若按构象随机划分训练/测试集,同一化学式的构象会同时出现在两边,造成数据泄漏,使测试指标虚高。后续工作(如 MAUL)明确采用按分子/化学式分组的划分方式(315 组测试、其余按 9 折划分),这才是正确的评估姿势。使用任何以「分组」组织的数据集时,都应对照此原则检查划分逻辑。
8.5 工程可复现性:自动化是底线
ANI-1x 流程的「全自动化」特性值得强调。相比依赖专家手工挑选数据的做法,自动化的主动学习流程可重复、可审计、可扩展。当数据生成流程本身成为研究变量时,自动化不仅是效率问题,更是科学可信度问题。
8.6 对「数据集构建者」的五条操作清单
若你要在自己的领域复制 ANI-1x 的方法论,可按以下清单落地:
- 先建能度量不确定性的模型——没有可靠的 ρ,主动学习无从谈起;
- 设计互补的采样算子——像四种采样技术一样,让不同算子覆盖不同子空间,避免单一采样的盲区;
- 设定阈值并分批迭代——一次性标记全部「不确定」点会失衡,分批更稳;
- 交叉核对元数据——数据本体、论文、镜像三源互证,避免版本/口径错配;
- 用正确的划分评估——按生成组(分子/化学式)切分,而非按条目随机切分。
8.7 一个反面提醒:主动学习不是「免费的午餐」
主动学习降低了「达到某精度所需的数据量」,但它不降低「生成这些数据」所需的模型训练成本——每一轮迭代都要重训集成。在算力极度紧张的场景下,「少标签、多迭代」未必总是最优。ANI-1x 的成功建立在「DFT 计算昂贵、模型训练相对便宜」这一成本结构上;若你的场景相反(数据便宜、训练昂贵),主动学习的收益会缩水。这是检索者评估「能否照搬」时应先算清的一笔账。
§9 与库内条目的关系
9.1 家族图谱
ANI-1x 属于「量子化学 / 分子构象 DFT」数据集家族,其库内潜在互链对象包括:
- 同谱系:ANI-1、ANI-1ccx、ANI-2x(若库内已建条目);
- 同域对照:QM7、QM9、QM7-X、MD17、tmQM、PubChemQC 等分子量子化学数据集;
- 势函数生态:ASE、TorchANI、modelforge、load-atoms 等工具链相关条目;
- 更广的量子化学/Materials 数据集:OC20/OC22、Matbench 等。
9.2 检索路径建议
- 想找「通用机器学习势的训练数据」→ ANI-1x 是首选之一;
- 想找「高精度(耦合簇级)分子数据」→ 转向 ANI-1ccx;
- 想找「更大元素覆盖的势数据」→ 关注 ANI-2x 及 MACE/NequIP 生态;
- 想找「数据集效率/主动学习方法论」→ ANI-1x 是经典案例。
9.3 互链 rid 的处置原则
按库内纪律(R018 教训),本条目正文中的互链 rid 一律以占位符 /0 呈现,具体 record_id 由主会话在入库后统一回填。原因是同批条目的真实 rid 由入库顺序决定,写手预先猜测易错配。因此本条目不写死任何具体 rid,仅描述可互链的条目类型与关键词,供主会话入库后按 DB 实查结果回填。
9.4 消歧说明(不进 frontmatter)
以下消歧说明按纪律写入正文而非 frontmatter 的 relatedLink(避免 R012 事故):
- ANI-1x ≠ ANI-1:前者主动学习约 500 万构象,后者随机采样约 2000 万,是两个独立数据集,不可合并且不可混用数字;
- ANI-1x ≠ ANI-1ccx:后者是前者的约 10% 高精度子集,构象重叠但标签精度不同;
- ANI-1x ≠ ANI-2x:ANI-2x 扩展了元素覆盖,是不同的数据集;
- ANI-1x ≠ QM9:QM9 是 13.4 万平衡态小分子,规模、采样方式与定位均不同。
9.5 在千方库内的定位建议
从「千方病案医数集」的知识组织视角看,ANI-1x 的独特价值在于它是方法学标杆而非临床数据。它进入的是「药物发现与化学 / 量子化学」词条簇,与临床医学条目通过「AI-Ready 基础设施」这一主题间接关联。若库内已建 AI 势函数或分子数据集条目,建议按以下语义链互链:
- 上游(同族):ANI-1、ANI-1ccx、ANI-2x;
- 平行(同域):QM7/QM9/QM7-X、MD17、tmQM、PubChemQC;
- 下游(应用):TorchANI、ASE、各类等变网络势的评测。
9.6 与临床数据集的「可比性」边界
必须强调:ANI-1x 属于计算化学数据集,其对象是分子而非患者,不涉及任何临床、隐私或伦理维度。因此它的 patient_tags 为「不适用」,data_tags 为量子化学计算类。检索者不应把它与病理、影像、EHR 等临床条目直接对比「规模」——两者的「一条记录」含义完全不同(一个是分子构象,一个是病例)。
9.7 「数据集」概念在化学与医学中的差异
这一差异值得单独点出,因为它是跨域检索的常见混淆源:
| 维度 | 临床数据集(如病理 WSI) | 化学数据集(ANI-1x) |
|---|---|---|
| 一条记录 | 一个病例/一张切片 | 一个分子构象 |
| 隐私风险 | 高(需去标识/伦理审查) | 无(分子无隐私) |
| 标注者 | 医生/专家 | 量子化学计算程序 |
| 标注成本 | 专家时间 | 算力(DFT/CCSD(T)) |
| 精度上限 | 观察者间变异 | 理论方法精度 |
| 许可 | 常为申请制/CC BY-NC | 常为 CC0/CC BY |
理解这一差异,才能正确地把 ANI-1x 放进「AI-Ready」图景——它是化学侧的地基,与医学侧通过「药物发现」这一应用主题相连。
9.8 潜在互链点的语义标签
供主会话在入库后按 DB 实查结果回填 rid 时参考,本条目建议的互链语义标签为:
quantum-chemistry、molecular-conformation、machine-learning-potential、active-learning、dft-dataset、drug-discovery、ani-family。
这些标签对应「药物发现与化学 / 量子化学」词条簇,便于按标签做相关度互链(互链算法按标签计算相关度)。
9.9 库内检索的推荐问法
若读者在千方库内检索,以下问法最可能命中本条目及近邻:
- 「分子构象 DFT 数据集」→ 本条目;
- 「机器学习势训练数据」→ 本条目;
- 「主动学习数据集」→ 本条目(方法论标杆);
- 「CC0 化学数据集」→ 本条目;
- 「量子化学数据集」→ 本条目与 QM9 等近邻。
9.10 与「AI-Ready」评价体系的对接
本条目所评的 DAIMS 5.0 分制,是千方库对数据集「AI 就绪度」的统一刻度。ANI-1x 的 4.7/5.0 表示:它几乎不需要任何「数据工程补救」就能直接进入现代 ML 流水线——这正是「AI-Ready」一词的本义。对比临床数据(常因隐私、许可、标注噪声需要大量补救),ANI-1x 展现了「理想 AI-Ready 数据」应具备的形态:开放、结构化、机器可读、许可无摩擦。
§10 避坑清单:八个已踩过的坑
坑 1:把 arXiv 号写错(1706.00279 张冠李戴)
坑:候选情报与部分二手资料把 ANI-1x 论文的 arXiv 号写成 1706.00279。经核验,该号实为 Garrido & Meroño 的数学拓扑学论文《The Samuel realcompactification》(math.GN),与 ANI-1x 毫无关系。
解:ANI-1x 论文(J. Chem. Phys. 2018, 148, 241733)的正确 arXiv 预印本号是 1801.09319。检索/引用时务必核对标题与作者,不要凭记忆填 arXiv 号。
坑 2:把 PMC6602931 当成 ANI-1x 数据描述论文
坑:PMC6602931 常被误标为 ANI-1x 的数据描述来源。实际它对应的是 ANI-1ccx 的 Nat. Commun. 2019 论文(doi:10.1038/s41467-019-10827-4)。
解:ANI-1x + ANI-1ccx 的正式数据描述论文是 Scientific Data 2020, 7, 134(doi:10.1038/s41597-020-0473-z)。要找「数据怎么组织、怎么获取」,看这篇。
坑 3:误信「约 820 万重采样构象」
坑:候选情报称 ANI-1x 有「约 820 万重采样构象」。核验发现,所有一手来源给出的构象总量均为 4,956,005(≈500 万),无一处出现 820 万。
解:以 4,956,005 为准。820 万的可能来源是版本混淆或迭代累计量误记。遇到此类数字,务必回一手来源核对。
坑 4:混淆「3114」与「6.4 万」
坑:HDF5 顶层键数是 3114(按化学式分组),但分子实体数是 约 6.4 万。把 3114 当成「分子数」会严重低估数据规模。
解:3114 = 化学式分组数;6.4 万 = 采样的分子/复合物数。二者口径不同,引用时注明。
坑 5:忽略 HDF5 内能量单位是 hartree
坑:ani1x-release.h5 内 wb97x_dz.energy 以 hartree 存储,而许多加载器会转成 eV 或 kJ/mol。跨库对齐时若忽略单位,会得到量级错误的对照。
解:明确单位。Hartree→eV 因子约 27.2114079527;modelforge 版把单位写成自描述字符串(kilojoule_per_mole 等),优先用自描述格式。
坑 6:按构象随机切分训练/测试集导致泄漏
坑:ANI-1x 同一化学式下有多个构象。若按构象随机划分,同组构象会跨训练/测试集,造成数据泄漏、指标虚高。
解:按化学式/分子分组切分(如 MAUL 采 315 组作测试、其余 9 折划分)。这是评估通用势的正确姿势。
坑 7:找不到官方 HuggingFace 托管
坑:检索者在 HuggingFace 上找不到 ANI-1x,误以为数据集「不存在」或「已下架」。
解:ANI-1x 没有官方 HF 托管,正统入口是 figshare(doi:10.6084/m9.figshare.10047041)。第三方镜像以 Zenodo(modelforge curated)为主。不要因 HF 缺失而否定数据集存在性。
坑 8:以为 DFT 标签等于耦合簇精度
坑:误以为 ANI-1x 提供的是「金标准」耦合簇精度标签,直接用于高精度需求。
解:ANI-1x 主标签是 DFT(ωB97X/6-31G(d)),精度有限。需要耦合簇级精度时应用 ANI-1ccx 子集(约 50 万构象 @ CCSD(T)*/CBS),而非全量 ANI-1x。注意二者是不同精度的数据。
FAQ(高频问答)
A. 基础认知
Q1:ANI-1x 到底是什么?
A:一份约 495.6 万构象、7570 万原子的有机分子(CHNO)非平衡构象数据集,带 DFT(ωB97X/6-31G(d))能量/力/偶极标签,用于训练通用机器学习势。
Q2:ANI 是什么意思?
A:ANAKIN-ME 的缩写,全称 Accurate NeurAl networK engINe for Molecular Energies,是 LANL 团队开发的分子能量神经网络势系列。
Q3:谁做的?
A:洛斯阿拉莫斯国家实验室(LANL)主导,UNC Chapel Hill 与 UF/CMU 合作。作者:Smith、Nebgen、Lubbers、Isayev、Roitberg。
Q4:什么时候发布的?
A:论文 2018 年 6 月发表于 J. Chem. Phys.;arXiv 预印 2018 年 1 月;数据集 figshare 正式归档 2020 年 4 月 23 日。
Q5:为什么要做这个数据集?
A:为了训练一个通用的机器学习势,需要覆盖广泛化学空间的量子化学数据;随机采样效率低,故用主动学习提高数据效率(「Less is more」)。
B. 数据与获取
Q6:规模精确是多少?
A:构象 4,956,005,原子 75,700,481,约 6.4 万分子及复合物,3114 个 HDF5 化学式分组,平均约 15 原子。
Q7:包含哪些元素?
A:仅 C、H、N、O。占比 H 47.63% / C 30.30% / N 13.32% / O 8.75%。
Q8:怎么下载?
A:figshare(doi:10.6084/m9.figshare.10047041),文件 ani1x-release.h5,公开直链无门槛。辅助工具见 github.com/aiqm/ANI1x_datasets。
Q9:什么许可?
A:CC0 1.0 Universal(公共领域奉献),可自由使用、商用、再分发,无署名义务。
Q10:怎么读取 HDF5?
A:用 h5py 直接解析,或用 load-atoms 的 load_dataset("ANI-1x") 一键转 ASE 对象,或用 modelforge curated 版。
Q11:有 HuggingFace 版吗?
A:没有官方 HF 托管。正统入口是 figshare,第三方镜像以 Zenodo 为主。
Q12:文件多大?
A:完整 HDF5 体积较大(数百万构象),具体随版本而异;modelforge curated 压缩版约 1.4 MB 起(不含全量原始数据)。
C. 数据内容与质量
Q13:标签是每原子还是每分子?
A:力是每原子(per-atom,eV/Å);能量、偶极是每结构(per-structure)。
Q14:能量的单位是什么?
A:HDF5 内是 hartree,加载器通常转成 eV 或 kJ/mol。注意单位换算。
Q15:是平衡态还是非平衡构象?
A:非平衡构象为主,来自 MD、简正模位移、二聚体、扭转扫描。
Q16:为什么构象分布不均匀?
A:因为是主动学习产物,采样集中在模型「不确定」的区域,天然不均匀。
Q17:可以直接做无偏统计吗?
A:不建议。构象分布有主动学习偏置,直接统计会失真。
Q18:和 QM9 有什么区别?
A:QM9 是约 13.4 万平衡态小分子;ANI-1x 是约 496 万非平衡构象,规模大得多,且采样方式不同。
D. 家族与方法论
Q19:ANI-1、ANI-1x、ANI-1ccx 什么关系?
A:递进链。ANI-1(2017,随机采样约 2000 万)→ ANI-1x(2018,主动学习约 500 万)→ ANI-1ccx(2019,约 50 万耦合簇重算子集)。
Q20:ANI-1x 和 ANI-1 哪个更好?
A:ANI-1x 更通用、数据效率更高(更少数据更好覆盖)。但两者是不同数据集,数字不可混用。
Q21:什么是主动学习?
A:让模型用集成成员的分歧(不确定性 ρ)指出「没学会」的结构,只对这些结构补算 DFT,迭代改进。
Q22:Query by Committee 是什么?
A:一种主动学习策略,用「委员会」(模型集成)的预测分歧来度量不确定性,据此选择要标注的数据。
Q23:ρ 是什么?
A:不确定性度量,等于集成预测标准差按 √N(N 为原子数)归一化。
Q24:四种采样技术是哪些?
A:分子动力学采样、简正模采样、二聚体采样、扭转采样。
Q25:ANI-1ccx 怎么来的?
A:从 ANI-1x 智能挑选约 10%(约 50 万构象),用 CCSD(T)*/CBS 重算,再迁移学习训练。
E. 论文与引用
Q26:主论文是哪篇?
A:Smith et al., “Less is more: sampling chemical space with active learning,” J. Chem. Phys. 2018, 148(24), 241733,doi:10.1063/1.5023802。
Q27:arXiv 号是多少?
A:1801.09319。(注意:不是 1706.00279,那是别的论文。)
Q28:数据描述论文是哪篇?
A:Smith et al., Scientific Data 2020, 7, 134,doi:10.1038/s41597-020-0473-z。
Q29:PMC6602931 是什么?
A:ANI-1ccx 的 Nat. Commun. 2019 论文,不是 ANI-1x 的数据描述论文。
F. 应用与工程
Q30:能用来做什么?
A:训练机器学习势;加速分子构象能评估、MD 模拟、过渡态初筛;作为特定体系的迁移学习起点。
Q31:有什么局限?
A:仅 CHNO 元素;分子偏小(平均 15 原子);非平衡构象主导;DFT 精度非耦合簇级。
Q32:训练时要注意什么?
A:按化学式分组切分训练/测试集防泄漏;注意能量单位换算;按需用 is_in_ccx 筛高精度子集。
G. 版本与工程细节
Q33:ANI-1x 和 ANI-1ccx 在同一个文件里吗?
A:是。figshare 归档的 ani1x-release.h5 同时含两者;ANI-1ccx 通过 is_in_ccx 标志与 ccsd(t)_cbs.energy 字段区分,无需单独下载。
Q34:figshare 页面上为什么查不到构象数?
A:figshare 记录页正文极简,未列结构化元数据。构象数须从论文或 load-atoms/modelforge 镜像交叉核对(本条目已三源互证)。
Q35:能量单位到底是 hartree 还是 eV?
A:HDF5 原始存储是 hartree;load-atoms/modelforge 加载时会转 eV 或 kJ/mol。以你使用的加载器为准,换算因子 Hartree→eV ≈ 27.2114。
Q36:downloads/引用量大概多少?
A:ANI-1x 及相关论文被引极高(JCP 2018 论文引用数以千计),是计算化学 ML 领域的奠基引用之一;具体数字随时间增长,本文不锁定。
Q37:可以用在商业产品里吗?
A:可以。CC0 明确允许商用,无署名义务(学术惯例仍建议引用论文)。
Q38:有官方维护吗?
A:LANL 通过 aiqm GitHub 组织维护工具;数据集本体 CC0 长期可用,社区镜像(Zenodo/modelforge/load-atoms)多重冗余。
Q39:MD 采样的温度范围为什么是 50–800 K?
A:论文设定 50 K(低温、近平衡)到 800 K(高温、强扰动)的随机温度,用 Langevin 恒温器驱动,以覆盖从近平衡到剧烈热运动的宽构象谱。
Q40:什么是 is_in_ccx 里说的 ccx?
A:ccx = coupled cluster extended,指用耦合簇(CCSD(T)*/CBS)精度扩展标注的子集标志。
Q41:为什么叫「x」?
A:ANI-1x 的「x」指用主动学习「扩展/精炼」出的版本,区别于随机采样的 ANI-1。
Q42:这和力场(force field)是一回事吗?
A:不是。经典力场用固定函数形式(如键长伸缩/角弯曲项),ANI-1x 训练的是机器学习势——用神经网络从数据学习「结构→能量/力」的映射,精度更高、可迁移性更强。
Q43:数据里有没有分子拓扑(成键信息)?
A:HDF5 主要提供原子序数与坐标(几何),不含显式成键表;成键/键级可由几何推断,但原始数据以「原子 + 坐标 + 能量/力」为核心。
Q44:能做分子生成任务吗?
A:ANI-1x 本身是「结构→能量/力」监督数据,不直接是生成模型训练集;但可作为评估生成分子能量的势函数底座。
Q45:数据质量和 DFT 泛函选择有关吗?
A:有关。标签精度取决于 ωB97X/6-31G(d) 这一模型化学;换泛函/基组会改变绝对能量。若需更高精度,用 ANI-1ccx 子集。
DAIMS 数据集成熟度评估
DAIMS(Data and AI Maturity/readiness Score)从五个维度评估数据集的 AI-Ready 程度(0-5 分):
评分细则
D — Discoverability(可发现性,5.0)
| 子项 | 表现 |
|---|---|
| 稳定标识符 | ✅ 两个 DOI(figshare 数据集 + Collection),arXiv 号 |
| 多通道索引 | ✅ figshare + Zenodo + 多个第三方索引(matbench、load-atoms) |
| 论文锚定 | ✅ 多篇高被引论文(JCP 2018 / Sci. Data 2020 / Nat. Commun. 2019) |
| 检索直达 | ✅ 搜索「ANI-1x」即得官方入口 |
A — Accessibility(可获取性,5.0)
| 子项 | 表现 |
|---|---|
| 公开直链 | ✅ figshare 无门槛下载 |
| 无付费墙 | ✅ 完全免费 |
| 无登录/申请 | ✅ 无需注册 |
| 工具可获取 | ✅ aiqm/load-atoms/modelforge 均开源 |
I — Interoperability(互操作性,4.0)
| 子项 | 表现 |
|---|---|
| 格式标准性 | ✅ HDF5 通用容器 |
| 单位一致性 | ⚠️ hartree vs eV/kJ·mol⁻¹ 不统一 |
| 元数据自描述 | ⚠️ figshare 页面元数据稀少;modelforge 版改善 |
| 解析门槛 | ⚠️ 需专用工具 |
M — Machine-readability(机器可读性,4.5)
| 子项 | 表现 |
|---|---|
| 结构化数组 | ✅ 坐标/能量/力/偶极均为规整数组 |
| 可直接训练 | ✅ 无需繁重预处理 |
| 元信息完备 | ⚠️ 部分元信息需从论文补齐 |
S — Sustainability(可持续性,5.0)
| 子项 | 表现 |
|---|---|
| 许可风险 | ✅ CC0 归零 |
| 维护方 | ✅ LANL 长期投入 |
| 镜像冗余 | ✅ 多重社区镜像 |
| 领域地位 | ✅ 已成基础设施 |
| 维度 | 评分 | 评据 |
|---|---|---|
| D — Discoverability(可发现性) | 5.0 | figshare + Zenodo 双通道公开索引;DOI 稳定;多篇高被引论文交叉引用;检索「ANI-1x」即可直达 |
| A — Accessibility(可获取性) | 5.0 | figshare 公开直链,无申请、无登录、无付费墙;辅助工具开源(aiqm/load-atoms/modelforge) |
| I — Interoperability(互操作性) | 4.0 | HDF5 标准格式,但需专用工具解析;单位不统一(hartree vs eV/kJ·mol⁻¹)增加对齐成本;modelforge curated 版改善了自描述性 |
| M — Machine-readability(机器可读性) | 4.5 | 结构化数组(坐标/能量/力/偶极)直接可用于训练;但 figshare 记录页缺结构化元数据,元信息需从论文/镜像补 |
| S — Sustainability(可持续性) | 5.0 | CC0 无法律风险;LANL 长期维护;社区镜像(Zenodo/modelforge/load-atoms)多重冗余;已成领域基础设施 |
综合评级:4.7 / 5.0(高度 AI-Ready)
评价说明:ANI-1x 在可发现性、可获取性、可持续性三个维度近乎满分,是「开放科学数据」的典范。唯一的扣分点在互操作性——HDF5 虽为标准容器,但需要专用解析工具且单位约定不统一,对「即插即用」的 AI 流水线构成轻微摩擦。modelforge curated 版通过 openff-units 自描述单位部分缓解了这一问题。
§11 总结
11.1 三句话总结
- ANI-1x 是用主动学习(Query by Committee)采样的约 495.6 万构象、7570 万原子 CHNO 有机分子非平衡构象数据集,以 ωB97X/6-31G(d) 的 DFT 标注能量/力/偶极,CC0 公共领域奉献。
- 它的核心价值不在数字大小,而在方法论——「用模型不确定性指导数据生成」这条路线,让「更少的数据」实现了「更大的化学空间覆盖」,成为通用机器学习势的奠基之作。
- 它是 ANAKIN-ME 家族承上启下的一环:上承随机采样的 ANI-1,下启耦合簇精度的 ANI-1ccx,是后续无数等变网络与势函数工作的标准训练集与 baseline。
11.2 适合谁
- 机器学习势开发者:需要覆盖广泛的 CHNO 小分子训练数据;
- 计算化学研究者:研究数据效率、主动学习方法论、不确定性估计;
- 药物发现团队:需要快速构象能评估与 MD 加速的软件/模型底层数据;
- 数据集方法论研究者:ANI-1x 是「主动学习造数据集」的经典案例;
- 教学者:讲解「数据质量 vs 数据数量」「不确定性驱动采样」的绝佳素材。
11.3 不适合谁
- 需要耦合簇级精度的用户:应转向 ANI-1ccx 子集;
- 含卤素/硫/磷等元素体系的研究者:ANI-1x 仅覆盖 CHNO,应转向 ANI-2x 等;
- 大分子/蛋白/材料研究者:平均 15 原子的数据集难以直接覆盖;
- 需要平衡态构象库的用户:ANI-1x 是非平衡构象主导;
- 需要图像/表格/文本多模态数据的用户:这是纯量子化学结构数据。
11.4 30 秒决策卡
| 如果你… | 建议 |
|---|---|
| 训练通用 CHNO 小分子 ML 势 | ✅ 直接用 ANI-1x |
| 需要耦合簇精度 | ✅ 用 ANI-1ccx 子集(is_in_ccx) |
| 需要含 S/F/Cl 元素 | ❌ 用 ANI-2x |
| 需要商用且不想担心许可 | ✅ CC0 无风险 |
| 想研究数据效率/主动学习 | ✅ 经典案例 |
| 想要开箱即用的 pandas 表格 | ⚠️ 需先解析 HDF5 |
| 想在 HF 上一键下载 | ⚠️ 无官方 HF,走 figshare |
事实清单(硬事实速查)
以下为经三源互证的核心事实,供快速核对。每条均可回溯至本文所引来源。
| # | 事实 | 值 |
|---|---|---|
| 1 | 数据集名称 | ANI-1x(ANAKIN-ME 系列) |
| 2 | 构象总数 | 4,956,005 |
| 3 | 原子总数 | 75,700,481 |
| 4 | 分子及复合物数 | 约 64,000 |
| 5 | HDF5 化学式分组数 | 3114 |
| 6 | 平均分子大小 | 约 15 原子 |
| 7 | 元素构成 | 仅 C/H/N/O |
| 8 | 元素占比 | H 47.63% / C 30.30% / N 13.32% / O 8.75% |
| 9 | 主标签理论水平 | ωB97X/6-31G(d)(Gaussian 09) |
| 10 | 标签字段 | per-atom 力;per-structure 能量/偶极/is_in_ccx |
| 11 | 能量存储单位 | hartree(加载器转 eV/kJ·mol⁻¹) |
| 12 | 采样范式 | 主动学习 Query by Committee(QBC) |
| 13 | 不确定性度量 | ρ(集成标准差 ÷ √N) |
| 14 | 四种采样技术 | MD / 简正模 / 二聚体 / 扭转 |
| 15 | MD 参数 | 50–800 K,0.5 fs,0.02 fs⁻¹,每 5 步算 ρ |
| 16 | 分子来源库 | GDB-11、ChEMBL、RDKit 生成氨基酸与二肽 |
| 17 | 高精度子集 | ANI-1ccx,约 500,000 构象 |
| 18 | 子集精度 | CCSD(T)*/CBS |
| 19 | 配套基准 | COMP6 |
| 20 | AL 数据效率结论 | 10% 数据达 ANI-1 水平,25% 大幅超越 |
| 21 | 许可 | CC0 1.0 Universal |
| 22 | figshare DOI | 10.6084/m9.figshare.10047041 |
| 23 | 合并 Collection DOI | 10.6084/m9.figshare.c.4712477 |
| 24 | 主论文 | J. Chem. Phys. 2018, 148, 241733 |
| 25 | 主论文 DOI | 10.1063/1.5023802 |
| 26 | 主论文 arXiv | 1801.09319(非 1706.00279) |
| 27 | 数据描述论文 | Scientific Data 2020, 7, 134 |
| 28 | 数据描述 DOI | 10.1038/s41597-020-0473-z |
| 29 | ANI-1ccx 论文 | Nat. Commun. 2019, 10, 2903 |
| 30 | ANI-1ccx DOI | 10.1038/s41467-019-10827-4 |
| 31 | ANI-1 论文 | Sci. Data 2017, 4, 170193 |
| 32 | figshare 归档日期 | 2020-04-23 |
| 33 | 核心文件 | ani1x-release.h5 |
| 34 | 辅助仓库 | github.com/aiqm/ANI1x_datasets |
| 35 | 官方 HF 托管 | 无 |
| 36 | DAIMS 综合 | 4.7 / 5.0 |
附录 A:来源清单
| # | 来源 | 类型 | 支撑要点 |
|---|---|---|---|
| S1 | Smith et al., J. Chem. Phys. 2018, 148, 241733(doi:10.1063/1.5023802) | 主论文 | 方法论、AL、QBC、COMP6 |
| S2 | arXiv:1801.09319(v1/v2) | 预印本 | 论文全文与摘要(纠正 1706.00279) |
| S3 | Smith et al., Scientific Data 2020, 7, 134(doi:10.1038/s41597-020-0473-z) | 数据描述论文 | AL 流程、四种采样、≈5M/64k、CC0 |
| S4 | Smith et al., Nat. Commun. 2019, 10, 2903(doi:10.1038/s41467-019-10827-4) | ANI-1ccx 论文 | 迁移学习、CCSD(T)*/CBS 子集 |
| S5 | figshare ANI-1x Dataset Release(doi:10.6084/m9.figshare.10047041) | 数据分发点 | CC0 许可、归档日期、文件 |
| S6 | modelforge curated ANI-1x(Zenodo records/12176579, 12176580) | 镜像 | 4,956,005 / 3114 / 字段与单位 |
| S7 | load-atoms ANI-1x 页(jla-gardner.github.io) | 工具镜像 | 精算 4,956,005 / 75,700,481 / 元素占比 |
| S8 | matbench-discovery ANI-1x 页(materialsproject.org) | 第三方索引 | CC0-1.0、≈5M/64k、方法学 wB97X |
| S9 | IOPscience 分子量子化学数据集综述(doi:10.1088/2632-2153/ad8f13) | 综述 | ANI-1x 定位、采样技术、ANI-1 对比 |
| S10 | arXiv:2212.03195(HIP-NN-TS) | 下游工作 | ANI-1x 作为通用能力测试床 |
| S11 | arXiv:2501.05250(MAUL) | 下游工作 | 9 折交叉验证、按组划分 |
| S12 | Smith et al., Sci. Data 2017, 4, 170193 | 前作 | ANI-1 约 20M 随机采样 |
附录 B:ANI-1x 数据字段速查
| 字段 | 层级 | 单位(原始) | 说明 |
|---|---|---|---|
atomic_numbers |
per-group | — | 该组分子的原子序数数组 |
coordinates |
per-group | Å(N×3) | 构象坐标 |
wb97x_dz.energy |
per-structure | hartree | ωB97X/6-31G(d) 能量 |
wb97x_dz.forces |
per-atom | hartree/Bohr 或 eV/Å | 力(取决于加载器) |
wb97x_dz.dipole |
per-structure | e·Å | 偶极矩 |
ccsd(t)_cbs.energy |
per-structure | hartree | CCSD(T)*/CBS 能量(子集) |
is_in_ccx |
per-structure | bool | 是否属 ANI-1ccx 子集 |
curated: wb97x_tz_* |
per-atom/structure | kJ/mol 等 | 更大基组重算 |
curated: *_charges |
per-atom | e | CM5/Hirshfeld/MBIS 电荷 |
附录 C:术语表(首现英文对照)
| 中文 | 英文 | 说明 |
|---|---|---|
| 机器学习势 | Machine Learning Potential (MLP) | 用 ML 拟合的原子间势 |
| 神经网络势 | Neural Network Potential (NNP) | MLP 的一种 |
| 主动学习 | Active Learning (AL) | 用模型不确定性指导数据生成 |
| 委员会查询 | Query by Committee (QBC) | AL 策略,集成分歧度量不确定性 |
| 密度泛函理论 | Density Functional Theory (DFT) | 量子化学计算方法 |
| 耦合簇 | Coupled Cluster (CC) | 高精度量子化学方法 |
| 完备基组 | Complete Basis Set (CBS) | 基组极限外推 |
| 构象 | Conformation | 分子的一种空间排列 |
| 非平衡构象 | Non-equilibrium conformation | 偏离平衡几何的结构 |
| 势能面 | Potential Energy Surface (PES) | 能量随核坐标的曲面 |
| 二聚体 | Dimer | 两分子接近的复合物 |
| 扭转/二面角 | Torsion / Dihedral | 绕单键旋转的角 |
| 简正模 | Normal Mode | 分子小幅振动模式 |
| 原子模拟环境 | Atomic Simulation Environment (ASE) | 原子模拟 Python 库 |
| 集成 | Ensemble | 多个模型组合 |
本条目由千方病案医数集编辑部核验编纂。 核验时点:2026-10-16。核心数字经三源互证(主论文 / 数据描述论文 / 独立镜像)。凡双口径冲突与遗留疑点已在 §4.4 与坑点中逐条存照。数据集许可为 CC0 1.0 Universal,本条目正文采用 CC BY 4.0 叙述性许可。
附录 D:核验方法与可信度说明
本条目的事实核验遵循「三源互证」原则,具体方法如下:
一级来源(论文):主论文 JCP 2018(doi:10.1063/1.5023802)与数据描述论文 Sci. Data 2020(doi:10.1038/s41597-020-0473-z),用于方法论、采样技术、≈5M/64k 口径、CC0 许可。
二级来源(数据分发点):figshare 记录页,用于许可确认(CC0)与归档日期(2020-04-23)。
三级来源(独立镜像/工具):load-atoms(精算 4,956,005 / 75,700,481 / 元素占比)、modelforge curated(4,956,005 / 3114 / 字段单位)、matbench-discovery(CC0-1.0 / ≈5M / 64k)。
交叉验证要点:
- 构象数 4,956,005 在 load-atoms 与 modelforge 两个独立实现中一致 → 采信;
- 原子数 75,700,481 来自 load-atoms 精算 → 采信(与候选情报 75.7M 吻合);
- 许可 CC0 在 figshare / matbench / modelforge 三处一致 → 采信;
- arXiv 号 1801.09319 经 ar5iv 全文页 + dblp BibTeX 双确认 → 采信并纠正候选情报的 1706.00279。
未能独立验证项(遗留疑点):
- 「约 820 万重采样构象」——无一手来源支持,记为疑点(见 §4.4、坑 3);
- figshare 原始 metadata JSON 未直接抓取(受网络预算约束),元数据以镜像交叉核对替代;
- ANI-1x 与 ANI-1 构象是否存在重叠、重叠量——一手未明写(见 §4.5)。
可信度结论:核心硬数字(构象数、原子数、元素构成、许可、论文与 DOI)为高可信(多源一致);方法论描述为高可信(论文原文支持);「820 万」与「ANI-1 重叠」为待核(存照不采信)。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- oc20 — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测 / 分子生成
- geom — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测 / 分子生成
- md22 — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测
- qmof — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测
- matbench — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测
- qm9 — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测
- gdb-17 — 共享标签:药物发现与化学 / 分子生成
- coconut — 共享标签:药物发现与化学 / 分子生成
- uspto-50k — 共享标签:药物发现与化学 / 分子生成
- open-reaction-database — 共享标签:药物发现与化学 / 分子生成
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

