ANI-1x — 主动学习生成的 500 万分子构象 DFT 数据集

Los Alamos 国家实验室用 Query by Committee 主动学习采样约 495.6 万 CHNO 有机分子非平衡构象、7570 万原子,以 ωB97X/6-31G(d) 标注能量/力/偶极,CC0 公共领域奉献,成为机器学习势与 ANI-1ccx 迁移学习的通用底座

来源 Los Alamos National Laboratory 主导,以 Query by Committee 主动学习对 GDB-11 / ChEMBL / RDKit 生成氨基酸与二肽施加 MD/简正模/二聚体/扭转四类采样,经 ωB97X/6-31G(d)(Gaussian 09)计算能量/力/偶极;ANI-1ccx 子集约 50 万构象以 CCSD(T)*/CBS 重算发布时间: 2026-10-16最后更新: 2026-10-20 阅读 26
ANI-1x — 主动学习生成的 500 万分子构象 DFT 数据集

信息速览

数据集名称ANI-1x — 主动学习生成的 500 万分子构象 DFT 数据集
数据类型量子化学计算,分子构象,原始数据
规模不适用(对象为有机小分子,非患者);含约 495.6 万构象、75,700,481 原子、约 6.4 万个分子及分子复合物、3114 个 HDF5 化学式分组
接入方式Los Alamos National Laboratory 主导,以 Query by Committee 主动学习对 GDB-11 / ChEMBL / RDKit 生成氨基酸与二肽施加 MD/简正模/二聚体/扭转四类采样,经 ωB97X/6-31G(d)(Gaussian 09)计算能量/力/偶极;ANI-1ccx 子集约 50 万构象以 CCSD(T)*/CBS 重算
AI 就绪度

INFOBOX — ANI-1x 一屏速览

维度 内容
本质 主动学习(Active Learning)驱动的有机分子非平衡构象 DFT 数据集,用于训练通用机器学习势(MLP)
谱系 ANI-1(2017,随机采样约 20M)→ ANI-1x(2018,主动学习约 5M) → ANI-1ccx(2019,其中约 50 万构象 CCSD(T)*/CBS 重算)
团队 Los Alamos National Laboratory(LANL) 主导,UNC Chapel Hill(Roitberg)、UF/CMU(Isayev)合作
主论文 J. Chem. Phys. 2018, 148(24), 241733,doi:10.1063/1.5023802;arXiv:1801.09319
数据描述 Scientific Data 2020, 7, 134,doi:10.1038/s41597-020-0473-z(figshare 归档 2020-04-23)
规模 4,956,005 构象 / 75,700,481 原子;约 6.4 万分子及复合物;3114 个 HDF5 化学式分组;平均约 15 原子
元素 仅 C / H / N / O(H 47.63%、C 30.30%、N 13.32%、O 8.75%)
标签 ωB97X/6-31G(d) 计算的能量、力、偶极;per-atom 力 + per-structure 能量/偶极
采样 Query by Committee(QBC)主动学习 × 四种采样:MD / 简正模 / 二聚体 / 扭转
高精度子集 ANI-1ccx 约 50 万构象(约占 10%)@ CCSD(T)*/CBS
基准 COMP6(含药物分子/三肽/小蛋白),验证势的泛化能力
获取 figshare 公开直链(ani1x-release.h5,HDF5);辅助仓库 github.com/aiqm/ANI1x_datasets
许可 CC0 1.0 Universal(公共领域奉献,无署名义务)

§0 导读:这个数据集解决什么问题

0.1 一句话定位

ANI-1x 是一份用「主动学习」而非「随机采样」生产出来的有机分子构象数据集。 它收录了约 495.6 万个含碳、氢、氮、氧(CHNO)的小分子与分子复合物的非平衡构象,每个构象都带有一段用密度泛函理论(Density Functional Theory, DFT)以 ωB97X/6-31G(d) 模型化学算出来的能量、力与偶极矩标签。它的目标不是记录某个实验,而是为训练「机器学习势」(Machine Learning Potential, MLP)提供高质量的量子化学「教材」——让神经网络学会用远低于第一性原理计算的成本,预测分子的能量与原子受力。

0.2 它要解决的核心矛盾:算得准 vs 算得起

计算化学长期被一个两难困住:

  • 耦合簇方法(如 CCSD(T)) 精度最高,被称作「金标准」,但计算量随体系规模呈灾难式增长,几十个原子就已让超算捉襟见肘;
  • 密度泛函理论(DFT) 快得多,但精度依赖泛函选择,且对单个分子逐一计算仍难撑起动辄数百万次的结构搜索;
  • 经典力场 极快,能模拟百万原子,却是「用简化物理近似」,对陌生分子或反应常常失效。

机器学习势试图填这个缺口:用神经网络拟合量子化学给出的「结构 → 能量/力」映射,训练完成后推理速度可比 DFT 快几个数量级。但训练一个通用的 MLP,需要海量、且化学空间覆盖足够广的量子化学数据。传统做法是随机采样构象并逐一算 DFT——昂贵且低效,大量算力浪费在模型早已「学会」的简单构象上。

0.3 ANI-1x 的破题思路:让模型自己说要学什么

ANI-1x 的关键创新正是主动学习(Active Learning, AL)。它训练一个神经网络集成(ensemble),用成员之间的预测分歧度量模型对某个结构的「不确定程度」——分歧大的地方,就是模型还没学会的「难点」。算法只对这些高不确定性结构补算 DFT 标签,再回灌训练集、重新训练、进入下一轮迭代。这样算力就集中花在「模型不会的地方」,用远少于随机采样的数据达到同等甚至更好的精度。论文标题「Less is more(更少即是更多)」正是这个意思:数据更少、覆盖面更广、模型更强。

一句话概括 ANI-1x 的历史地位:它是「主动学习造数据集」这一范式的标杆之作,也是 ANI 系列通用势从 ANI-1 走向 ANI-1ccx 的关键中间层。 后续大量等变神经网络、张量敏感网络的通用能力评测,都把 ANI-1x 当作标准训练集与对照 baseline。

0.4 读者路线图

  • 只想快速了解规模与许可 → 读本 INFOBOX 与 §1「十问十答」;
  • 想知道数据怎么生成、含哪些字段 → 读 §2「数据构成与规格」与 §3「主动学习流水线」;
  • 关心它和 ANI-1/ANI-1ccx 的关系 → 读 §4「家族谱系与双口径」;
  • 要下载使用、关心格式与工具 → 读 §5「获取与工程实操」与 §6「许可与合规」;
  • 想避坑或做复现 → 读 §7「生态影响」、§8「方法学启示」、§9「与库内条目关系」、§10「避坑清单」及 FAQ。

0.5 名字里的三层含义

初次接触容易被 ANI-1x 的名字绕晕,这里一次性拆解:

  • ANI = ANAKIN-ME,全称 Accurate NeurAl networK engINe for Molecular Energies,是 LANL 团队为「分子能量」打造的神经网络势引擎系列名。它不是某个具体数据集,而是一整套方法 + 数据的家族品牌。
  • 1 = 家族的第一代主干(后续还有 2x 代)。
  • x = 「扩展/精炼(extended)」——指这一版是用主动学习采样扩展出来的,区别于随机采样的原始 ANI-1。

所以「ANI-1x」的字面意思就是:ANI 家族第一代主干里,用主动学习扩展出的那版数据。而「ANI-1ccx」的 ccx = coupled cluster extended,指用耦合簇精度扩展标注的子集。理解这套命名法,就能一眼看懂 ANI 家族的谱系图。

0.6 本条目为何值得进入「AI-Ready」图谱

「千方病案医数集」聚焦医疗 AI 的数据基础设施。ANI-1x 虽不直接是临床数据,却是药物发现与计算化学 AI 的地基:

  • 它是「AI-Ready 数据集」的正面范例——许可最开放(CC0)、获取无门槛、社区工具链成熟;
  • 它是「数据方法论」的标杆——用主动学习证明「更少的数据可以更好」,对医疗领域「如何高效构建标注数据集」有直接借鉴意义;
  • 它是「可复现科学」的样本——流程全自动化、数据公开、论文可查,是 AI-Ready 光谱理想端的代表。

因此,本条目不仅介绍「这是什么样的数据」,更着力剖析「它为什么这样设计、凭什么说是 AI-Ready、别人能学到什么」。

0.7 本条目的事实纪律声明

本条目严格遵循千方库的核验纪律:

  • 所有硬数字均标注来源,并在 §4.4 与附录 D 存照双口径与遗留疑点;
  • 候选情报仅供参考,凡与一手来源冲突处按实核结果成稿(如 arXiv 号纠错、820 万疑点存照);
  • 互链 rid 一律不写死,由主会话入库后按 DB 实查回填(R018 纪律);
  • frontmatter 引号纪律:中文强调统一用「」,避免 YAML 解析失败(R009 纪律)。

若你在阅读中发现任何数字与一手来源不符,欢迎回原文核对并在库内反馈。

§1 数据集速览:十问十答

1.1 是什么?

ANI-1x 是一份有机分子非平衡构象 + DFT 能量/力/偶极标签的数据集,约 495.6 万构象、7570 万原子、仅含 C/H/N/O 四元素,用于训练通用机器学习势。它是 ANAKIN-ME(ANI)系列中承上启下的一代(「x」代表用主动学习「扩展/精炼」出来的版本)。

1.2 谁做的?

由洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory, LANL) 主导,合作方包括北卡罗来纳大学教堂山分校(UNC Chapel Hill,Adrian E. Roitberg 组)与佛罗里达大学/卡内基梅隆大学(Olexandr Isayev 组)。论文署名作者为 Justin S. Smith、Ben Nebgen、Nicholas Lubbers、Olexandr Isayev、Adrian E. Roitberg。

1.3 规模多大?

指标 数值
构象总数 4,956,005(≈500 万)
原子总数 75,700,481(≈7570 万)
分子及复合物数 约 64,000(6.4 万,口径见 §4)
HDF5 化学式分组数 3114
平均分子大小 约 15 原子
ANI-1ccx 高精度子集 约 500,000(约占 10%)
元素 仅 C/H/N/O

1.4 标签是什么水平?

主标签是 ωB97X/6-31G(d)(等价写法 ωB97X/6-31G*)的 DFT 计算,用 Gaussian 09 完成;提供每原子力(force,单位 eV/Å)、每结构能量(energy)、每结构偶极矩(dipole)。约 50 万构象子集(ANI-1ccx)另以 CCSD(T)*/CBS(近似耦合簇/完备基组)重算,精度更高。

1.5 数据怎么来的?

主动学习(Query by Committee)。先训练 ANI 势集成,用成员预测标准差按 √N 归一得到不确定性度量 ρ;对 ρ 大的结构补算 DFT 并回灌训练,迭代至收敛。每次对选中的分子施加四种采样之一:分子动力学采样、简正模采样、二聚体采样、扭转采样。分子来源为 GDB-11、ChEMBL 及 RDKit 生成的氨基酸与二肽。

1.6 许可怎样?

CC0 1.0 Universal(公共领域奉献)。即作者放弃全部著作权,任何人可自由使用、修改、再分发,无需署名、无需遵守任何条件。这在化学数据集里属于最开放的许可档位之一。

1.7 怎么获取?

主分发点为 figshare(Springer Nature Figshare):ANI-1x Dataset Release(doi:10.6084/m9.figshare.10047041),核心文件 ani1x-release.h5(HDF5 格式)。公开直链,无申请门槛。解析需 h5py/ASE 等工具,辅助脚本见 github.com/aiqm/ANI1x_datasets。另有 modelforge curated 版(Zenodo)与 load-atoms 封装加载器作为镜像。

1.8 配套基准是什么?

COMP6——一个包含药物分子、三肽、二聚体乃至小型蛋白的多样有机分子基准,用于检验势的泛化能力(结构通常比训练集更大更复杂)。ANI-1x 论文的核心结论之一:主动学习势在 COMP6 上仅用 10% 数据即达到 ANI-1 水平,用 25% 数据大幅超越 ANI-1。

1.9 和 ANI-1、ANI-1ccx 什么关系?

三者构成 ANAKIN-ME 家族的递进链:

  • ANI-1(2017):随机采样,约 2000 万构象;
  • ANI-1x(2018):主动学习,约 500 万构象,多样性远高于 ANI-1;
  • ANI-1ccx(2019):ANI-1x 中智能挑选的约 10%(约 50 万构象),用 CCSD(T)*/CBS 重算的高精度子集。

ANI-1x 既是独立训练集,也是训练 ANI-1ccx 的迁移学习底座。

1.10 为什么它重要?

因为它示范并验证了一条「用模型的不确定性指导数据生成」的通用路线,把「造数据集」从盲目堆算力变成有目标的主动搜索。这条路线后来被广泛复制到分子、材料、催化等领域的 MLP 数据构建中。对药物发现而言,ANI-1x 训练的势可用于快速筛选候选分子的构象能、稳定性与受力,是「AI for chemistry」基础设施的一环。

1.11 一句话澄清五个常见误解

误解 事实
「ANI-1x 是 ANI-1 的新版本」 是不同采样范式的独立数据集,非简单升级
「ANI-1x 有 820 万构象」 实证为 4,956,005(≈500 万)
「ANI-1x 标签是耦合簇精度」 主标签是 DFT,只有 ANI-1ccx 子集才是耦合簇
「ANI-1x 需要申请才能下载」 公开直链,无申请门槛
「ANI-1x 有官方 HuggingFace」 没有,走 figshare

1.12 阅读本文后你应该能回答的问题

  • ANI-1x 到底有多少构象、多少原子、多少元素?
  • 它和 ANI-1、ANI-1ccx 的确切关系是什么?
  • 它的数据是怎么被「主动学习」生产出来的?
  • 它的许可允许我做什么、不允许我做什么?
  • 我从哪里下载、用什么工具读、有哪些坑?
  • 它适合/不适合哪些任务?

若这些问题你都能在本文中找到明确答案,那么本条目就达到了它的目的。

§2 数据构成与规格

2.1 规模与量化口径

ANI-1x 的官方口径是「约 500 万个构象」。把它精确到个位,得自两处独立镜像的精算:

  • load-atoms(jla-gardner 维护的数据集加载器)遍历 ani1x-release.h5 逐组累加 coordinates.shape[0],得 4,956,005 个结构、75,700,481 个原子;
  • modelforge curated dataset(choderalab 维护,Zenodo 归档)在其描述中记 4,956,005 total conformers,3114 unique entries,与 load-atoms 的构象数完全一致。

两个数字因此可以放心采纳为硬事实:构象 4,956,005、原子 75,700,481。候选情报中的「约 4.96M 构象 / 75.7M 原子」与此吻合;但情报另称「约 820 万重采样构象」,在任何一手来源中均未得证(详见 §4.4 的双口径存照与 §10 避坑)。

2.2 元素构成与分子尺度

load-atoms 给出的原子种类占比为:

元素 占比
H(氢) 47.63%
C(碳) 30.30%
N(氮) 13.32%
O(氧) 8.75%

数据仅覆盖碳氢氮氧(CHNO),不含氟、硫、磷等。氢原子数几乎占一半,说明数据集以大量含氢的有机骨架为主。Sci. Data 与 Nat. Commun. 论文均记平均分子大小约 15 个原子,属于「小分子」量级——这也划定了 ANI-1x 适用的化学空间边界:它能很好地描述小有机分子与二聚体,但天生不适配大分子、金属、无机材料。

2.3 HDF5 结构:以化学式为键

ani1x-release.h5 的组织方式对使用者而言至关重要。它的顶层键(key)不是分子的标识符,而是化学式(stoichiometry)。load-atoms 的导入脚本逻辑是:

with h5py.File(tmp_dir / "ani1x-release.h5", "r") as f:
    n_structures = sum(data["coordinates"].shape[0] for data in f.values())
    for data in f.values():
        Zs       = data["atomic_numbers"]        # 该组分子的原子序数
        coords   = data["coordinates"][()]        # N × 3 坐标
        dft_energy  = data["wb97x_dz.energy"][()] # ωB97X/6-31G(d) 能量(hartree)
        dft_dipole  = data["wb97x_dz.dipole"][()] # 偶极
        dft_forces  = data["wb97x_dz.forces"][()] # 力
        cc_energy   = data["ccsd(t)_cbs.energy"][()] # CCSD(T)*/CBS 能量(子集)

也就是说,同一化学式下的所有分子/构象被归到同一个组,组内以数组形式存放该组全部构象。这解释了 §1 与 §4 的关键双口径:组数(3114)不等于分子数(约 6.4 万)——许多结构异构体共享同一化学式,因而落入同一组。检索者若按「键数 = 分子数」理解 HDF5,会把 6.4 万分子误读成 3114 个,反之亦然。

2.4 标签字段与单位

每个构象可携带的标注(以 ωB97X/6-31G(d) 为主,curated 版扩展):

层级 字段 单位 说明
per-atom forces eV/Å 每个原子的受力矢量(N×3)
per-structure energy hartree(脚本转 eV) 该构象的 DFT 总能量
per-structure dipole e·Å 偶极矩
per-structure is_in_ccx bool 是否属 ANI-1ccx 高精度子集
curated 扩展 wb97x_tz 系列能量/力 kJ/mol 等 更大基组(def2-TZVPP)重算
curated 扩展 CM5/Hirshfeld/MBIS 电荷 e 多种电荷分配方案
curated 扩展 npno/tpno/mp2 校正能量 kJ/mol 多种 CCSD(T) 校正量

单位陷阱:HDF5 内 wb97x_dz.energy 以 hartree 存储,而 load-atoms/modelforge 导入脚本会把它转成 eV 或 kJ/mol(Hartree→eV 换算因子 27.2114079527)。使用者在跨库对齐时若忽略单位,会得到量级错误的对照。modelforge 版明确把单位写成 openff-units 兼容字符串(如 kilojoule_per_mole),是更「自描述」的格式。

2.5 数据质量与抽样偏差

作为主动学习产物,ANI-1x 的构象分布明显偏向「模型当初不确定」的区域,而非化学空间中的均匀或平衡分布。这带来两点后果:

  1. 优势:覆盖了随机采样容易漏掉的「困难」区域(高能、畸变、过渡构象),因此泛化性更好;
  2. 代价:构象分布高度不均匀,某些化学式/分子贡献了远多于其他的构象;直接拿它做无偏统计(如构象分布直方图)会有严重的采样偏置。做训练集划分时,按「化学式分组」切分比按构象随机切分更合理,可避免同组数据泄漏到测试集。

2.6 与「平衡态采样」数据集的边界

ANI-1x 采样的是非平衡构象(non-equilibrium),来源包括 MD 轨迹、简正模位移、二聚体与扭转扫描。这使其不是一个「平衡态构象库」,也不能直接当作「分子基态几何表」使用。Sci. Data 描述论文明确指出,正因为是非平衡采样,ANI-1x 比「QMx 式」数据集的构象多样性要大得多——这是它的卖点,也是它区别于 QM9、MD17 等数据集的根本所在。

2.7 一条记录的解剖:从原子序数到能量标签

为了让「一条 ANI-1x 记录」的抽象描述落地,这里追踪一个典型构象从 HDF5 到可训练样本的完整路径:

  1. 定位分组:HDF5 顶层以化学式(如 C7H10N2O)为键,找到对应组;
  2. 读原子身份:atomic_numbers 给出该组所有原子的原子序数数组(决定元素种类与分子骨架);
  3. 读几何:coordinates 给出每个构象的 N×3 坐标矩阵(单位 Å),第 i 个构象即 coordinates[i];
  4. 读能量标签:wb97x_dz.energy[i] 是该构象的 DFT 总能量(hartree);
  5. 读力标签:wb97x_dz.forces[i] 是每个原子的受力(N×3),是训练势函数的核心监督信号;
  6. 读偶极:wb97x_dz.dipole[i] 是分子偶极矩(e·Å);
  7. 查高精度标志:is_in_ccx[i] 与 ccsd(t)_cbs.energy[i] 判断该构象是否有耦合簇标签。

训练时,模型输入「原子种类 + 坐标」,输出「能量 + 每个原子受力」,用监督学习拟合这一映射。力标签之所以关键,是因为它提供了比单个能量标量丰富得多的梯度信息——一个含 N 个原子的构象,能量是 1 个标量,力却有 3N 个分量,极大地提升了学习效率。

2.8 为什么「力」比「能量」更重要

在势函数训练中,力(forces)标签的信息密度远高于能量。原因有三:

  1. 维度优势:单个构象提供 3N 个力分量 + 1 个能量标量,力主导了监督信号;
  2. 梯度即导数:力是能量对坐标的负梯度,直接约束了势能面的局部形状,比绝对能量更贴近「势能否驱动正确动力学」这一目标;
  3. 标定尺度:能量可以整体平移而不影响物理(只差常数),力则不然——力是绝对的,因此是更「干净」的监督目标。

ANI-1x 同时提供能量与力,正是为了让训练既锚定绝对能量,又精确刻画势能面梯度。这也是它在 MD 应用上表现出色的原因之一。

2.9 数据规模在同类中的位置

把 ANI-1x 的 4,956,005 构象放进同类数据集的坐标中:

数据集 构象量级 相对 ANI-1x
QM7 约 7 千 千分之一量级
QM9 约 13.4 万 约 2.7%
ANI-1ccx 约 50 万 约 10%
ANI-1x 约 495.6 万 1×
ANI-1 约 2000 万 约 4×
OC20 百万级(吸附体系) 同量级但异域

注意:规模大不等于「更适合」。ANI-1 的 2000 万构象是随机采样,而 ANI-1x 用约 1/4 的数据实现了更广的化学空间覆盖——这正是主动学习的价值所在。单纯比拼构象数会错失重点。

2.10 标签精度的层级:DFT 与 CCSD(T) 的差距

ANI-1x 的主标签是 DFT(ωB97X/6-31G(d))。DFT 虽快,但与耦合簇(金标准)之间存在系统性误差,典型量级在能量上可达数 kcal/mol。ANI-1ccx 子集用 CCSD(T)*/CBS 重算,把这一误差压到接近化学精度(约 1 kcal/mol)。因此:

  • 用全量 ANI-1x 训练 → 势的精度上限受 DFT 标签精度限制;
  • 用 ANI-1ccx 子集训练 → 势的精度上限接近耦合簇。

这是「分层精度」策略的直接体现:大规模数据用 DFfor 保证覆盖,关键子集用耦合簇保证精度。检索者若对精度有高要求,务必确认自己用的是哪一层标签。

2.11 数据的「三宗最」与「三短板」

三宗最(相对同类):

  1. 最开放的许可之一:CC0,无任何约束;
  2. 数据效率最高的范式之一:主动学习,用更少数据覆盖更广空间;
  3. 元数据最丰富的字段之一:能量 + 力 + 偶极 + 电荷 + 多精度标签齐备。

三短板:

  1. 元素最窄:仅 CHNO,缺卤素/硫/磷;
  2. 分子最小:平均 15 原子,难及大分子;
  3. 分布最偏:主动学习采样,非无偏样本。

这张「三宗最 + 三短板」表,是快速判断「ANI-1x 是否适合我」的决策辅助。若你的任务落在短板区,请转向 ANI-2x 或异域数据集;若落在长处区,ANI-1x 是极低摩擦的起点。

2.12 复核用的最小核对清单

任何引用 ANI-1x 数字的场合,建议先过一遍这张核对清单:

要核对的数字 正确值 常见错误
构象总数 4,956,005 820 万(错)
原子总数 75,700,481 —
分子数 约 6.4 万 3114(口径混淆)
HDF5 组数 3114 6.4 万(口径混淆)
主标签方法 ωB97X/6-31G(d) 误当 CCSD(T)
高精度子集 ANI-1ccx,约 50 万 —
论文 arXiv 1801.09319 1706.00279(错)
许可 CC0 1.0 误当 CC BY-NC

这张表本身就是一份「避坑速查」,对应 §10 的坑点清单。

§3 主动学习流水线:数据是怎么「长」出来的

3.1 为什么不用随机采样

传统 QM 数据集(如 ANI-1)用随机采样生成构象:对每个分子随机扰动、算 DFT。问题在于,这种策略对「模型已经学好的简单区域」和「模型没学会的困难区域」一视同仁,算力被大量浪费在无信息量的点上。要给通用势覆盖足够广的化学空间,随机采样的数据量需求呈指数式膨胀。

ANI-1x 的解法是主动学习(Active Learning, AL):让模型自己报告哪里不确定,只对不确定的地方补数据。论文标题「Less is more」即由此而来。

3.2 Query by Committee(QBC)机制

ANI-1x 的主动学习基于 Query by Committee(QBC,委员会查询)。具体流程:

  1. 训练集成:在一个初始「引导数据集」上训练一组 ANI 神经网络(集成),成员之间因初始化与数据子集不同而存在预测差异;
  2. 度量不确定性:对任一新结构,计算集成成员预测的标准差,再按 √N(N 为体系原子数)归一化,得到不确定性度量 ρ(rho);
  3. 筛选补算:ρ 值大 → 说明集成成员分歧大、模型「没把握」→ 对这一结构补算 DFT 标签;
  4. 回灌迭代:把新标签加入训练集,重新训练集成,进入下一轮;
  5. 分批加速:新数据分批加入以加快迭代,整个流程自动化、可重复,直至收敛。

Sci. Data 描述论文对 ρ 的定义是:「ρ 与集成预测的标准差成正比,并以体系原子数的平方根归一化。」这一归一化很关键——否则大分子天然预测方差更大,会误导采样的选择。

3.3 四种采样技术

每轮主动学习对选中的分子施加四种采样技术之一,以覆盖不同类型的构象空间:

  1. 分子动力学采样(MD sampling):用当前训练的 ML 势集成驱动 MD 模拟。论文给出的具体参数是——随机温度 50–800 K、Langevin 恒温器、时间步 0.5 fs、摩擦系数 0.02 fs⁻¹,每 5 个 MD 步就计算一次 ρ。这能沿着势能面探索热运动可达的构象。
  2. 简正模采样(normal mode sampling):在平衡几何附近沿简正模方向施加随机位移(位移幅度按温度标定),生成平衡几何邻域内的构象。这补齐了「分子在其平衡结构附近的小幅振动」区域。
  3. 二聚体采样(dimer sampling):对分子二聚体(两分子接近的复合物)采样,专门探测分子间相互作用(如氢键、范德华作用)。这是单体采样无法覆盖的区域。
  4. 扭转采样(torsion sampling):系统性扫描分子的二面角(扭转角),覆盖构象异构体的完整能量曲线。这对柔性分子至关重要——很多药物分子的活性取决于特定扭转构象。

四种技术的组合,使得 ANI-1x 的构象多样性远超单纯随机扰动所得。

3.4 分子来源库

主动学习循环从以下来源随机抽取新分子:

  • GDB-11:含至多 11 个重原子的枚举有机分子数据库;
  • ChEMBL:生物活性分子数据库(药物化学来源);
  • RDKit 生成:氨基酸与 2-氨基酸二肽(用 RDKit 化学信息学 Python 包生成)。

这种「通用小分子库 + 药物分子库 + 生物相关肽」的组合,决定了 ANI-1x 的化学空间定位:面向药物发现与小分子生物化学。

3.5 从 ANI-1x 到 ANI-1ccx:迁移学习

ANI-1ccx 的生成是第二阶段的工作,基于 ANI-1x 做迁移学习(transfer learning):

  • 从 ANI-1x 中智能挑选约 10%(约 50 万构象)子集;
  • 对这些构象用 CCSD(T)*/CBS(近似耦合簇/完备基组)重新计算标签;
  • 用这批高精度数据对 ANI-1x 势进行再训练(迁移学习)。

选择子集的过程同样用 QBC:先用一批 CCSD(T)*/CBS 数据训练集成,计算 ANI-1x 中所有构象的 ρ,挑选 ρ 超阈值者补算。这样,高成本的耦合簇计算被集中用在信息量最大的点上,实现了「以少量高精度数据换取接近 CCSD(T) 的全局精度」。ANI-1ccx 论文(Nat. Commun. 2019)称这是「通过迁移学习逼近耦合簇精度」。

3.6 自动化与可复现

整个流程用 ASE(Atomic Simulation Environment) Python 库完成 MD 模拟与几何优化。数据描述论文强调流程「完全自动化」,可重复、可扩展。这也是后续 ANI-2x(扩展到 S、F、Cl 等元素)等方法论的直接基础。

3.7 主动学习的成本账:省下了什么

要理解 ANI-1x 的「数据效率」主张,需要把它换算成计算成本。DFT 单点计算的成本随体系规模快速上升,而生成一个「有用」的构象(即模型真正需要的构象)的成本,取决于采样策略是否高效:

  • 随机采样路线(ANI-1):构象均匀撒在化学空间,大量落点位于模型早已掌握的区域,标记这些点几乎不带来精度收益,却同样消耗 DFT 算力。要达到某精度,需要 2000 万级构象。
  • 主动学习路线(ANI-1x):每一轮只标记 ρ 值高的构象,落点集中于模型「不会」的区域,每个标签的信息量更高。达到同等或更好精度,只需约 500 万级构象。

论文给出的量化结论是:在 COMP6 上,主动学习势用 10% 数据即达到 ANI-1 水平,用 25% 数据大幅超越 ANI-1。这里「10%/25%」是相对于「达到同精度所需的随机采样数据量」而言,体现的正是 AL 相对于随机采样的数据效率倍数。

3.8 ρ 阈值与批次策略

主动学习中一个关键的工程选择是「ρ 阈值」——多大算「不确定」,才值得补算。阈值过低,会补算太多(回到低效的随机采样);阈值过高,会补算太少(模型学不动)。ANI-1x 采用的是「分批补算 + 逐步降阈值」的实践:每轮取 ρ 最高的一批结构标记,回灌后重新评估,如此往复。数据描述论文特别指出新数据「分批(in batches)」加入以「加速主动学习过程」——批量太小迭代慢,批量太大则每一轮的训练失衡。

3.9 四种采样技术各自的适用场景

采样技术 覆盖的构象空间 何时最有用
分子动力学(MD) 热运动可达的非平衡区域 探索反应路径、高温构象
简正模(normal mode) 平衡几何邻域的小幅振动 精修势在平衡点附近的精度
二聚体(dimer) 分子间相互作用区 氢键、范德华、堆叠作用
扭转(torsion) 二面角扫描的构象异构体 柔性分子的构象能曲线

四者互补:简正模保证「近平衡区」,MD 覆盖「热扰动区」,扭转保证「构象异构体完整」,二聚体补齐「分子间」。缺少任一类,势在对应区域的精度都会塌陷。

3.10 与「模型选择」的耦合风险

主动学习有一个内在的方法论风险:训练数据由模型自身的判断生成。若初始模型存在系统性偏差,它可能持续在「自己认为不确定」但实际并不重要的区域采样,形成「自我强化」的偏置回路。ANI-1x 通过「四种采样技术轮换 + 多来源分子库 + 分批迭代」来缓解这一风险,但检索者应意识到:主动学习数据集并非「无偏样本」,其分布天然携带生成时模型的印迹。这一点在做分布敏感的下游分析时尤为关键。

§4 家族谱系与双口径:三个必须分清的数字

4.1 ANAKIN-ME(ANI)家族三代

代际 年份 构象数 采样方式 精度 论文
ANI-1 2017 约 2000 万 随机/简正模 ωB97X/6-31G(d) Sci. Data 4:170193
ANI-1x 2018 约 496 万 主动学习 ωB97X/6-31G(d) JCP 148:241733
ANI-1ccx 2019 约 50 万 ANI-1x 子集重算 CCSD(T)*/CBS Nat. Commun. 10:2903

名字里的「x」指主动学习「扩展/精炼」出的版本;「ccx」指「coupled cluster extended」,即用耦合簇精度重算的子集。ANI-1 的 2000 万构象是随机采样的产物,ANI-1x 的约 500 万构象则是主动学习的产物——更少的数据,更大的多样性,这正是「Less is more」的核心主张。

4.2 ANI-1x 在谱系中的双重身份

ANI-1x 既是独立训练集(训出 ANI-1x 势),又是迁移学习底座(ANI-1ccx 的基础)。理解这一点对正确引用至关重要:若你的模型在 ANI-1x 上训练,你用的是 DFT 级标签;若在 ANI-1ccx 上训练,你用的是「在 ANI-1x 之上再叠耦合簇」的标签,两者精度与适用场景不同。ANI-1ccx 的构象重叠于 ANI-1x,不计入 ANI-1x 的构象总量。

4.3 论文与 DOI 的正确对应

检索 ANI-1x 时最易混淆的是「哪篇论文对应哪个 DOI」:

内容 论文 DOI arXiv
ANI-1x 首发(方法论) J. Chem. Phys. 2018, 148, 241733 10.1063/1.5023802 1801.09319
ANI-1x + ANI-1ccx 数据描述 Scientific Data 2020, 7, 134 10.1038/s41597-020-0473-z —
ANI-1ccx(迁移学习) Nat. Commun. 2019, 10, 2903 10.1038/s41467-019-10827-4 —
ANI-1(前作) Sci. Data 2017, 4, 170193 10.1038/sdata.2017.193 —

重要纠错:本次核验发现,候选情报把 ANI-1x 论文的 arXiv 号写成 1706.00279 是错误的。经三源核验,1706.00279 实为 Garrido & Meroño 的数学拓扑学论文《The Samuel realcompactification》(math.GN);ANI-1x 论文的正确 arXiv 号是 1801.09319(v1 2018-01-28,v2 2018-04-09)。同理,PMC6602931 并非 ANI-1x 的数据描述论文,而是 2019 年 ANI-1ccx 的 Nat. Commun. 论文。真正的数据描述论文是 Scientific Data 2020, 7, 134。

4.4 双口径存照:3114 vs 6.4 万,以及「820 万」疑点

口径 A(HDF5 分组数):modelforge curated 版记 3114 unique entries;load-atoms 遍历 HDF5 亦得约 3114 个顶层键(化学式分组)。3114 = HDF5 键数 = 化学式分组数。

口径 B(分子实体数):Scientific Data 描述论文与 matbench 记 约 64,000(64k)个分子及分子复合物——这是采样覆盖的分子实体数。

二者不矛盾:同一化学式的多个结构异构体/构象被归入同一 HDF5 组,因此组数(3114)远小于分子数(6.4 万)。引用时务必注明口径,否则会得出「ANI-1x 只有 3114 个分子」的错误印象。

第三个数字「约 820 万重采样构象」——遗留疑点。 候选情报称 ANI-1x 有「约 820 万重采样构象(主动学习采样)」。本次核验中,所有一手来源给出的构象总量均为 4,956,005(≈500 万),无一处出现 820 万。该数字的可能来源:(1)与 ANI-1 的约 2000 万或其他版本混淆;(2)把主动学习迭代过程中累计生成过的中间结构(含未入选最终发布的部分)计入;(3)单纯的引用错误。本条目按一手实证的 4,956,005 成稿,「约 820 万」仅作为遗留疑点记录,不作为硬数字采用。

4.5 与 ANI-1 的关系边界

Scientific Data 描述论文明确:ANI-1x 采用非平衡采样而非平衡采样,因此比「QMx 式」数据集构象多样性大得多;且因采用主动学习,其构象多样性远高于 ANI-1 的随机采样集。但一手来源未明确给出 ANI-1x 与 ANI-1 的构象是否重叠、重叠多少——ANI-1x 是 ANI-1 的超集还是独立集,文献未明写。这是一处遗留疑点,引用时不宜自行断言二者无重叠。

§5 获取与工程实操

5.1 官方分发点

ANI-1x 的主分发点是 Springer Nature Figshare:

figshare 记录页正文极简,只有一句「数据文件需要特殊工具提取」,工具见辅助仓库 github.com/aiqm/ANI1x_datasets。这意味着没有官方脚本你就无法直接读懂 HDF5,必须依赖社区工具或自行按结构解析。

5.2 镜像与 curated 版本

由于 HDF5 直读门槛较高,社区衍生出多个「友好封装」版本:

版本 维护方 载体 说明
原始 HDF5 LANL(aiqm) figshare 官方,ani1x-release.h5
modelforge curated choderalab Zenodo records/12176579(v1.1)/ 12176580(v0) HDF5 schema 2,openff-units 自描述单位,含更多电荷/能量字段;ani1x_dataset_v1.1_ntc_1000.hdf5.gz 约 1.4 MB
load-atoms jla-gardner PyPI 包 从 figshare 下载并转 ASE Atoms,一键 load_dataset("ANI-1x")
TorchANI aiqm GitHub/PyPI ANI 势的 PyTorch 实现,配套数据加载

5.3 最小加载示例(load-atoms)

from load_atoms import load_dataset

ds = load_dataset("ANI-1x")
# ds: 4956005 structures, 75700481 atoms
# species: H 47.63% / C 30.30% / N 13.32% / O 8.75%
# per-atom: forces
# per-structure: dipole, energy, is_in_ccx

load-atoms 的优势在于把 HDF5 封装成 ASE 对象,自动处理单位换算(hartree→eV)与字段映射,是快速上手的最短路径。缺点是首次使用需联网从 figshare 下载完整 HDF5(体积较大)。

5.4 存储与算力提示

约 500 万构象、7570 万原子的 HDF5 文件,解压/加载后占用可观内存。工程建议:

  • 不要一次性把全量读进内存;按化学式分组(HDF5 key)流式读取;
  • 训练时按化学式分组切分训练/验证/测试集,避免同组泄漏(见 §9 方法学建议);
  • 若只需子集,is_in_ccx 字段可快速筛出 ANI-1ccx 的高精度子集。

5.5 与 HuggingFace 的关系

ANI-1x 没有官方 HuggingFace 托管。化学/材料数据集在 HF 上的托管相对少见,检索者若在 HF 上找不到 ANI-1x 不必惊讶——它的正统入口始终是 figshare。第三方镜像以 Zenodo(modelforge)为主。

5.6 获取门槛总结

资产 门槛
原始 HDF5(figshare) 无门槛公开直链
解析工具(aiqm/ASE/h5py) 开源可自由获取
modelforge curated(Zenodo) 无门槛
load-atoms(PyPI) 无门槛
许可 CC0,无任何限制

ANI-1x 在「可获取性」维度上是近乎满分的数据集:公开直链 + 最宽松许可 + 活跃的社区工具链。这与其「基础设施型」定位相符。

5.7 数据血缘与版本演进

理解 ANI-1x 的版本链,有助于避免「下错版本、用错字段」:

  1. 2018-01 / 2018-06:ANI-1x 随 JCP 论文首次公开(方法论与初版数据);
  2. 2019-08:ANI-1ccx 随 Nat. Commun. 论文发布(ANI-1x 的约 10% 耦合簇重算子集);
  3. 2020-04-23:figshare 正式归档 ANI-1x + ANI-1ccx 合并 HDF5(ani1x-release.h5),这是当前最正统的下载入口;
  4. 2024:modelforge curated 版发布(Zenodo records/12176579 为 v1.1),把数据整理进 HDF5 schema 2,单位自描述,便于现代 ML 流水线直接消费。

关键点:ANI-1x 与 ANI-1ccx 在同一份归档文件里。下载 ani1x-release.h5 后,ANI-1ccx 的高精度子集通过 ccsd(t)_cbs.energy 字段与 is_in_ccx 标志区分,不需要单独下载。

5.8 figshare 记录页的「元数据荒漠」问题

本次核验发现一个真实的工程障碍:figshare 的 ANI-1x 记录页正文极简,只有一句「数据文件需要特殊工具提取,工具见 github.com/aiqm/ANI1x_datasets」,并未在页面上直接给出构象数、原子数、元素构成或许可全文。这意味着:

  • 想确认「到底多少构象」,得去读论文或第三方镜像(这正是本条目要做三源互证的原因);
  • 想确认「许可到底是什么」,得在页面角落的 Licence 字段里找(显示为 CC0);
  • figshare 未提供机器可读的结构化 metadata JSON(至少不在页面可见层)。

对 AI-Ready 而言,这是互操作性维度扣分的直接来源:数据本体开放,但元信息散落。使用者应养成「以论文 + 第三方镜像交叉核对元数据」的习惯。

5.9 与相邻数据集的取舍

若你手头的任务在以下几种情形,应重新考虑是否用 ANI-1x:

  • 需要含氟/硫/磷的分子 → 转向 ANI-2x(元素扩展版);
  • 需要耦合簇级精度 → 用 ANI-1ccx 子集,或 QM 级高精度库;
  • 需要平衡态几何/热力学 → 用平衡态数据集(如 QM9 的优化几何);
  • 需要大分子/蛋白/材料 → ANI-1x 覆盖不足,考虑更大的 NNP 数据集;
  • 需要分子间弱相互作用专项 → ANI-1x 有二聚体采样,但专门的 S66x8 等基准可能更聚焦。

5.10 复现实操:从零到可训练样本

以下是使用 ANI-1x 的推荐工程路径(load-atoms 快捷路线):

# 1) 安装加载器(会按需从 figshare 下载 ani1x-release.h5)
pip install load-atoms

# 2) 一行加载(首次触发下载,体积较大,建议预留磁盘与带宽)
python - <<'PY'
from load_atoms import load_dataset
ds = load_dataset("ANI-1x")
print(len(ds))          # 4956005
print(ds[0])            # ASE Atoms 对象,含 energy/forces/dipole
PY

若走原始 HDF5 路线(需精细控制字段与内存):

import h5py
with h5py.File("ani1x-release.h5", "r") as f:
    keys = list(f.keys())            # 3114 个化学式分组
    g = f[keys[0]]
    Zs = g["atomic_numbers"][:]
    coords = g["coordinates"][:]     # N_conf × N_atom × 3
    e = g["wb97x_dz.energy"][:]      # hartree
    forces = g["wb97x_dz.forces"][:]

5.11 内存与 IO 优化的四条实践

面对约 500 万构象的体量,工程上有四条经验值得记住:

  1. 流式读取:按 HDF5 分组逐个处理,不要 f[...][()] 一次性读全量;
  2. 格式转换缓存:把常用子集转成内存映射友好的格式(如 numpy .npy、LMDB、WebDataset),避免重复解析 HDF5;
  3. 分组切分:训练/验证/测试按化学式组划分(见 §8.4),既防泄漏又便于并行;
  4. 单位归一:进入训练管线前统一到单一单位制(推荐 kJ/mol + Å),避免 hartree/eV 混用。

5.12 数据加载的常见报错与排查

现象 可能原因 处置
KeyError 找不到字段 字段名随版本不同(如 wb97x_dz vs wb97x_tz) 先 print(g.keys()) 看实际字段
能量量级异常 单位误判(hartree 当 eV) 检查加载器是否换算,或手动 ×27.2114
内存溢出 一次性读全量 改流式/分块
下载中断 大文件网络问题 用支持断点的下载工具重试
找不到官方 HF 本就没有 走 figshare(见坑 7)

5.13 与训练框架的衔接

ANI-1x 的「原子坐标 + 能量 + 力」结构,是所有主流势函数框架的通用输入。接入方式:

  • TorchANI:aiqm 官方 PyTorch 实现,直接消费 ANI-1x;
  • ASE 生态:load-atoms 输出 ASE Atoms,可喂给任意 ASE 兼容框架;
  • 自研框架:按「原子序数 + 坐标 + 能量 + 力」四元组构造 Dataset/Dataloader 即可。

关键约定:同一次前向必须用「同构象」的坐标-能量-力三者配对,切勿错位(HDF5 内三者按构象索引对齐)。

§6 许可与合规:CC0 意味着什么

6.1 许可事实

ANI-1x 数据集采用 CC0 1.0 Universal(公共领域奉献,Public Domain Dedication)。三个独立来源一致确认:

  • figshare 记录页 Licence 明示 CC0;
  • matbench-discovery 记 CC0-1.0;
  • modelforge(Zenodo)记「released with CC0 1.0 Universal License」。

CC0 是 Creative Commons 中最极端的一档:作者放弃一切著作权及相关权利,将作品置于公共领域。

6.2 CC0 的实际含义

与常见的 CC BY(需署名)、CC BY-NC(禁商用)、CC BY-SA(传衍生)等许可不同,CC0 不要求署名、不限制商用、不要求衍生作品同许可。具体而言:

  • ✅ 可自由使用、复制、修改、分发;
  • ✅ 可用于商业产品(如药物发现软件、云平台);
  • ✅ 可闭源、可再许可;
  • ✅ 无署名义务(虽然学术惯例上仍建议引用论文)。

这在化学数据集中属于最开放的档位。作为对比,许多生物医学数据集采用 CC BY-NC 或「申请制」,而 ANI-1x 的 CC0 使其成为真正的「公共基础设施」。

6.3 学术引用的惯例

尽管 CC0 不强制署名,学术规范仍强烈建议引用原始论文。推荐引用:

Smith, J. S.; Nebgen, B.; Lubbers, N.; Isayev, O.; Roitberg, A. E. Less is more: sampling chemical space with active learning. J. Chem. Phys. 2018, 148 (24), 241733. doi:10.1063/1.5023802

若使用 ANI-1ccx 子集或数据描述内容,还应引用:

Smith, J. S. et al. The ANI-1ccx and ANI-1x data sets, coupled-cluster and density functional theory properties for molecules. Sci. Data 2020, 7, 134. doi:10.1038/s41597-020-0473-z

6.4 许可边界注意事项

  • 数据集许可 ≠ 论文许可:JCP 论文本身受出版商版权约束(阅读/引用规则与数据集 CC0 不同)。CC0 适用于数据,不自动适用于论文正文。
  • 底层来源库:构象生成的分子来自 GDB-11、ChEMBL 等,但最终发布的 HDF5 是 DFT 计算结果(新生成的衍生数据),CC0 覆盖的是这批计算结果。使用者无需回溯原始分子库的许可。
  • 计算软件:Gaussian 09 为商业软件,但其输出的计算结果不受 Gaussian 软件许可约束——数据可自由分发(这正是 LANL 能以 CC0 发布的原因)。

6.5 AI-Ready 合规评价

从「AI-Ready」视角评估 ANI-1x 的许可合规:

维度 评价
商用许可 ✅ CC0 允许
再分发 ✅ 无限制
署名要求 ⚪ 无强制(惯例建议引用)
用途限制 ⚪ 无
可修改/衍生 ✅ 允许
检索门槛 ✅ 公开直链

这是 AI-Ready 光谱中最理想的一端:法律风险接近零。研究者可放心将其纳入训练管线、商业模型与再分发数据集,无需担心许可污染。

6.6 许可对比:ANI-1x 与常见数据许可

为帮助检索者快速判断「能不能用」,列出常见许可的关键差异:

许可 商用 署名 衍生同许可 典型场景
CC0(ANI-1x) ✅ ❌ 无要求 ❌ 无要求 公共领域奉献
CC BY ✅ ✅ 必须 ❌ 要求署名的开放数据
CC BY-NC ❌ 禁商用 ✅ ❌ 学术专用
CC BY-SA ✅ ✅ ✅ 维基式传染
申请制 视协议 视协议 视协议 医疗隐私数据

ANI-1x 的 CC0 是所有档位里约束最少的。这也是它能在工业界被广泛采用(无需法务审查许可兼容性)的原因。

6.7 AI-Ready 许可合规的「三条自检」

拿到任何数据集,可用以下三条快速判断 AI-Ready 合规性,ANI-1x 作为对照:

  1. 能否商用? ANI-1x 可以(CC0),无 NC 限制;
  2. 再分发是否触发传染条款? ANI-1x 不触发(CC0 无 SA),可自由并入专有数据集;
  3. 是否要求署名? ANI-1x 不强制(CC0),学术惯例建议引用即可。

三条全过,即为「低摩擦 AI-Ready」数据。ANI-1x 三项全绿。

§7 生态、基准与影响

7.1 COMP6 基准

COMP6 是随 ANI-1x 一同推出的配套基准,用于检验「通用势」的泛化能力。它包含多个子集,覆盖:

  • 药物样分子(含 S66x8 等分子间作用子集);
  • 三肽(tripeptides);
  • 部分小型蛋白(small proteins);
  • 含分子间相互作用的复合物。

与训练集相比,COMP6 的结构通常更大、更复杂——这正是检验「通用性」的关键:一个真正通用的势,必须能外推到训练时没见过的大分子与复杂相互作用。

7.2 论文的核心结论

ANI-1x 论文(JCP 2018)报告的定量结论是:

  • 主动学习势在 COMP6 上,仅用 10% 的数据即达到 ANI-1 势的水平;
  • 用 25% 的数据则大幅超越 ANI-1 势;
  • 主动学习同时减少了对人工挑选数据的依赖,缓解了「人决定用什么数据」的主观偏置。

这些结论确立了「主动学习造数据」相对于「随机采样造数据」的效率优势。

7.3 后续影响与引用生态

ANI-1x 已成为计算化学/材料机器学习领域的标准训练集与 baseline,被大量后续工作引用:

  • 等变神经网络与张量敏感网络:如 HIP-NN-TS(arXiv:2212.03195)以 ANI-1x 为通用能力测试床。报告称张量敏感(ℓ>0)相对纯标量(ℓ=0)在 COMP6 上能量与力误差降低约 2 倍,且集成(ensemble)显著降低预测散布。
  • 不确定性估计方法:MAUL(arXiv:2501.05250)用 ANI-1x 做 9 折交叉验证来评估贝叶斯神经网络的不确定性质量。
  • 势函数实现:TorchANI(aiqm)提供 PyTorch 版 ANI 势;ASE 提供统一的原子模拟接口。
  • 方法论延伸:ANI-2x 把元素覆盖扩展到 S、F、Cl 等,继承并扩展了 ANI-1x 的主动学习框架。

7.4 在数据集景观中的位置

把 ANI-1x 放进分子/量子化学数据集的谱系中:

数据集 规模 元素 精度 采样方式 定位
QM7 / QM9 7k / 134k CHNOF DFT 平衡态 小分子性质预测
MD17 少量分子 多元素 DFT MD 轨迹 单分子动力学
ANI-1x 约 496 万 CHNO DFT 主动学习 通用势训练
ANI-1ccx 约 50 万 CHNO CCSD(T)* 子集重算 高精度势
OC20/OC22 百万级 多元素 DFT 表面吸附 催化

ANI-1x 的独特之处在于:它用主动学习而非随机/固定轨迹采样,从而在小得多的数据量下获得更大的化学空间覆盖。这使它成为「数据效率」研究的理想案例。

7.5 对下游任务的实用价值

对药物发现与分子模拟而言,ANI-1x 训练的势可用于:

  • 快速构象能评估:替代昂贵的 DFT 单点计算,加速候选分子筛选;
  • MD 加速:用 ML 势驱动分子动力学,精度接近 DFT 而速度快数个数量级;
  • 过渡态与反应路径初筛:在高不确定性区域(ρ 大)提示可能需要更高精度计算的位置;
  • 迁移学习起点:为特定体系(如含新元素、特定蛋白口袋)微调通用势的初始权重。

7.6 生态风险与局限

  • 元素覆盖窄:仅 CHNO,遇到含卤素、硫、磷的体系无法直接使用;
  • 分子规模小:平均 15 原子,直接外推到蛋白/材料可靠性下降;
  • 非平衡主导:训练集偏向畸变构象,预测平衡态物性时可能不如平衡态数据集「专用」;
  • 存在衍生数据集竞争:ANI-2x、MACE、NequIP 等新范式与数据集正在扩展边界,ANI-1x 的角色逐渐从「最新」转为「奠基」。

7.7 下游工作的三种典型用法

ANI-1x 在后续文献中被使用的方式大致分三类,理解这三类有助于判断「该不该引它」:

  1. 作为训练集直接训练新势:若想验证一个新网络架构(如等变网络、张量敏感网络)的通用能力,最标准的做法是在 ANI-1x 上训练、在 COMP6 上测试。ANI-1x 在这里扮演「通用能力基准床」。
  2. 作为对照 baseline:论文常把「ANI-1x 势」当作高精度参照模型,与自己的新势在相同基准上比误差(能量 ΔE、力 F 的 MAE/RMSE)。ANI-1x 在这里扮演「标杆」。
  3. 作为迁移学习起点或不确定性研究素材:如 MAUL 用它做 9 折交叉验证来评估 Bayesian 神经网络的不确定性质量;也有工作用它研究「模型何时会失准」。ANI-1x 在这里扮演「素材库」。

7.8 COMP6 子集的构成直觉

虽然 COMP6 的精确子集清单以官方 GitHub 为准,但其设计直觉值得把握:它刻意选取比训练集更难、更大的结构——正是为了暴露「通用势在未见场景会不会崩」。一个只在训练分布内表现好的势,会在 COMP6 上暴露短板。因此,「在 COMP6 上的表现」成为衡量通用势真本事的标准尺子。这也是为什么那么多后续论文都报 COMP6 数字——它提供了一个跨工作可比的共同擂台。

7.9 与其他势函数数据集的生态位关系

数据集 生态位 与 ANI-1x 的关系
ANI-1 前代 ANI-1x 的对照;随机采样
ANI-1ccx 高精度子集 ANI-1x 的精度升级层
ANI-2x 元素扩展 ANI-1x 继承者(加 S/F/Cl)
QM9 平衡态小分子 异域(平衡 vs 非平衡)
MD17 单分子 MD 异域(轨迹 vs AL 采样)
OC20/22 催化表面 异域(吸附 vs 气相分子)

ANI-1x 的独特生态位是「主动学习采样的通用有机分子势训练集」——在这一格上没有直接的替代品。

7.10 引用 ANI-1x 的三种「正确姿势」

不同用途对应不同的引用对象,用错会显得不专业:

你的用途 应引 不该只引
用数据训练势 JCP 2018(数据来源) 只引 Sci. Data
用 ANI-1ccx 子集 Nat. Commun. 2019 + Sci. Data 2020 只引 JCP 2018
讨论数据组织/获取 Sci. Data 2020(数据描述) 只引 JCP 2018
讨论 AL 方法论 JCP 2018 —

一句话记忆:方法论引 JCP、数据描述引 Sci. Data、高精度子集引 Nat. Commun.,三者按需组合。

7.11 对数据科学社区的三点更广启示

跳出化学领域,ANI-1x 对一般数据科学实践也有借鉴:

  1. 「标注什么」比「标注多少」更关键:把有限标注预算花在模型最不确定的地方,是普适的效率原则;
  2. 不确定性可以是可操作的信号:不只用于「知道模型何时不靠谱」,更可用于「主动决定下一步做什么」;
  3. 开放许可放大影响力:CC0 让 ANI-1x 被工业界与学术界无摩擦采用,形成网络效应——许可越简单,采用越广,引用越多。

这三点对医疗 AI 的数据构建同样成立:在隐私与合规允许的前提下,越开放、越结构化、越可机器读取的数据,越能成为真正的地基。

7.12 小结:ANI-1x 的生态地位一句话

在「用 AI 模拟分子」这件事上,ANI-1x 既是历史转折点(证明主动学习可行),也是现实基础设施(被反复训练与评测)——它不新,但它稳。

§7 附:常见下游任务与 ANI-1x 适配度速查

下游任务 适配度 说明
通用势训练 ★★★★★ 设计初衷
COMP6 泛化评测 ★★★★★ 官方基准配套
构象能快速评估 ★★★★☆ 受 DFT 精度限制
MD 加速 ★★★★☆ 力标签精确
含卤素体系 ★☆☆☆☆ 元素缺失
大分子/蛋白 ★★☆☆☆ 规模不足
平衡态物性 ★★☆☆☆ 非平衡偏置
不确定性方法研究 ★★★★★ 9 折划分即为此设

§8 方法学启示:三条可迁移的经验

8.1 「不确定性驱动的数据生成」是可复制的范式

ANI-1x 的最大方法论贡献,不是某个具体数字,而是验证了「用模型不确定性指导数据生成」这条路线。它的核心洞见是:别问『该给哪些分子算 DFT』,去问『模型在哪些结构上最没把握』。这条思路后来被广泛复制到材料(主动学习筛选候选材料)、催化(表面反应中间体)、生物分子等领域的 MLP 数据构建中。

可迁移的操作要点:

  1. 用集成(ensemble)而非单模型度量不确定性——成员分歧是廉价且有效的代理指标;
  2. 归一化不确定性(如按 √N)以避免体系规模混淆;
  3. 分批补算以平衡迭代速度与训练稳定性。

8.1.1 与其他不确定性度量路线的比较

「集成分歧」不是唯一的不确定性度量方式。理解它的位置有助于判断适用边界:

度量方式 代表 相对集成分歧的优势 相对劣势
集成分歧(QBC) ANI-1x 实现简单、无需改网络结构 需训练多模型,成本×K
贝叶斯神经网络 MAUL 等 单模型输出分布 训练与推断更复杂
高斯过程 早期 AL 解析不确定性 大规模数据下不可行
距离/密度估计 部分 AL 无需训练集成 对高维化学空间估计粗糙

ANI-1x 选择集成分歧,是因为在化学空间的高维、非线性场景下,它既稳定又足够便宜——这是工程务实的选择。

8.2 「更少即是更多」:数据质量 > 数据数量

ANI-1 有 2000 万构象,ANI-1x 只有约 500 万,但 ANI-1x 更通用。这是对「大数据迷信」的有力反驳:在正确的区域采样,比在任意区域堆量更有效。对任何需要生成训练数据的领域,这都是值得深思的教训——盲目扩大数据规模可能不如改进采样策略。

8.3 「分层精度」:把昂贵的计算花在刀刃上

ANI-1x → ANI-1ccx 的迁移学习展示了一种分层精度策略:

  • 大规模数据用中等精度(DFT)标注,保证覆盖;
  • 高不确定性关键点用最高精度(CCSD(T)*/CBS)标注,保证精度。

这样,昂贵的耦合簇计算只占总量的约 10%,却让最终势的精度逼近耦合簇水平。这种「广撒网用廉价标签、重点区域用昂贵标签」的分工,是资源受限场景下构建高质量数据集的一般原则。

8.4 数据划分的陷阱:按化学式分组

ANI-1x 的 HDF5 以化学式为键、组内多构象的特性,带来一个训练集划分陷阱:若按构象随机划分训练/测试集,同一化学式的构象会同时出现在两边,造成数据泄漏,使测试指标虚高。后续工作(如 MAUL)明确采用按分子/化学式分组的划分方式(315 组测试、其余按 9 折划分),这才是正确的评估姿势。使用任何以「分组」组织的数据集时,都应对照此原则检查划分逻辑。

8.5 工程可复现性:自动化是底线

ANI-1x 流程的「全自动化」特性值得强调。相比依赖专家手工挑选数据的做法,自动化的主动学习流程可重复、可审计、可扩展。当数据生成流程本身成为研究变量时,自动化不仅是效率问题,更是科学可信度问题。

8.6 对「数据集构建者」的五条操作清单

若你要在自己的领域复制 ANI-1x 的方法论,可按以下清单落地:

  1. 先建能度量不确定性的模型——没有可靠的 ρ,主动学习无从谈起;
  2. 设计互补的采样算子——像四种采样技术一样,让不同算子覆盖不同子空间,避免单一采样的盲区;
  3. 设定阈值并分批迭代——一次性标记全部「不确定」点会失衡,分批更稳;
  4. 交叉核对元数据——数据本体、论文、镜像三源互证,避免版本/口径错配;
  5. 用正确的划分评估——按生成组(分子/化学式)切分,而非按条目随机切分。

8.7 一个反面提醒:主动学习不是「免费的午餐」

主动学习降低了「达到某精度所需的数据量」,但它不降低「生成这些数据」所需的模型训练成本——每一轮迭代都要重训集成。在算力极度紧张的场景下,「少标签、多迭代」未必总是最优。ANI-1x 的成功建立在「DFT 计算昂贵、模型训练相对便宜」这一成本结构上;若你的场景相反(数据便宜、训练昂贵),主动学习的收益会缩水。这是检索者评估「能否照搬」时应先算清的一笔账。

§9 与库内条目的关系

9.1 家族图谱

ANI-1x 属于「量子化学 / 分子构象 DFT」数据集家族,其库内潜在互链对象包括:

  • 同谱系:ANI-1、ANI-1ccx、ANI-2x(若库内已建条目);
  • 同域对照:QM7、QM9、QM7-X、MD17、tmQM、PubChemQC 等分子量子化学数据集;
  • 势函数生态:ASE、TorchANI、modelforge、load-atoms 等工具链相关条目;
  • 更广的量子化学/Materials 数据集:OC20/OC22、Matbench 等。

9.2 检索路径建议

  • 想找「通用机器学习势的训练数据」→ ANI-1x 是首选之一;
  • 想找「高精度(耦合簇级)分子数据」→ 转向 ANI-1ccx;
  • 想找「更大元素覆盖的势数据」→ 关注 ANI-2x 及 MACE/NequIP 生态;
  • 想找「数据集效率/主动学习方法论」→ ANI-1x 是经典案例。

9.3 互链 rid 的处置原则

按库内纪律(R018 教训),本条目正文中的互链 rid 一律以占位符 /0 呈现,具体 record_id 由主会话在入库后统一回填。原因是同批条目的真实 rid 由入库顺序决定,写手预先猜测易错配。因此本条目不写死任何具体 rid,仅描述可互链的条目类型与关键词,供主会话入库后按 DB 实查结果回填。

9.4 消歧说明(不进 frontmatter)

以下消歧说明按纪律写入正文而非 frontmatter 的 relatedLink(避免 R012 事故):

  • ANI-1x ≠ ANI-1:前者主动学习约 500 万构象,后者随机采样约 2000 万,是两个独立数据集,不可合并且不可混用数字;
  • ANI-1x ≠ ANI-1ccx:后者是前者的约 10% 高精度子集,构象重叠但标签精度不同;
  • ANI-1x ≠ ANI-2x:ANI-2x 扩展了元素覆盖,是不同的数据集;
  • ANI-1x ≠ QM9:QM9 是 13.4 万平衡态小分子,规模、采样方式与定位均不同。

9.5 在千方库内的定位建议

从「千方病案医数集」的知识组织视角看,ANI-1x 的独特价值在于它是方法学标杆而非临床数据。它进入的是「药物发现与化学 / 量子化学」词条簇,与临床医学条目通过「AI-Ready 基础设施」这一主题间接关联。若库内已建 AI 势函数或分子数据集条目,建议按以下语义链互链:

  • 上游(同族):ANI-1、ANI-1ccx、ANI-2x;
  • 平行(同域):QM7/QM9/QM7-X、MD17、tmQM、PubChemQC;
  • 下游(应用):TorchANI、ASE、各类等变网络势的评测。

9.6 与临床数据集的「可比性」边界

必须强调:ANI-1x 属于计算化学数据集,其对象是分子而非患者,不涉及任何临床、隐私或伦理维度。因此它的 patient_tags 为「不适用」,data_tags 为量子化学计算类。检索者不应把它与病理、影像、EHR 等临床条目直接对比「规模」——两者的「一条记录」含义完全不同(一个是分子构象,一个是病例)。

9.7 「数据集」概念在化学与医学中的差异

这一差异值得单独点出,因为它是跨域检索的常见混淆源:

维度 临床数据集(如病理 WSI) 化学数据集(ANI-1x)
一条记录 一个病例/一张切片 一个分子构象
隐私风险 高(需去标识/伦理审查) 无(分子无隐私)
标注者 医生/专家 量子化学计算程序
标注成本 专家时间 算力(DFT/CCSD(T))
精度上限 观察者间变异 理论方法精度
许可 常为申请制/CC BY-NC 常为 CC0/CC BY

理解这一差异,才能正确地把 ANI-1x 放进「AI-Ready」图景——它是化学侧的地基,与医学侧通过「药物发现」这一应用主题相连。

9.8 潜在互链点的语义标签

供主会话在入库后按 DB 实查结果回填 rid 时参考,本条目建议的互链语义标签为:

  • quantum-chemistry、molecular-conformation、machine-learning-potential、active-learning、dft-dataset、drug-discovery、ani-family。

这些标签对应「药物发现与化学 / 量子化学」词条簇,便于按标签做相关度互链(互链算法按标签计算相关度)。

9.9 库内检索的推荐问法

若读者在千方库内检索,以下问法最可能命中本条目及近邻:

  • 「分子构象 DFT 数据集」→ 本条目;
  • 「机器学习势训练数据」→ 本条目;
  • 「主动学习数据集」→ 本条目(方法论标杆);
  • 「CC0 化学数据集」→ 本条目;
  • 「量子化学数据集」→ 本条目与 QM9 等近邻。

9.10 与「AI-Ready」评价体系的对接

本条目所评的 DAIMS 5.0 分制,是千方库对数据集「AI 就绪度」的统一刻度。ANI-1x 的 4.7/5.0 表示:它几乎不需要任何「数据工程补救」就能直接进入现代 ML 流水线——这正是「AI-Ready」一词的本义。对比临床数据(常因隐私、许可、标注噪声需要大量补救),ANI-1x 展现了「理想 AI-Ready 数据」应具备的形态:开放、结构化、机器可读、许可无摩擦。

§10 避坑清单:八个已踩过的坑

坑 1:把 arXiv 号写错(1706.00279 张冠李戴)

坑:候选情报与部分二手资料把 ANI-1x 论文的 arXiv 号写成 1706.00279。经核验,该号实为 Garrido & Meroño 的数学拓扑学论文《The Samuel realcompactification》(math.GN),与 ANI-1x 毫无关系。

解:ANI-1x 论文(J. Chem. Phys. 2018, 148, 241733)的正确 arXiv 预印本号是 1801.09319。检索/引用时务必核对标题与作者,不要凭记忆填 arXiv 号。

坑 2:把 PMC6602931 当成 ANI-1x 数据描述论文

坑:PMC6602931 常被误标为 ANI-1x 的数据描述来源。实际它对应的是 ANI-1ccx 的 Nat. Commun. 2019 论文(doi:10.1038/s41467-019-10827-4)。

解:ANI-1x + ANI-1ccx 的正式数据描述论文是 Scientific Data 2020, 7, 134(doi:10.1038/s41597-020-0473-z)。要找「数据怎么组织、怎么获取」,看这篇。

坑 3:误信「约 820 万重采样构象」

坑:候选情报称 ANI-1x 有「约 820 万重采样构象」。核验发现,所有一手来源给出的构象总量均为 4,956,005(≈500 万),无一处出现 820 万。

解:以 4,956,005 为准。820 万的可能来源是版本混淆或迭代累计量误记。遇到此类数字,务必回一手来源核对。

坑 4:混淆「3114」与「6.4 万」

坑:HDF5 顶层键数是 3114(按化学式分组),但分子实体数是 约 6.4 万。把 3114 当成「分子数」会严重低估数据规模。

解:3114 = 化学式分组数;6.4 万 = 采样的分子/复合物数。二者口径不同,引用时注明。

坑 5:忽略 HDF5 内能量单位是 hartree

坑:ani1x-release.h5 内 wb97x_dz.energy 以 hartree 存储,而许多加载器会转成 eV 或 kJ/mol。跨库对齐时若忽略单位,会得到量级错误的对照。

解:明确单位。Hartree→eV 因子约 27.2114079527;modelforge 版把单位写成自描述字符串(kilojoule_per_mole 等),优先用自描述格式。

坑 6:按构象随机切分训练/测试集导致泄漏

坑:ANI-1x 同一化学式下有多个构象。若按构象随机划分,同组构象会跨训练/测试集,造成数据泄漏、指标虚高。

解:按化学式/分子分组切分(如 MAUL 采 315 组作测试、其余 9 折划分)。这是评估通用势的正确姿势。

坑 7:找不到官方 HuggingFace 托管

坑:检索者在 HuggingFace 上找不到 ANI-1x,误以为数据集「不存在」或「已下架」。

解:ANI-1x 没有官方 HF 托管,正统入口是 figshare(doi:10.6084/m9.figshare.10047041)。第三方镜像以 Zenodo(modelforge curated)为主。不要因 HF 缺失而否定数据集存在性。

坑 8:以为 DFT 标签等于耦合簇精度

坑:误以为 ANI-1x 提供的是「金标准」耦合簇精度标签,直接用于高精度需求。

解:ANI-1x 主标签是 DFT(ωB97X/6-31G(d)),精度有限。需要耦合簇级精度时应用 ANI-1ccx 子集(约 50 万构象 @ CCSD(T)*/CBS),而非全量 ANI-1x。注意二者是不同精度的数据。

FAQ(高频问答)

A. 基础认知

Q1:ANI-1x 到底是什么?
A:一份约 495.6 万构象、7570 万原子的有机分子(CHNO)非平衡构象数据集,带 DFT(ωB97X/6-31G(d))能量/力/偶极标签,用于训练通用机器学习势。

Q2:ANI 是什么意思?
A:ANAKIN-ME 的缩写,全称 Accurate NeurAl networK engINe for Molecular Energies,是 LANL 团队开发的分子能量神经网络势系列。

Q3:谁做的?
A:洛斯阿拉莫斯国家实验室(LANL)主导,UNC Chapel Hill 与 UF/CMU 合作。作者:Smith、Nebgen、Lubbers、Isayev、Roitberg。

Q4:什么时候发布的?
A:论文 2018 年 6 月发表于 J. Chem. Phys.;arXiv 预印 2018 年 1 月;数据集 figshare 正式归档 2020 年 4 月 23 日。

Q5:为什么要做这个数据集?
A:为了训练一个通用的机器学习势,需要覆盖广泛化学空间的量子化学数据;随机采样效率低,故用主动学习提高数据效率(「Less is more」)。

B. 数据与获取

Q6:规模精确是多少?
A:构象 4,956,005,原子 75,700,481,约 6.4 万分子及复合物,3114 个 HDF5 化学式分组,平均约 15 原子。

Q7:包含哪些元素?
A:仅 C、H、N、O。占比 H 47.63% / C 30.30% / N 13.32% / O 8.75%。

Q8:怎么下载?
A:figshare(doi:10.6084/m9.figshare.10047041),文件 ani1x-release.h5,公开直链无门槛。辅助工具见 github.com/aiqm/ANI1x_datasets。

Q9:什么许可?
A:CC0 1.0 Universal(公共领域奉献),可自由使用、商用、再分发,无署名义务。

Q10:怎么读取 HDF5?
A:用 h5py 直接解析,或用 load-atoms 的 load_dataset("ANI-1x") 一键转 ASE 对象,或用 modelforge curated 版。

Q11:有 HuggingFace 版吗?
A:没有官方 HF 托管。正统入口是 figshare,第三方镜像以 Zenodo 为主。

Q12:文件多大?
A:完整 HDF5 体积较大(数百万构象),具体随版本而异;modelforge curated 压缩版约 1.4 MB 起(不含全量原始数据)。

C. 数据内容与质量

Q13:标签是每原子还是每分子?
A:力是每原子(per-atom,eV/Å);能量、偶极是每结构(per-structure)。

Q14:能量的单位是什么?
A:HDF5 内是 hartree,加载器通常转成 eV 或 kJ/mol。注意单位换算。

Q15:是平衡态还是非平衡构象?
A:非平衡构象为主,来自 MD、简正模位移、二聚体、扭转扫描。

Q16:为什么构象分布不均匀?
A:因为是主动学习产物,采样集中在模型「不确定」的区域,天然不均匀。

Q17:可以直接做无偏统计吗?
A:不建议。构象分布有主动学习偏置,直接统计会失真。

Q18:和 QM9 有什么区别?
A:QM9 是约 13.4 万平衡态小分子;ANI-1x 是约 496 万非平衡构象,规模大得多,且采样方式不同。

D. 家族与方法论

Q19:ANI-1、ANI-1x、ANI-1ccx 什么关系?
A:递进链。ANI-1(2017,随机采样约 2000 万)→ ANI-1x(2018,主动学习约 500 万)→ ANI-1ccx(2019,约 50 万耦合簇重算子集)。

Q20:ANI-1x 和 ANI-1 哪个更好?
A:ANI-1x 更通用、数据效率更高(更少数据更好覆盖)。但两者是不同数据集,数字不可混用。

Q21:什么是主动学习?
A:让模型用集成成员的分歧(不确定性 ρ)指出「没学会」的结构,只对这些结构补算 DFT,迭代改进。

Q22:Query by Committee 是什么?
A:一种主动学习策略,用「委员会」(模型集成)的预测分歧来度量不确定性,据此选择要标注的数据。

Q23:ρ 是什么?
A:不确定性度量,等于集成预测标准差按 √N(N 为原子数)归一化。

Q24:四种采样技术是哪些?
A:分子动力学采样、简正模采样、二聚体采样、扭转采样。

Q25:ANI-1ccx 怎么来的?
A:从 ANI-1x 智能挑选约 10%(约 50 万构象),用 CCSD(T)*/CBS 重算,再迁移学习训练。

E. 论文与引用

Q26:主论文是哪篇?
A:Smith et al., “Less is more: sampling chemical space with active learning,” J. Chem. Phys. 2018, 148(24), 241733,doi:10.1063/1.5023802。

Q27:arXiv 号是多少?
A:1801.09319。(注意:不是 1706.00279,那是别的论文。)

Q28:数据描述论文是哪篇?
A:Smith et al., Scientific Data 2020, 7, 134,doi:10.1038/s41597-020-0473-z。

Q29:PMC6602931 是什么?
A:ANI-1ccx 的 Nat. Commun. 2019 论文,不是 ANI-1x 的数据描述论文。

F. 应用与工程

Q30:能用来做什么?
A:训练机器学习势;加速分子构象能评估、MD 模拟、过渡态初筛;作为特定体系的迁移学习起点。

Q31:有什么局限?
A:仅 CHNO 元素;分子偏小(平均 15 原子);非平衡构象主导;DFT 精度非耦合簇级。

Q32:训练时要注意什么?
A:按化学式分组切分训练/测试集防泄漏;注意能量单位换算;按需用 is_in_ccx 筛高精度子集。

G. 版本与工程细节

Q33:ANI-1x 和 ANI-1ccx 在同一个文件里吗?
A:是。figshare 归档的 ani1x-release.h5 同时含两者;ANI-1ccx 通过 is_in_ccx 标志与 ccsd(t)_cbs.energy 字段区分,无需单独下载。

Q34:figshare 页面上为什么查不到构象数?
A:figshare 记录页正文极简,未列结构化元数据。构象数须从论文或 load-atoms/modelforge 镜像交叉核对(本条目已三源互证)。

Q35:能量单位到底是 hartree 还是 eV?
A:HDF5 原始存储是 hartree;load-atoms/modelforge 加载时会转 eV 或 kJ/mol。以你使用的加载器为准,换算因子 Hartree→eV ≈ 27.2114。

Q36:downloads/引用量大概多少?
A:ANI-1x 及相关论文被引极高(JCP 2018 论文引用数以千计),是计算化学 ML 领域的奠基引用之一;具体数字随时间增长,本文不锁定。

Q37:可以用在商业产品里吗?
A:可以。CC0 明确允许商用,无署名义务(学术惯例仍建议引用论文)。

Q38:有官方维护吗?
A:LANL 通过 aiqm GitHub 组织维护工具;数据集本体 CC0 长期可用,社区镜像(Zenodo/modelforge/load-atoms)多重冗余。

Q39:MD 采样的温度范围为什么是 50–800 K?
A:论文设定 50 K(低温、近平衡)到 800 K(高温、强扰动)的随机温度,用 Langevin 恒温器驱动,以覆盖从近平衡到剧烈热运动的宽构象谱。

Q40:什么是 is_in_ccx 里说的 ccx?
A:ccx = coupled cluster extended,指用耦合簇(CCSD(T)*/CBS)精度扩展标注的子集标志。

Q41:为什么叫「x」?
A:ANI-1x 的「x」指用主动学习「扩展/精炼」出的版本,区别于随机采样的 ANI-1。

Q42:这和力场(force field)是一回事吗?
A:不是。经典力场用固定函数形式(如键长伸缩/角弯曲项),ANI-1x 训练的是机器学习势——用神经网络从数据学习「结构→能量/力」的映射,精度更高、可迁移性更强。

Q43:数据里有没有分子拓扑(成键信息)?
A:HDF5 主要提供原子序数与坐标(几何),不含显式成键表;成键/键级可由几何推断,但原始数据以「原子 + 坐标 + 能量/力」为核心。

Q44:能做分子生成任务吗?
A:ANI-1x 本身是「结构→能量/力」监督数据,不直接是生成模型训练集;但可作为评估生成分子能量的势函数底座。

Q45:数据质量和 DFT 泛函选择有关吗?
A:有关。标签精度取决于 ωB97X/6-31G(d) 这一模型化学;换泛函/基组会改变绝对能量。若需更高精度,用 ANI-1ccx 子集。

DAIMS 数据集成熟度评估

DAIMS(Data and AI Maturity/readiness Score)从五个维度评估数据集的 AI-Ready 程度(0-5 分):

评分细则

D — Discoverability(可发现性,5.0)

子项 表现
稳定标识符 ✅ 两个 DOI(figshare 数据集 + Collection),arXiv 号
多通道索引 ✅ figshare + Zenodo + 多个第三方索引(matbench、load-atoms)
论文锚定 ✅ 多篇高被引论文(JCP 2018 / Sci. Data 2020 / Nat. Commun. 2019)
检索直达 ✅ 搜索「ANI-1x」即得官方入口

A — Accessibility(可获取性,5.0)

子项 表现
公开直链 ✅ figshare 无门槛下载
无付费墙 ✅ 完全免费
无登录/申请 ✅ 无需注册
工具可获取 ✅ aiqm/load-atoms/modelforge 均开源

I — Interoperability(互操作性,4.0)

子项 表现
格式标准性 ✅ HDF5 通用容器
单位一致性 ⚠️ hartree vs eV/kJ·mol⁻¹ 不统一
元数据自描述 ⚠️ figshare 页面元数据稀少;modelforge 版改善
解析门槛 ⚠️ 需专用工具

M — Machine-readability(机器可读性,4.5)

子项 表现
结构化数组 ✅ 坐标/能量/力/偶极均为规整数组
可直接训练 ✅ 无需繁重预处理
元信息完备 ⚠️ 部分元信息需从论文补齐

S — Sustainability(可持续性,5.0)

子项 表现
许可风险 ✅ CC0 归零
维护方 ✅ LANL 长期投入
镜像冗余 ✅ 多重社区镜像
领域地位 ✅ 已成基础设施
维度 评分 评据
D — Discoverability(可发现性) 5.0 figshare + Zenodo 双通道公开索引;DOI 稳定;多篇高被引论文交叉引用;检索「ANI-1x」即可直达
A — Accessibility(可获取性) 5.0 figshare 公开直链,无申请、无登录、无付费墙;辅助工具开源(aiqm/load-atoms/modelforge)
I — Interoperability(互操作性) 4.0 HDF5 标准格式,但需专用工具解析;单位不统一(hartree vs eV/kJ·mol⁻¹)增加对齐成本;modelforge curated 版改善了自描述性
M — Machine-readability(机器可读性) 4.5 结构化数组(坐标/能量/力/偶极)直接可用于训练;但 figshare 记录页缺结构化元数据,元信息需从论文/镜像补
S — Sustainability(可持续性) 5.0 CC0 无法律风险;LANL 长期维护;社区镜像(Zenodo/modelforge/load-atoms)多重冗余;已成领域基础设施

综合评级:4.7 / 5.0(高度 AI-Ready)

评价说明:ANI-1x 在可发现性、可获取性、可持续性三个维度近乎满分,是「开放科学数据」的典范。唯一的扣分点在互操作性——HDF5 虽为标准容器,但需要专用解析工具且单位约定不统一,对「即插即用」的 AI 流水线构成轻微摩擦。modelforge curated 版通过 openff-units 自描述单位部分缓解了这一问题。

§11 总结

11.1 三句话总结

  1. ANI-1x 是用主动学习(Query by Committee)采样的约 495.6 万构象、7570 万原子 CHNO 有机分子非平衡构象数据集,以 ωB97X/6-31G(d) 的 DFT 标注能量/力/偶极,CC0 公共领域奉献。
  2. 它的核心价值不在数字大小,而在方法论——「用模型不确定性指导数据生成」这条路线,让「更少的数据」实现了「更大的化学空间覆盖」,成为通用机器学习势的奠基之作。
  3. 它是 ANAKIN-ME 家族承上启下的一环:上承随机采样的 ANI-1,下启耦合簇精度的 ANI-1ccx,是后续无数等变网络与势函数工作的标准训练集与 baseline。

11.2 适合谁

  • 机器学习势开发者:需要覆盖广泛的 CHNO 小分子训练数据;
  • 计算化学研究者:研究数据效率、主动学习方法论、不确定性估计;
  • 药物发现团队:需要快速构象能评估与 MD 加速的软件/模型底层数据;
  • 数据集方法论研究者:ANI-1x 是「主动学习造数据集」的经典案例;
  • 教学者:讲解「数据质量 vs 数据数量」「不确定性驱动采样」的绝佳素材。

11.3 不适合谁

  • 需要耦合簇级精度的用户:应转向 ANI-1ccx 子集;
  • 含卤素/硫/磷等元素体系的研究者:ANI-1x 仅覆盖 CHNO,应转向 ANI-2x 等;
  • 大分子/蛋白/材料研究者:平均 15 原子的数据集难以直接覆盖;
  • 需要平衡态构象库的用户:ANI-1x 是非平衡构象主导;
  • 需要图像/表格/文本多模态数据的用户:这是纯量子化学结构数据。

11.4 30 秒决策卡

如果你… 建议
训练通用 CHNO 小分子 ML 势 ✅ 直接用 ANI-1x
需要耦合簇精度 ✅ 用 ANI-1ccx 子集(is_in_ccx)
需要含 S/F/Cl 元素 ❌ 用 ANI-2x
需要商用且不想担心许可 ✅ CC0 无风险
想研究数据效率/主动学习 ✅ 经典案例
想要开箱即用的 pandas 表格 ⚠️ 需先解析 HDF5
想在 HF 上一键下载 ⚠️ 无官方 HF,走 figshare

事实清单(硬事实速查)

以下为经三源互证的核心事实,供快速核对。每条均可回溯至本文所引来源。

# 事实 值
1 数据集名称 ANI-1x(ANAKIN-ME 系列)
2 构象总数 4,956,005
3 原子总数 75,700,481
4 分子及复合物数 约 64,000
5 HDF5 化学式分组数 3114
6 平均分子大小 约 15 原子
7 元素构成 仅 C/H/N/O
8 元素占比 H 47.63% / C 30.30% / N 13.32% / O 8.75%
9 主标签理论水平 ωB97X/6-31G(d)(Gaussian 09)
10 标签字段 per-atom 力;per-structure 能量/偶极/is_in_ccx
11 能量存储单位 hartree(加载器转 eV/kJ·mol⁻¹)
12 采样范式 主动学习 Query by Committee(QBC)
13 不确定性度量 ρ(集成标准差 ÷ √N)
14 四种采样技术 MD / 简正模 / 二聚体 / 扭转
15 MD 参数 50–800 K,0.5 fs,0.02 fs⁻¹,每 5 步算 ρ
16 分子来源库 GDB-11、ChEMBL、RDKit 生成氨基酸与二肽
17 高精度子集 ANI-1ccx,约 500,000 构象
18 子集精度 CCSD(T)*/CBS
19 配套基准 COMP6
20 AL 数据效率结论 10% 数据达 ANI-1 水平,25% 大幅超越
21 许可 CC0 1.0 Universal
22 figshare DOI 10.6084/m9.figshare.10047041
23 合并 Collection DOI 10.6084/m9.figshare.c.4712477
24 主论文 J. Chem. Phys. 2018, 148, 241733
25 主论文 DOI 10.1063/1.5023802
26 主论文 arXiv 1801.09319(非 1706.00279)
27 数据描述论文 Scientific Data 2020, 7, 134
28 数据描述 DOI 10.1038/s41597-020-0473-z
29 ANI-1ccx 论文 Nat. Commun. 2019, 10, 2903
30 ANI-1ccx DOI 10.1038/s41467-019-10827-4
31 ANI-1 论文 Sci. Data 2017, 4, 170193
32 figshare 归档日期 2020-04-23
33 核心文件 ani1x-release.h5
34 辅助仓库 github.com/aiqm/ANI1x_datasets
35 官方 HF 托管 无
36 DAIMS 综合 4.7 / 5.0

附录 A:来源清单

# 来源 类型 支撑要点
S1 Smith et al., J. Chem. Phys. 2018, 148, 241733(doi:10.1063/1.5023802) 主论文 方法论、AL、QBC、COMP6
S2 arXiv:1801.09319(v1/v2) 预印本 论文全文与摘要(纠正 1706.00279)
S3 Smith et al., Scientific Data 2020, 7, 134(doi:10.1038/s41597-020-0473-z) 数据描述论文 AL 流程、四种采样、≈5M/64k、CC0
S4 Smith et al., Nat. Commun. 2019, 10, 2903(doi:10.1038/s41467-019-10827-4) ANI-1ccx 论文 迁移学习、CCSD(T)*/CBS 子集
S5 figshare ANI-1x Dataset Release(doi:10.6084/m9.figshare.10047041) 数据分发点 CC0 许可、归档日期、文件
S6 modelforge curated ANI-1x(Zenodo records/12176579, 12176580) 镜像 4,956,005 / 3114 / 字段与单位
S7 load-atoms ANI-1x 页(jla-gardner.github.io) 工具镜像 精算 4,956,005 / 75,700,481 / 元素占比
S8 matbench-discovery ANI-1x 页(materialsproject.org) 第三方索引 CC0-1.0、≈5M/64k、方法学 wB97X
S9 IOPscience 分子量子化学数据集综述(doi:10.1088/2632-2153/ad8f13) 综述 ANI-1x 定位、采样技术、ANI-1 对比
S10 arXiv:2212.03195(HIP-NN-TS) 下游工作 ANI-1x 作为通用能力测试床
S11 arXiv:2501.05250(MAUL) 下游工作 9 折交叉验证、按组划分
S12 Smith et al., Sci. Data 2017, 4, 170193 前作 ANI-1 约 20M 随机采样

附录 B:ANI-1x 数据字段速查

字段 层级 单位(原始) 说明
atomic_numbers per-group — 该组分子的原子序数数组
coordinates per-group Å(N×3) 构象坐标
wb97x_dz.energy per-structure hartree ωB97X/6-31G(d) 能量
wb97x_dz.forces per-atom hartree/Bohr 或 eV/Å 力(取决于加载器)
wb97x_dz.dipole per-structure e·Å 偶极矩
ccsd(t)_cbs.energy per-structure hartree CCSD(T)*/CBS 能量(子集)
is_in_ccx per-structure bool 是否属 ANI-1ccx 子集
curated: wb97x_tz_* per-atom/structure kJ/mol 等 更大基组重算
curated: *_charges per-atom e CM5/Hirshfeld/MBIS 电荷

附录 C:术语表(首现英文对照)

中文 英文 说明
机器学习势 Machine Learning Potential (MLP) 用 ML 拟合的原子间势
神经网络势 Neural Network Potential (NNP) MLP 的一种
主动学习 Active Learning (AL) 用模型不确定性指导数据生成
委员会查询 Query by Committee (QBC) AL 策略,集成分歧度量不确定性
密度泛函理论 Density Functional Theory (DFT) 量子化学计算方法
耦合簇 Coupled Cluster (CC) 高精度量子化学方法
完备基组 Complete Basis Set (CBS) 基组极限外推
构象 Conformation 分子的一种空间排列
非平衡构象 Non-equilibrium conformation 偏离平衡几何的结构
势能面 Potential Energy Surface (PES) 能量随核坐标的曲面
二聚体 Dimer 两分子接近的复合物
扭转/二面角 Torsion / Dihedral 绕单键旋转的角
简正模 Normal Mode 分子小幅振动模式
原子模拟环境 Atomic Simulation Environment (ASE) 原子模拟 Python 库
集成 Ensemble 多个模型组合

本条目由千方病案医数集编辑部核验编纂。 核验时点:2026-10-16。核心数字经三源互证(主论文 / 数据描述论文 / 独立镜像)。凡双口径冲突与遗留疑点已在 §4.4 与坑点中逐条存照。数据集许可为 CC0 1.0 Universal,本条目正文采用 CC BY 4.0 叙述性许可。

附录 D:核验方法与可信度说明

本条目的事实核验遵循「三源互证」原则,具体方法如下:

一级来源(论文):主论文 JCP 2018(doi:10.1063/1.5023802)与数据描述论文 Sci. Data 2020(doi:10.1038/s41597-020-0473-z),用于方法论、采样技术、≈5M/64k 口径、CC0 许可。

二级来源(数据分发点):figshare 记录页,用于许可确认(CC0)与归档日期(2020-04-23)。

三级来源(独立镜像/工具):load-atoms(精算 4,956,005 / 75,700,481 / 元素占比)、modelforge curated(4,956,005 / 3114 / 字段单位)、matbench-discovery(CC0-1.0 / ≈5M / 64k)。

交叉验证要点:

  • 构象数 4,956,005 在 load-atoms 与 modelforge 两个独立实现中一致 → 采信;
  • 原子数 75,700,481 来自 load-atoms 精算 → 采信(与候选情报 75.7M 吻合);
  • 许可 CC0 在 figshare / matbench / modelforge 三处一致 → 采信;
  • arXiv 号 1801.09319 经 ar5iv 全文页 + dblp BibTeX 双确认 → 采信并纠正候选情报的 1706.00279。

未能独立验证项(遗留疑点):

  • 「约 820 万重采样构象」——无一手来源支持,记为疑点(见 §4.4、坑 3);
  • figshare 原始 metadata JSON 未直接抓取(受网络预算约束),元数据以镜像交叉核对替代;
  • ANI-1x 与 ANI-1 构象是否存在重叠、重叠量——一手未明写(见 §4.5)。

可信度结论:核心硬数字(构象数、原子数、元素构成、许可、论文与 DOI)为高可信(多源一致);方法论描述为高可信(论文原文支持);「820 万」与「ANI-1 重叠」为待核(存照不采信)。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • oc20 — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测 / 分子生成
  • geom — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测 / 分子生成
  • md22 — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测
  • qmof — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测
  • matbench — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测
  • qm9 — 共享标签:药物发现与化学 / 量子化学 / 分子性质预测
  • gdb-17 — 共享标签:药物发现与化学 / 分子生成
  • coconut — 共享标签:药物发现与化学 / 分子生成
  • uspto-50k — 共享标签:药物发现与化学 / 分子生成
  • open-reaction-database — 共享标签:药物发现与化学 / 分子生成

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集