ProteinGym — 蛋白质突变适应度预测大规模基准

INFOBOX — ProteinGym 一屏速览

维度	内容
本质	蛋白质突变适应度预测与设计的大规模标准化基准套件（数据集+榜单+代码+模型预测四合一）
团队	University of Oxford（OATML，Yarin Gal 组）× Harvard Medical School（Marks 组）；通讯 Pascal Notin / Debora S. Marks，共 15 作者
论文	NeurIPS 2023 Datasets and Benchmarks Track（Advances in NeurIPS 36，pages 64331–64379）；预印本 bioRxiv 2023-12-08，doi:10.1101/2023.12.07.570727
替换基准	217 个 DMS assay，约 250 万突变体，涉 186–187 个蛋白，长度 37–3,423 残基
indel 基准	66 个 DMS assay，约 30 万突变体
临床基准	替换：约 2.5K 基因 / 63K 突变；indel：约 1.5K 基因 / 3K 突变（ClinVar + gnomAD）
评测模型	70+ 个模型（bioRxiv/NeurIPS 更新稿口径；Zenodo v1.0 描述为 40+）；零样本 + 有监督两套
主指标	Spearman ρ；辅以 AUC、MCC、NDCG@10%、Top-K recall（K=前 10%）
版本	v1.0（2023-12）→ v1.1 → v1.2 → v1.3（最新，2025-04 发布）
获取	官网 / GitHub / Harvard 直链 / HuggingFace / AWS Open Data（s3://proteingym）
许可	MIT License（代码与数据；预印本文本为 CC-BY-NC-ND，勿混用）
库内互链	UniProt(37)、ClinVar(136)、gnomAD(570)、AlphaFold(573)、AlphaMissense(584)、PDB(43)、STRING(414)

ProteinGym 是蛋白质机器学习领域的"统一考场"。在它出现之前，想验证一个蛋白质语言模型（protein language model）到底行不行，研究者各自挑几个深度突变扫描（deep mutational scanning, DMS）数据集跑一跑，指标口径、训练/测试划分、比较的突变集合全都不一样，结论难以横向对照。ProteinGym 把 217 个替换 assay 和 66 个插入缺失（indel）assay 收编进同一套评测框架——同一批真值、同一套相关指标、同一条切分规则——再让 70 多个模型在同一考卷上排名。它一次性回答了三个问题：蛋白质适应度预测现在做到什么程度、不同技术路线（对齐类/语言模型类/逆折叠类）各自的强弱在哪、以及"模型真的学到了生物信号还是只是记住了统计规律"。

导语读法三则：

1. 只想下数据跑评测：直奔 §6 获取与许可——MIT 许可、四路下载渠道（GitHub/Harvard/HF/AWS），一条 curl 就能拿到全量分数包。
2. 关心方法学与指标：直奔 §4 的评测框架与 §7 的结果分析——Spearman/AUC/MCC/NDCG 四组指标为何不能只留一个，是理解 ProteinGym 的关键。
3. 想搞清版本与数字口径：直奔 §10 避坑清单与附录 S 双口径登记表——“70+ 模型还是 40+”、“217+66 还是 250+”、"2.7M 还是 3.5M"三处口径差异都在那里。

§0 导读：这个数据集解决什么问题

蛋白质的功能由其氨基酸序列编码，而序列上一个氨基酸的改变（突变）可能毫无影响，也可能让蛋白失活、致病甚至获得新功能。把"序列（或结构）→ 适应度（fitness）"这个映射学出来，是蛋白质工程、遗传病理解、乃至新型酶与药物设计的共同地基，这一映射常被形象地称为适应度地形（fitness landscape）。问题在于：这个地形维度极高（一个 64 残基的肽链就有 20^64 种排列，远超宇宙原子数），实验能测的只是其中极小的、且带偏的采样点。

评估"模型能否预测突变效应"最直接的证据来自深度突变扫描（DMS）：实验一次性合成成千上万个突变体、直接测量各自的适应度，给出高置信度的真值标签。2018 年之后 DMS 数据快速增长，但随之而来的是评估方法的碎片化——每个论文自选数据集、自定指标，模型间的相对排名在不同 assay 上剧烈波动，"谁是最好模型"变得无法回答。ProteinGym 的核心论点只有一句：这个问题需要规模（scale）。足够多、足够多样的 assay 才能给出稳健的综合评估。

ProteinGym 的贡献分三层，与官方论文的"数据层—模型层—分析层"结构对应：

• 数据层：把超过 250 个标准化 DMS assay（217 替换 + 66 indel）与两套临床专家注释（ClinVar 替换/indel）汇成统一格式，突变类型覆盖替换与插入缺失两类，每类都配 DMS 真值与临床注释两种真值来源。
• 模型层：把 70+ 个现有方法（对齐类如 profile HMM/EVMutation、语言模型类如 ESM/ProGen2/Tranception、逆折叠类等）纳入统一评测，覆盖零样本与有监督两种训练范式。
• 分析层：设计兼顾"适应度预测"与"蛋白质设计"两类目标的指标（Spearman、AUC、MCC、NDCG、Top-K recall），并正视底层实验方法的已知局限。

§0 读法三则：

1. ProteinGym 不是"一个数据集"而是"一个基准套件"：数据集、榜单、代码、模型预测四件资产同时发布，许可统一为 MIT——引用时最稳妥的姿态是引论文（算法与框架）+ 引 GitHub/Harvard 直链（数据摆位），见 §6。
2. 一切数字都要标版本：模型数、assay 数、突变总数都随 v1.0→v1.3 演进（§10 坑 1、坑 2）。
3. 若把 ProteinGym 当成"单一 DMS 数据集"去检索，会低估它的复杂度——它是对 DMS 生态的一次聚合与再标准化，而非一次新的实验测量（§2.1）。

§1 数据集速览：十问十答

Q1：ProteinGym 到底是什么？一句话。
一个把数百个深度突变扫描实验和临床变异注释统一起来、用同一套指标评测数十个蛋白质适应度预测模型的大规模标准基准套件。

Q2：谁做的？
University of Oxford 的 OATML（Yarin Gal 组）与 Harvard Medical School 的 Marks 实验室联合出品，通讯作者 Pascal Notin 与 Debora S. Marks，共 15 位作者，另有 CRG/UPF 与产业方 Seismic Therapeutic 参与。

Q3：核心数字是多少？
DMS 替换基准 217 个 assay、约 250 万突变体；DMS indel 基准 66 个 assay、约 30 万突变体；临床替换基准约 2.5K 基因/63K 突变，临床 indel 基准约 1.5K 基因/3K 突变；合计超过 250 个标准化 assay。

Q4：什么是 DMS？为什么用它当真值？
深度突变扫描（deep mutational scanning）是"一次性测上万个突变体适应度"的高通量实验技术，其测量值被视为突变效应的实验金标准，因此被 ProteinGym 用作零样本与有监督评测的真值标签。

Q5：评测哪些任务？
两类突变（替换 substitution、插入缺失 indel）× 两种真值来源（DMS 实验、临床注释）× 两种训练范式（零样本 zero-shot、有监督 supervised），共构成多组可分别比较的基准。

Q6：用什么指标衡量模型好坏？
主指标是 Spearman 秩相关；因为它不刻画双峰分布与非单调性，另配 ROC-AUC、Matthews 相关系数（MCC，二值化后）、归一化折损累计增益（NDCG@10%，衡量排序而非拟合）以及 Top-K recall（K=前 10% 突变）。

Q7：有监督评测怎么切分数据？
三种五折方案：Random（随机分配突变到五折）、Contiguous（序列连续块切五折）、Modulo（位置索引取模分配）——用以检验模型在"插值"与"外推"场景下的稳健性差异。

Q8：数据和代码怎么拿？许可是什么？
四条渠道：官网、GitHub 仓、Harvard 直链（marks.hms.harvard.edu/proteingym/ProteinGym_v1.3/）、HuggingFace（OATML-Markslab/ProteinGym），另有 AWS Open Data 镜像（s3://proteingym）。许可为 MIT，代码与数据同源宽松，可商用。

Q9：现在最新版本是哪个？
v1.3（Zenodo 于 2025-04-27 发布），在 v1.2 基础上新增 16 个零样本 baseline（含 ESM3、ESM C、ProGen3、xTrimoPGLM）。

Q10：为什么它对 AI-Ready 重要？
它是"基准套件"这一数据形态的典范：本体数据 + 统一评测脚本 + 模型预测分数 + 榜单交互，四件一体且全部 MIT 开源。对任何做蛋白质/变异模型的团队，它是现成的、可复现的、许可无摩擦的评测入口——AI-Ready 度在同类中处于最高梯队。

§2 数据构成与规格

2.1 三层结构：数据层、模型层、分析层

ProteinGym 的官方架构分三层，理解这三层是理解整个条目的钥匙：

层级	内容	产出物
数据层	两类真值来源：DMS 实验测量的适应度分数；临床专家（ClinVar）对变异致病性的注释。每类再分替换与 indel 两种突变	标准化 CSV/Parquet 表、MSA、预测结构
模型层	覆盖零样本与有监督两种范式的 70+ 个 baseline 模型（对齐类、语言模型类、逆折叠类等）	逐突变的模型预测分数文件
分析层	面向"适应度预测"与"蛋白质设计"两类目标的指标与榜单分析	官网 leaderboard 与逐 assay 结果、跨维度钻取

值得强调：ProteinGym 不是一次新的实验。它的数据层是对已有公开 DMS 与临床数据的收集、清洗、标准化与再发布；它的增量创新在模型层与分析层——即"统一考场 + 统一评分"。因此它与 PANDA 这类"重新标注升级"的数据集不同，它更像 COCO/ImageNet 之于计算机视觉：本体的价值在于聚合规模与评测标准，而非单条数据的新采集。

2.2 替换基准：217 个 assay，约 250 万突变体

DMS 替换基准是 ProteinGym 的核心。其构成：

属性	规格
assay 数	217
蛋白数	186–187 个（来源口径有别，见 §10 坑）
蛋白长度范围	37–3,423 残基（中位 245）
突变体总数	约 2.5M（250 万）
细分构成	约 696k 单点错义 + 约 1.76M 多点错义（多点来自 217 个 assay 中的 69 个蛋白）
功能覆盖	聚合酶、肿瘤抑制因子、激酶、转录因子等；功能含耐药性、配体结合、病毒复制、热稳定性等
生物域覆盖	原核、真核、病毒蛋白均含（188 原核+真核、28 病毒等子集口径）

每个 assay 提供：野生型序列、逐突变的氨基酸替换与实验测得适应度分数。零样本评测的硬约束是模型不得使用该 assay 的 DMS 标签训练，且必须为全部突变给出分数——这条规则保证了"所有模型在同一突变集合上比较"，是本基准可比性的根本保障。

2.3 indel 基准：66 个 assay，约 30 万突变体

插入缺失（indel）预测长期被忽视，因为多数蛋白语言模型原生只处理等长的替换序列。ProteinGym 专门设立 indel 基准：

属性	规格
assay 数	66
突变体总数	约 300K（30 万）
突变类型	插入与缺失，含 up to 3 个氨基酸的 inframe indel
特殊基线	提供专门的 indel baselines（如基于 profile HMM 与 WaveNet 的方法）作对照

indel 基准的意义在于向社区指出一块"尚未被语言模型充分覆盖的短板"：能优雅处理不等长序列的对齐类模型在此仍有价值，而多数替换导向的模型需要额外工程才能给出 indel 分数。

2.4 临床基准：从实验台走向病床

除 DMS 实验真值外，ProteinGym 引入了两套临床专家注释基准，把评测推向人类遗传病语境：

基准	基因规模	突变规模	真值来源
临床替换（Clinical Substitutions）	约 2.5K（2,525） 基因	约 63K 突变	ClinVar 专家致病性注释 + gnomAD 良性对照
临床 indel（Clinical Indels）	约 1.5K（1,555） 基因	约 3K 突变	ClinVar inframe indel 注释 + gnomAD 对照

临床基准的评测指标与 DMS 侧不同：用 ROC-AUC 与 precision–recall 曲线，因为这里的任务是**二分类（致病/良性）**而非连续适应度回归。gnomAD（Genome Aggregation Database）在此扮演"良性对照"角色——高频出现在人群中的变异大概率无害，用以平衡 ClinVar 中偏向致病变异的注释偏倚。gnomAD v2.1.1 GRCh38 liftover（含 125,748 外显子组 + 15,708 基因组）被用于预处理，最终筛出 839 个 up to 3 个氨基酸长度的常见 inframe indel 作对照。

2.5 配套资产生态：MSA、结构、预测分数

ProteinGym 的"数据"远不止两张主表，其配套资产构成了完整的可复现生态：

资产	内容	体量/格式
多序列比对（MSA）	供对齐类方法与 MSA Transformer/Tranception 检索使用	MSA_ProteinGym.zip 解压约 2.2 GB
预测三维结构	供逆折叠类方法与结构可视化使用	按 assay 组织
模型预测分数	70+ 模型对全部突变的逐条预测	scores_all_models_proteingym_{substitutions,indels}.zip
元数据表	assay 索引、蛋白标识、功能类别等	DMS_substitutions.csv（217 行）等
临床预处理代码	从原始 ClinVar/gnomAD 复现临床基准	仓内附带脚本

MSA_ProteinGym.zip 的解压体积（约 2.2 GB）常被忽视——若只下 CSV 主表会低估存储需求；做对齐类方法复现时，MSA 是必需项。

§3 评测框架：为什么不能只用一个指标

3.1 任务分解：三类正交切面

ProteinGym 的评测框架可按三个正交切面理解，任何一个具体基准都是三维坐标系里的一个点：

切面	取值
突变类型	替换（substitution） / 插入缺失（indel）
真值来源	DMS 实验测量 / 临床专家注释（ClinVar）
训练范式	零样本（zero-shot） / 有监督（supervised）

三切面组合出多个可独立比较的基准。日常引用中最高频的是"DMS 替换 + 零样本"（这是各家蛋白语言模型的主战场），其次是"DMS 替换 + 有监督"（考察用少量标签微调的收益）与"临床替换"（考察向真实致病性任务迁移的能力）。

3.2 零样本指标：一个主指标，四个补丁

零样本评测要求模型不得使用 DMS 标签训练，这是"公平"的前提。问题在于"好"的定义并不唯一——适应度预测的"好"既可以是"数值预测准"，也可以是"排序准"，还可以是"能否把最优点富集出来"。ProteinGym 用一组指标分别刻画：

指标	刻画什么	为何需要
Spearman ρ（主指标）	预测分数与真值适应度的秩相关	适应度是非线性函数，秩相关比线性相关更稳健；不假设两者线性关系
ROC-AUC	二值化后的分类判别力	部分 DMS assay 是双峰分布，连续相关无法刻画"两类分得开不开"
MCC（Matthews 相关系数）	二值分类的平衡质量	类别不平衡时比 AUC 更审慎，兼顾四格表所有象限
NDCG@10%	排序质量（归一化折损累计增益）	模型应把高适应度变体排到前面，而非匹配数据分布——这正是"设计"任务的核心
Top-K recall	前 K 变体的召回率（K=前 10%）	蛋白质工程关心"最优的少数几个"，而非整体相关

这套设计的核心洞见：适应度预测的"好"是多义的，一个指标会系统性地偏袒某一类模型。例如只优化数值拟合的模型可能在 Spearman 上表现一般却在设计任务上很实用（NDCG 高）；而擅长整体秩相关的方法未必能把极端高适应度变体挑出来。NDCG 的引入尤其关键——它把评测从"预测"推向"设计"，与论文标题中的"and Design"直接呼应。

3.3 有监督指标与三种切分

有监督评测用 DMS 标签训练模型，用 Spearman 相关与均方误差（MSE）评估，并设计三种五折交叉验证方案考察不同泛化场景：

切分方案	分配逻辑	考察的泛化
Random	每个突变随机分配到五折之一	插值能力（见过附近位置的突变）
Contiguous	序列切成五个连续块，整块入折	外推能力（对未见区域突变预测）
Modulo	位置索引对折数取模分配	稀疏/周期性的位置外推

三种切分的分离度本身就是结论：模型在 Random 折上远好于 Contiguous/Modulo 折，说明多数方法学到的是"局部位置记忆"而非"可迁移的突变效应规律"。这一点对蛋白质设计有直接含义——真实设计中要预测的往往正是未见区域的突变。

3.4 临床评测：迁移到致病性二分类

临床基准换用 ROC-AUC 与 precision–recall 曲线，因为任务从"连续适应度"变为"致病/良性二分类"。这一迁移评测的价值在于检验"在 DMS 上表现好的模型，能否预测真实人类致病变异"——两者的成功因素并不完全重合：DMS 适应度是体外功能读出，临床致病性牵涉体内剂量、显隐性与多基因背景。

3.5 打分约定与基线谱系

除非另作说明，模型分数默认取突变体与野生型序列概率的对数比，即 log(p(x_mut)/p(x_wt))，遵循 Hopf et al. (2017) 的惯例。这一约定统一了不同模型（语言模型、能量模型、对齐模型）的输出口径，使分数可跨模型比较。基线谱系覆盖：

• 对齐类：Site-independent 最大熵模型、profile HMM（HMMER）、EVMutation（Potts 模型）、DeepSequence（VAE）、WaveNet（膨胀卷积，可处理 indel）
• 语言模型类：ESM 系列、ProGen2、RITA、ProtGPT2、Tranception（自回归 + 推理时检索）、TranceptEVE 等
• 逆折叠/结构类：ProteinMPNN 等
• 临床注释类：AlphaMissense 等（作为临床基准的重要对照）

v1.1 起加入 ProtSSN、SaProt；v1.2 加入 VenusREM、S3F、Escott 等 8 个零样本基线并补齐有监督全量预测；v1.3 再加入 ESM3、ESM C、ProGen3、xTrimoPGLM 等 16 个零样本基线——基线池随版本持续扩张，这也是"模型数口径"会浮动的原因（§10 坑 1）。

§4 版本演进：v1.0 到 v1.3 的四年

4.1 版本链一览

ProteinGym 自 2023 年底首发以来持续迭代，每版都增补基线或修正参考文件：

版本	发布时间	主要变化	Zenodo record
v1.0	2023-12（对应 bioRxiv 2023-12-08）	初始发布：217 替换 + 66 indel + 临床基准，40+ 模型	13932633
v1.1	（GitHub Release）	更新 reference file；新增 ProtSSN、SaProt 基线	—
v1.2	（GitHub Release）	新增 8 个零样本 DMS 替换基线（VenusREM、S3F、Escott 等）；补齐有监督基准全部 mutation-level 预测	14997691
v1.3	2025-04-27（Zenodo）	新增 16 个零样本 DMS 替换基线（ESM3、ESM C、ProGen3、xTrimoPGLM 等）；当前最新版	15293562

4.2 版本演进意味着什么

版本链对本条目的直接含义有三：

1. "多少模型"没有唯一答案。v1.0 描述写 40+，bioRxiv/NeurIPS 更新稿写 70+，v1.3 之后实际基线更多。任何引用都必须钉死版本号，否则读者无法复现你的排名语境。
2. 下载必须指定 VERSION。官方下载模板要求把 {VERSION} 替换为具体版本（如 v1.3）——不指定版本会拿到"当前最新"，可能在数月后与你的论文语境错位。
3. 基准 assay 数相对稳定，基线数持续增长。217/66 的核心 assay 结构从 v1.0 起基本固定，迭代主要发生在基线池——这说明 ProteinGym 的"数据本体"已收敛，"模型评测"部分仍在快速扩张。

4.3 下载渠道与直链结构

四条官方渠道对应不同使用场景：

渠道一：官网        https://www.proteingym.org/                （交互榜单 + 逐 assay 钻取）
渠道二：GitHub      https://github.com/OATML-Markslab/ProteinGym （代码 + 下载脚本）
渠道三：Harvard 直链 https://marks.hms.harvard.edu/proteingym/ProteinGym_{VERSION}/{FILENAME}
渠道四：HuggingFace  OATML-Markslab/ProteinGym                   （datasets，沙箱内走 hf-mirror.com）
旁路： AWS Open Data arn:aws:s3:::proteingym (us-east-2)         （aws s3 ls --no-sign-request）

Harvard 直链的文件命名规律清晰：DMS_ProteinGym_substitutions.zip、DMS_ProteinGym_indels.zip、scores_all_models_proteingym_substitutions.zip、scores_all_models_proteingym_indels.zip、MSA_ProteinGym.zip。掌握命名规律后即可脚本化批量拉取。

§5 库内定位与关联数据集

5.1 在"基准套件"这一形态里的位置

ProteinGym 与库内多个条目同属"基准套件"生态——它们本身不采集临床数据，而是聚合既有数据并定义评测标准：

库内条目	rid	与 ProteinGym 的关系
MoleculeNet	113	分子 ML 基准套件——小分子侧的"统一考场"，与 ProteinGym 的蛋白侧形成对照
TDC（Therapeutics Data Commons）	131	治疗科学 ML 基准平台，含蛋白-配体、药物响应等多任务，与 ProteinGym 有任务重叠
DUD-E	144	分子对接诱饵基准——虚拟筛选侧
LIT-PCBA	154	真实实验来源虚拟筛选基准
Binding MOAD	174	蛋白-配体亲和力库
CrossDocked2020	164	蛋白-配体交叉对接数据集

5.2 真值来源侧的强关联

ProteinGym 的两套真值源在库内均有对应条目，这是最紧密的互链：

库内条目	rid	关联
UniProt	37	ProteinGym 的 DMS 元数据以 UniProt accession 作蛋白身份锚——每个 assay 对应一个 UniProt 条目
ClinVar	136	临床基准替换/indel 的注释来源——直接把 ClinVar 的致病性注释标准化为 ML 真值
gnomAD	570	临床基准的良性对照人群频率源——用高频变异平衡 ClinVar 的致病变异偏倚
AlphaMissense	584	错义变异致病性预测——ProteinGym 内作为临床 baseline 被评测，是"被测对象"与"数据源"双重关系
AlphaFold	573	预测结构库——逆折叠类 baseline 的结构生态基础
PDB	43	实验结构库——结构类方法的真值结构源
STRING	414	蛋白互作网络——蛋白功能语境
Human Protein Atlas	404	蛋白表达图谱——蛋白功能注释
ProteomeXchange	389 / PRIDE	379
GWAS Catalog	564	全基因组关联目录——人类变异注释的另一条线

5.3 与"重新标注型"数据集的区别

库内 PANDA-PLUS 一类是"对已有影像数据集重新标注"，增量在标签质量；ProteinGym 是"对已有 DMS 数据的聚合与标准化"，增量在评测标准与规模。两者都属 AI-Ready 谱系，但 AI-Ready 的抓手不同：前者靠更细的标签，后者靠更统一的考场。理解这一区别有助于在检索时正确归类——ProteinGym 的检索关键词应落在 “benchmark”、“leaderboard”、“fitness prediction”，而非 “annotation”、“relabeling”。

§6 获取与许可：MIT 的清爽通道

6.1 许可：一个罕见的"全 MIT"基准

ProteinGym 在许可上属于同类基准中最清爽的一档：

资产	许可	依据
代码仓	MIT	GitHub OATML-Markslab/ProteinGym LICENSE 文件
数据集	MIT	Zenodo record 标注 MIT；AWS Open Data Registry 标注 MIT License
模型预测分数	MIT	随仓发布
MSA / 结构	MIT	随仓发布
bioRxiv 预印本文本	CC-BY-NC-ND 4.0	仅指论文文本，非数据

MIT 的含义是：可自由使用、复制、修改、合并、发布、分发、再许可，乃至商用，只需保留版权声明与许可声明。没有 NC（非商用）限制，没有 ND（禁止改编）限制——这比很多"仅限学术研究"的医学数据集宽松得多，使 ProteinGym 成为可商用的基准。

6.2 一个必须避开的许可坑

预印本许可是 CC-BY-NC-ND，数据集许可是 MIT，两者不能混用。 这是本条目最高优先级的许可事项（§10 坑 5）：如果你要基于 ProteinGym 做商业蛋白质设计服务，看数据/代码的 MIT，不受预印本 CC-BY-NC-ND 约束；但如果你要复制论文文本或图表，则受 CC-BY-NC-ND 约束（禁商用、禁改编）。一句话：用数据看 MIT，抄论文看 CC-BY-NC-ND。

6.3 四条下载渠道的实操

渠道一 · GitHub（推荐起点）：仓内 README 提供标准下载模板：

# 官方模板：把 {VERSION} 换成具体版本（如 v1.3），{FILENAME} 换成目标文件
VERSION="v1.3"
FILENAME="DMS_ProteinGym_substitutions.zip"
curl -o ${FILENAME} \
  https://marks.hms.harvard.edu/proteingym/ProteinGym_${VERSION}/${FILENAME}
unzip ${FILENAME} && rm ${FILENAME}

渠道二 · Harvard 直链：https://marks.hms.harvard.edu/proteingym/ProteinGym_v1.3/ 下放置全部版本文件，命名规律见 §4.3。

渠道三 · HuggingFace：OATML-Markslab/ProteinGym（datasets）。⚠️ 环境坑：沙箱内 HuggingFace 主站被封锁，一律走 hf-mirror.com。

渠道四 · AWS Open Data：桶 arn:aws:s3:::proteingym（us-east-2），免账号访问，提供 Parquet 格式：

aws s3 ls --no-sign-request s3://proteingym/
# 关键文件：DMS_substitutions.parquet / DMS_indels.parquet
#           clinical_substitutions.parquet / clinical_indels.parquet

6.4 Zenodo 与 DOI 归档

Zenodo 为各版本提供 DOI 化归档，适合论文引用：v1.0 = record 13932633；v1.2 = record 14997691；v1.3 = record 15293562（2025-04-27）。Zenodo record 附作者 ORCID（如 Pascal Notin 的 0000-0002-1877-8983、Aaron Kollasch 的 0000-0001-9733-8822），便于正式引用。

6.5 存储与带宽规划

一个常被低估的实操问题：ProteinGym 的主表很小、配套资产很大。仅下 CSV 主表是几 MB 量级；但 MSA_ProteinGym.zip 解压约 2.2 GB，全量模型预测分数包亦不小。规划复现时不要只按主表估存储，做对齐类方法复现时 MSA 为必需项。若只需榜单排名，直接用官网交互界面或 AWS 上的 scores_all_models_*.zip 即可，无需本地跑全部模型。

6.6 AI-Ready 评估

ProteinGym 在 DAIMS 五维度上表现均衡且偏高（详见附录 B）：可发现性依赖官网与 GitHub 的成熟度；可获取性因四路渠道 + MIT 许可而达到顶配；可互操作性受标准化格式（CSV/Parquet/PDB）加持；元数据质量因论文表格完备、版本可追溯而高；可持续性依托 Oxford/Harvard 的平台与 Zenodo DOI 归档而稳健。它几乎没有 AI-Ready 意义上的"获取门"——这与 PANDA-PLUS 的请求制形成鲜明对照。

§7 生态与影响

7.1 成为事实标准

ProteinGym 自 2023 年底发布后迅速成为蛋白质适应度预测领域的事实标准基准。其引用量可观（bioRxiv 预印本累计引用已达数百次量级，Google Scholar 聚合引用数百），大量蛋白质语言模型论文——无论提出新架构还是新训练目标——都把 ProteinGym 榜单作为主评测之一。这种"被默认纳入评测"的地位，是基准套件影响力的最高形态。

7.2 半独立基准的衍生

ProteinGym 的方法学被社区复用衍生出补充基准：例如 VespaG 论文基于 ProteinGym 划分了按生物域与功能的子集（ProteinGymOrganismal189、ProteinGymViral28、ProteinGymStability66、ProteinGymActivity43、ProteinGymBinding13、ProteinGymExpression18、ProteinGymFitness77 等），并另立 StabilityDeNovo146 测试集（来自 Tsuboyama et al. 2023 的 146 个 de novo 设计域、约 123k 变体）以专门考察新设计域上的表现。这些衍生说明 ProteinGym 的 assay 元数据（功能类别标签）本身有二次利用价值。

7.3 工具链与软件包

除官方仓外，社区开发了便捷访问工具：ProteinGymPy（ccb-hms/ProteinGymPy，PyPI 包）提供 Python 侧的数据加载与可视化，封装了 get_dms_substitution_data()（加载 217 assay）、get_alphamissense_proteingym_data()、get_zero_shot_metrics()、get_supervised_substitution_data() 等函数，并可绘制 DMS 热图与结构可视化。这降低了使用门槛，也侧面印证了基准的采纳广度。

7.4 与 AlphaMissense 的双向关系

库内 AlphaMissense（rid 584）与 ProteinGym 关系特殊：AlphaMissense 既是 ProteinGym 临床基准中被评测的 baseline，其致病性预测又是该领域的独立工具。研究者在引用两者时须分清角色——用 ProteinGym 时，AlphaMissense 是"考生"；用 AlphaMissense 做致病性预测时，ProteinGym 是"考卷"。这种双向关系在同一领域内很常见，但容易在互链中被混淆。

7.5 对下游任务的支撑

ProteinGym 支撑的下游任务包括：蛋白质工程（挑高稳定性/高活性变体）、遗传病变异解读（把致病性预测的机器学习方法标准化评测）、酶设计（设计任务指标 NDCG 直接服务于此）、以及基础研究中对"蛋白质语言模型究竟学到了什么"的机理探测（用跨 assay 的排名波动反推模型学到的表征）。

§8 方法学启示：从 ProteinGym 可迁移的经验

8.1 "统一考场"比"多采集数据"更能推动领域

ProteinGym 的核心杠杆不是采数据，而是定义标准。当同一批数据配同一套指标服务整个社区，模型间的比较才第一次变得有意义。这对任何领域的基准建设都是可迁移的经验：先统一评测，再谈进步。

8.2 多指标是承认"好"的多义性，不是冗余

一个外部观察者容易误以为 Spearman + AUC + MCC + NDCG + Top-K 只是"多堆几个指标显得全面"。实则是承认"适应度预测的好"本质上多义：数值准、排序准、富集准、分类准是不同的能力，一个指标会系统偏袒一类模型。多指标是对模型能力多维性（multi-dimensionality）的诚实回应。

8.3 正视底层实验的局限

ProteinGym 在评测框架中明确"factors in known limitations of the underlying experimental methods"——承认 DMS 实验本身有动态范围、噪声与条件差异，承认临床注释有偏倚。这种把真值本身的不确定性纳入设计的态度，比假装存在无噪声金标准更科学，也是本基准方法学成熟度的体现。

8.4 版本化与可复现性绑定

持续版本化（v1.0→v1.3）并保留 Zenodo DOI 归档，使"用哪版跑的结果"可以精确复述。这是基准可信度的一部分：可复现不仅要求给数据，还要求给数据的确切版本。

§9 与库内条目的关系

9.1 家族图谱

ProteinGym 在库内不是孤立条目，它处在"变异效应预测 × 蛋白质组学 × 基准套件"三圈交叠的位置：

第一圈 · 真值与注释源（ProteinGym 的"上游原料"）：

• UniProt（rid 37）：蛋白身份锚，每个 assay 元数据挂一个 UniProt accession
• ClinVar（rid 136）：临床基准替换/indel 的注释来源
• gnomAD（rid 570）：临床基准的良性对照人群频率源

第二圈 · 被测对象生态（ProteinGym 的"考生来源"）：

• AlphaMissense（rid 584）：既是临床 baseline 又是独立致病性预测工具
• AlphaFold（rid 573）与 PDB（rid 43）：逆折叠/结构类方法的生态基础与真值结构源
• STRING（rid 414）、Human Protein Atlas（rid 404）：蛋白功能语境

第三圈 · 同形态基准套件（ProteinGym 的"同侪"）：

• MoleculeNet（rid 113）、TDC（rid 131）：分子/治疗科学侧的基准套件
• DUD-E（rid 144）、LIT-PCBA（rid 154）、Binding MOAD（rid 174）、CrossDocked2020（rid 164）：虚拟筛选/对接侧

第四圈 · 组学仓库（数据归宿）：

• ProteomeXchange（rid 389）、PRIDE（rid 379）、SRA（rid 576）：DMS 原始数据的实验数据仓库
• GWAS Catalog（rid 564）：人类变异注释的另一条线

9.2 检索路径建议

检索意图	建议路径
找"蛋白突变适应度"的评测基准	本条目 → 通过 §5.2 互链到 UniProt/ClinVar/gnomAD 理解真值源
找"致病性预测"工具	→ AlphaMissense（584）→ 回看本条目理解其被评测语境
找"基准套件"方法论参照	→ MoleculeNet（113）、TDC（131）与本条目横向对照
找 DMS 原始实验数据	→ ProteomeXchange（389）/PRIDE（379）/SRA（576）→ 回到本条目看哪个 assay 收纳了
找蛋白-小分子对接基准	→ DUD-E（144）/LIT-PCBA（154）/Binding MOAD（174）/CrossDocked2020（164）

9.3 引用与互链规范

引用 ProteinGym 时，建议按"论文（NeurIPS 2023 / bioRxiv DOI）+ 数据版本（如 v1.3）+ 具体文件"三级精确到版本；跨条目互链时优先链到真值源（UniProt/ClinVar/gnomAD）与同形态基准（MoleculeNet/TDC），避免把 AlphaMissense 的"考生"角色与"工具"角色混淆（§7.4）。

§10 避坑清单：八个已核实的坑

坑 1：模型数口径漂移（40+ vs 70+）。Zenodo v1.0 record 描述写 “over 40 high-performing models”；bioRxiv/NeurIPS 更新稿写 “over 70 high-performing models”；v1.3 之后实际基线更多。这不是谁写错，而是版本演进——引用"多少模型"必须钉死版本号，否则读者的榜单语境与你错位。

坑 2：assay 数口径（217+66 分项 vs 250+ 概览）。官网当前口径是 DMS Substitutions 217、DMS Indels 66；论文摘要用 “over 250 standardized DMS assays”（217+66=283，概览式取整）。两口径可调和但不等值：写论文摘要口径用 250+，做精确复现用 217+66。

坑 3：突变总数漂移（2.7M vs 3M vs 3.5M）。bioRxiv 写 “over 2.7 million mutated sequences”；NeurIPS proceedings 概览与本库早期转引曾见 “3.5M mutant sequences” 与 “~3M”。随版本增补波动，引用须标版本，且不要把它当精确值。

坑 4：蛋白数 186 vs 187 的口径差。ProteinGymPy 文档写 DMS assay 覆盖 186 个蛋白；VespaG 论文转引写 187 unique proteins。一处差 1，可能源于是否把某个多链/复合物计为一个。以官方 metadata 为准，转引时注明来源。

坑 5：许可混用（数据 MIT vs 论文 CC-BY-NC-ND）。数据/代码是 MIT（宽松可商用）；bioRxiv 预印本文本是 CC-BY-NC-ND 4.0（禁商用禁改编）。二者极易被一揽子引用出错。口诀：用数据看 MIT，抄论文看 CC-BY-NC-ND。

坑 6：arXiv 号被第三方误标。第三方页面（如 axonagentic.ai glossary）把 ProteinGym 的 arXiv 编号写成 2305.15757——实抓 arXiv 该编号为无关的对话安全论文《Healing Unsafe Dialogue Responses with Weak Supervision Signals》。ProteinGym 无该 arXiv 归属；官方引用以 NeurIPS 2023 + bioRxiv doi:10.1101/2023.12.07.570727 为准。

坑 7：把它当"单一数据集"检索会漏掉配套资产。ProteinGym 是"数据集+代码+MSA+结构+预测分数+榜单"套件。只下 CSV 主表会漏掉 MSA（~2.2 GB，对齐类方法必需）与模型预测分数包；检索时应同时覆盖 GitHub/Harvard 直链/AWS/HF 四个入口。

坑 8：零样本"全部突变须打分"的隐性约束。零样本评测要求模型对全部 assay 全部突变给出分数，这对上下文长度有限的模型（如部分语言模型直推长蛋白）是硬约束，团队须特殊处理长序列——跨模型比较时，这一工程差异可能引入隐性偏差，解读排名时需注意。

§11 总结

11.1 三句话总结

1. ProteinGym 是蛋白质适应度预测与设计领域的统一考场：217 个 DMS 替换 assay（~250 万突变体）+ 66 个 indel assay（~30 万突变体）+ 临床变异基准，配 70+ 模型的零样本与有监督评测。
2. 它的核心杠杆是规模与标准化——用同一批真值、同一套指标（Spearman/AUC/MCC/NDCG/Top-K）回答"哪个模型好"，而非采集新数据。
3. 它全 MIT 开源，四路下载渠道无获取摩擦，是 AI-Ready 度最高的同类基准之一（唯一需避坑处是"数据 MIT vs 预印本 CC-BY-NC-ND"的许可混用）。

11.2 适合谁

• 提出或评测蛋白质语言模型、变异效应预测模型的研究者
• 需要标准化基准做模型选型与消融的蛋白质工程/设计团队
• 研究"蛋白质模型学到了什么"的机理与表征研究者
• 建设其他领域基准套件、想借鉴评测框架设计的基准开发者

11.3 不适合谁

• 想找原始 DMS 实验数据做重新分析者（应去 ProteomeXchange/PRIDE/SRA 找原始实验，ProteinGym 是聚合层）
• 想找临床患者队列或真实世界数据者（ProteinGym 是变异注释与实验读数，非患者级 EHR）
• 需要精确跨 assay 绝对适应度比较者（不同 assay 的动态范围不可直接比，只能比秩相关）

11.4 30 秒决策卡

我要做什么？
├── 评测我的蛋白语言模型        → 下 DMS 替换基准（217 assay），跑 Spearman/NDCG
├── 评测 indel 预测能力          → 下 DMS indel 基准（66 assay）+ 专用 indel baseline
├── 评测致病性/临床迁移能力      → 下临床替换基准（ClinVar），跑 AUC/PR
├── 只要榜单排名参考            → 直接看 proteingym.org 交互榜单，无需本地跑
└── 要复现对齐类方法            → 额外下 MSA_ProteinGym.zip（~2.2 GB），必须项

---

附录 A：条目信息速查卡

项	值
条目名	ProteinGym
url_name	proteingym
类型	基准套件（数据集+代码+模型预测+榜单四合一）
论文	NeurIPS 2023 Datasets and Benchmarks Track；bioRxiv 2023-12-08，doi:10.1101/2023.12.07.570727
团队	University of Oxford (OATML) × Harvard Medical School (Marks Lab)
规模	217 替换 assay（~2.5M 突变）+ 66 indel assay（~300K 突变）+ 临床基准（~63K 替换 / ~3K indel）
模型数	70+（bioRxiv/NeurIPS 更新稿口径）；40+（Zenodo v1.0 描述）
最新版本	v1.3（Zenodo 2025-04-27）
许可	MIT（数据/代码）；预印本文本 CC-BY-NC-ND
抓取时点	2026-10-03
库内互链	uniprot(37)/clinvar(136)/gnomad(570)/alphafold(573)/alphamissense(584)/pdb(43)/string(414)

附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	9	官网 proteingym.org + GitHub 高星仓 + Zenodo DOI + HF datasets + AWS Open Data 五路曝光；领域内已成事实标准
A 可获取性	9	四路下载渠道全部公开直链，无请求制、无 gated；AWS 免账号可拉 Parquet；仅扣 1 分因部分配套（MSA ~2.2GB）体量大
I 可互操作	8	标准化 CSV/Parquet + UniProt accession 作蛋白锚 + PDB 结构 + 统一打分约定 log(p_mut/p_wt)；扣分因 indel 表示无跨库统一 schema
M 元数据质量	8	论文表格完备（规模/指标/切分/基线），官网逐 assay 钻取，Zenodo 版本化 DOI；扣分因模型数/assay 数/突变数三处口径需读者自行调和
S 可持续性	8	Oxford/Harvard 双机构支撑 + Zenodo 归档 + AWS/HF 镜像；持续版本迭代（v1.0→v1.3）；扣分因依赖机构域名直链（marks.hms.harvard.edu）单点
综合评级	8.4/10（优）	获取性与许可在同类中顶配（全 MIT、无门），是多渠道开源基准的样板

附录 C：逐项证据链自证

关键数字	来源	位置
217 替换 assay / 2.5M 突变	官网 proteingym.org 首页	官网 DMS Benchmarks 栏
66 indel assay / 300K 突变	官网 proteingym.org 首页	官网 DMS Benchmarks 栏
临床 2.5K 基因/63K 突变；1.5K 基因/3K 突变	官网 proteingym.org 首页	官网 Clinical Benchmarks 栏
over 250 DMS assays / over 70 models	bioRxiv 2023.12.07.570727 摘要	bioRxiv 全文
over 40 models（v1.0）	Zenodo record 13932633 描述	Zenodo v1.0 页面
长度 37–3,423 残基（中位 245）；696k 单点+1.76M 多点	VespaG bioRxiv 转引 ProteinGym	biorxiv 2024.04.24.590982
版本链 v1.0→v1.3	GitHub README Releases 段	GitHub 仓
v1.3 发布于 2025-04-27；Zenodo record 15293562	Zenodo v1.3 record	Zenodo 页面
MIT License（代码与数据）	GitHub LICENSE + AWS Open Data Registry	GitHub / AWS 登记页
预印本 CC-BY-NC-ND 4.0	bioRxiv 版权声明	bioRxiv 页脚
MSA ~2.2GB	GitHub README MSA 段	GitHub 仓
CSV 行数 217/66/2,525/1,555	bio-benchmark-atlas 实测	spectrai-initiative 页面
AWS 桶 arn:aws:s3:::proteingym (us-east-2)	AWS Open Data Registry	registry.opendata.aws/proteingym
论文 pages 64331–64379 / NEURIPS2023_cac723e5	GitHub README 引用块	GitHub 仓
PMID 38106144 / PMCID PMC10723403	PubMed/NLM 记录	pubmed.ncbi.nlm.nih.gov/38106144

附录 D：数据获取决策树

你的目标是什么？
├── 只想看"哪个模型现在最好"
│   └── 打开 https://www.proteingym.org/ 交互榜单（零安装）
├── 想跑自己的模型对比官方榜单
│   ├── 1) GitHub clone 官方仓（评测脚本）
│   ├── 2) 下载 DMS_ProteinGym_substitutions.zip（217 assay 真值）
│   └── 3) 按官方打分约定 log(p_mut/p_wt) 生成分数 → 用仓内脚本算 Spearman/NDCG
├── 想复现对齐类/MSA 检索方法
│   └── 额外下载 MSA_ProteinGym.zip（~2.2 GB，必需）
├── 想评估临床致病性迁移
│   └── 下载 clinical_substitutions.parquet（AWS 免账号）+ 跑 AUC/PR
└── 想引用榜单排名
    └── 引论文（NeurIPS 2023）+ 标注所用版本（如 v1.3）+ 抓取日期

附录 E：基准三切面速查表

突变类型	真值来源	训练范式	主指标	典型用途
替换	DMS	零样本	Spearman/NDCG	蛋白语言模型主评测
替换	DMS	有监督	Spearman/MSE	少量标签微调收益
indel	DMS	零样本/有监督	Spearman	不等长序列预测短板
替换	临床(ClinVar)	零样本	AUC/PR	致病性迁移
indel	临床(ClinVar)	零样本	AUC/PR	临床 indel 迁移

附录 F：版本对照表

版本	时间	新增内容	Zenodo record
v1.0	2023-12	初始发布（217+66+临床；40+ 模型）	13932633
v1.1	迭代	参考文件更新；ProtSSN、SaProt	—
v1.2	迭代	+8 零样本基线（VenusREM/S3F/Escott 等）；补有监督全量预测	14997691
v1.3	2025-04-27	+16 零样本基线（ESM3/ESM C/ProGen3/xTrimoPGLM 等）	15293562

附录 G：下载命令速查

# 通用模板（替换 {VERSION} 与 {FILENAME}）
VERSION="v1.3"
FILENAME="DMS_ProteinGym_substitutions.zip"
curl -o ${FILENAME} \
  https://marks.hms.harvard.edu/proteingym/ProteinGym_${VERSION}/${FILENAME}
unzip ${FILENAME} && rm ${FILENAME}

# 常用文件
#   DMS_ProteinGym_substitutions.zip   替换基准真值
#   DMS_ProteinGym_indels.zip          indel 基准真值
#   scores_all_models_proteingym_substitutions.zip  全模型替换预测分数
#   scores_all_models_proteingym_indels.zip         全模型 indel 预测分数
#   MSA_ProteinGym.zip                 多序列比对（~2.2GB，对齐类必需）

# AWS 免账号拉取 Parquet
aws s3 ls --no-sign-request s3://proteingym/

附录 H：评测指标计算公式表

指标	公式/定义	适用场景
Spearman ρ	预测分数与真值适应度的秩相关系数	连续适应度预测主指标
ROC-AUC	二值化后 ROC 曲线下面积	双峰分布 assay / 致病性分类
MCC	(TP·TN−FP·FN)/√((TP+FP)(TP+FN)(TN+FP)(TN+FN))	类别不平衡的二值分类
NDCG@10%	归一化折损累计增益（前 10%）	蛋白质设计（排序质量）
Top-K recall	前 K(=10%) 变体的召回率	挑最优少数变体
MSE	均方误差	有监督回归

附录 I：Model 打分约定与基线谱系

类别	代表方法	处理突变类型
对齐类	Site-independent、profile HMM、EVMutation、DeepSequence、WaveNet	替换 + indel
语言模型类	ESM 系列、ProGen2、RITA、ProtGPT2、Tranception、TranceptEVE	主要替换
逆折叠/结构类	ProteinMPNN 等	替换
临床注释类	AlphaMissense 等	人类变异
版本新增	ProtSSN、SaProt(v1.1)；VenusREM、S3F、Escott(v1.2)；ESM3、ESM C、ProGen3、xTrimoPGLM(v1.3)	替换（零样本）

统一打分约定：score = log(p(x_mut) / p(x_wt))（Hopf et al. 2017 惯例）。

附录 J：存储与带宽规划表

资产	体量量级	是否必需
DMS 替换主表（CSV/Parquet）	数 MB	评测必需
DMS indel 主表	数 MB	indel 评测必需
临床基准表	数 MB	临床评测必需
模型预测分数包	数十 MB–GB	复现榜单可选
MSA_ProteinGym.zip	解压 ~2.2 GB	对齐类方法必需

附录 K：库内互链点登记表

条目	rid	关系类型
UniProt	37	蛋白身份锚（上游）
ClinVar	136	临床基准注释源（上游）
gnomAD	570	临床基准良性对照（上游）
AlphaFold	573	逆折叠类结构生态（同域）
AlphaMissense	584	临床 baseline + 独立工具（双向）
PDB	43	实验结构源（上游）
STRING	414	蛋白功能语境（同域）
Human Protein Atlas	404	蛋白表达注释（同域）
ProteomeXchange	389	DMS 原始数据归宿（上游仓库）
PRIDE	379	质谱蛋白组学仓库（上游仓库）
SRA	576	测序档案（上游仓库）
GWAS Catalog	564	人类变异注释（同域）
MoleculeNet	113	同形态基准套件（同侪）
TDC	131	治疗科学基准平台（同侪）
DUD-E	144	对接诱饵基准（邻域）
LIT-PCBA	154	虚拟筛选基准（邻域）
Binding MOAD	174	蛋白-配体亲和力库（邻域）
CrossDocked2020	164	交叉对接数据集（邻域）

附录 L：双口径登记表

项	口径 A	口径 B	处置
模型数	70+（bioRxiv/NeurIPS 更新稿）	40+（Zenodo v1.0 描述）	按版本标注，正文用 70+ 并注 v1.0 为 40+
assay 数	217+66=283（官网分项）	over 250（论文概览）	分项用 217/66；概览引用 250+
突变总数	~2.7M（bioRxiv）	~3M/~3.5M（概览转引）	引用标版本，不作精确值
蛋白数	186（ProteinGymPy）	187（VespaG 转引）	注明来源，以官方 metadata 为准
许可	MIT（数据/代码）	CC-BY-NC-ND（预印本文本）	明确区分资产类型

附录 M：许可条款细读

资产	许可	可商用	可改编	需保留声明
代码仓	MIT	是	是	是（版权+许可）
数据集	MIT	是	是	是
模型预测分数	MIT	是	是	是
MSA / 结构	MIT	是	是	是
bioRxiv 预印本文本	CC-BY-NC-ND 4.0	否	否	是（署名）

附录 N：零样本 vs 有监督对照表

维度	零样本	有监督
是否用 DMS 标签训练	否	是
打分要求	须覆盖全部突变	覆盖测试折突变
主指标	Spearman/NDCG/AUC	Spearman/MSE
切分	不适用（全量评测）	Random/Contiguous/Modulo 五折
考察能力	泛化的突变效应先验	少样本微调收益

附录 O：常见混淆项辨析

混淆项	正解
ProteinGym = 一个 DMS 数据集	错——是聚合数百 assay 的基准套件
bioRxiv 预印本许可 = 数据许可	错——预印本 CC-BY-NC-ND，数据 MIT
arXiv 2305.15757 = ProteinGym	错——该号是无关对话论文
AlphaMissense = ProteinGym 的一部分	部分对——它是被评测的 baseline，非数据集本体构件
“250 个 assay” = 精确数	概览口径——精确是 217 替换 + 66 indel

附录 P：使用 ProteinGym 的研究检查清单

1. 是否声明所用 ProteinGym 版本（v1.0–v1.3）？
2. 是否明确评测的是替换还是 indel、零样本还是有监督？
3. 是否说明模型分数生成的打分约定（log 比）？
4. 零样本评测是否覆盖了该基准全部突变？
5. 是否报告了主指标之外的 NDCG（若涉及设计任务）？
6. 是否区分了"数据许可 MIT"与"论文许可 CC-BY-NC-ND"？
7. 引用模型数时是否标注版本口径？
8. 长序列模型是否说明了上下文窗口的处理方式？
9. 是否区分 DMS 适应度与临床致病性两类任务？
10. 跨 assay 结论是否避免了绝对适应度的直接比较？

附录 Q：缩写速查

缩写	全称	含义
DMS	Deep Mutational Scanning	深度突变扫描
MSA	Multiple Sequence Alignment	多序列比对
NDCG	Normalized Discounted Cumulative Gain	归一化折损累计增益
MCC	Matthews Correlation Coefficient	Matthews 相关系数
AUC	Area Under the ROC Curve	ROC 曲线下面积
indel	insertion/deletion	插入缺失
wt / mut	wild-type / mutant	野生型 / 突变体
ESM	Evolutionary Scale Modeling	蛋白语言模型系列
CRG	Centre for Genomic Regulation	基因组调控中心

附录 R：本条目生产档案

项	值
写手代理	agent-c-proteingym
抓取时点	2026-10-03
三源互证	官网 proteingym.org / GitHub OATML-Markslab / Zenodo + bioRxiv + NeurIPS + AWS + PMC
核验结论	数据集真实存在，无撞库（DB 0 行），无改道
存照条数	双口径 5 项（模型数/assay 数/突变数/蛋白数/许可）
坑点数	8
库内互链点	18 个条目（rid 见附录 K）

附录 S：FAIR/AI-Ready 检查单

原则	达成	说明
Findable	✅	官网/GitHub/Zenodo/HF/AWS 多路可发现，DOI 可引
Accessible	✅	全部公开直链，AWS 免账号
Interoperable	✅	CSV/Parquet + UniProt 锚 + 统一打分约定
Reusable	✅	MIT 许可，可商用；版本可追溯
AI-Ready	✅	数据+代码+预测分数+榜单齐全，评测脚本开箱可用

附录 T：检索路径示范

场景一：快速确认基准规模
  搜索式：protengym "217 assays" substitution indel
  权威落点：proteingym.org 首页 DMS Benchmarks 栏

场景二：确认版本与最新基线
  搜索式：ProteinGym v1.3 ESM3 ProGen3 release
  权威落点：GitHub README Releases 段

场景三：确认许可
  搜索式：OATML-Markslab ProteinGym license MIT
  权威落点：GitHub LICENSE + AWS Open Data Registry

场景四：确认论文归属
  搜索式：ProteinGym NeurIPS 2023 datasets benchmarks Notin
  权威落点：NeurIPS proceedings / bioRxiv doi:10.1101/2023.12.07.570727
  注意：勿采信第三方误标的 arXiv 2305.15757

场景五：找 DMS 原始实验
  搜索式：deep mutational scanning <蛋白名> raw data
  落点：ProteomeXchange / PRIDE / SRA

附录 U：ProteinGym 与同类基准的横向对照

基准	领域	规模	许可	特点
ProteinGym	蛋白适应度预测	217+66 assay	MIT	统一考场 + 70+ 模型榜单
MoleculeNet	分子性质预测	多数据集	开源	小分子侧标准基准
TDC	治疗科学 ML	多任务	开源	覆盖药物发现全链
DUD-E	分子对接	诱饵数据集	免费学术	虚拟筛选评测
ProteinGymClnical	临床变异	2.5K+1.5K 基因	MIT	ProteinGym 临床子基准

附录 V：30 秒上手（最小可用路径）

1. 打开 https://www.proteingym.org/ 看榜单（零安装，30 秒）
2. 需要复现：git clone https://github.com/OATML-Markslab/ProteinGym
3. 下载替换基准真值：DMS_ProteinGym_substitutions.zip（v1.3）
4. 生成你的模型分数（log 比约定）→ 用仓内脚本算 Spearman/NDCG
5. 对齐类方法：额外下 MSA_ProteinGym.zip（~2.2 GB）
6. 引用：NeurIPS 2023 + 标注版本 + 抓取日期

附录 W：ProteinGym 的"三个为什么"深度解析

W.1 为什么需要 217 个 assay——规模如何转化为稳健性

一个直觉问题：为什么不能用 20 个 assay 评测模型，非要 217 个？答案藏在统计的稳健性里。单个 assay 的模型排名受三个随机因素支配：该蛋白的特定序列特性、该 DMS 实验的测量噪声、该突变集合的采样偏差。当只比较少数 assay 时，"哪个模型更好"的结论会被这些因素主导，出现"换个数据集排名就翻盘"的现象。ProteinGym 论文明确引用前人分析（Riesselman 2018、Laine 2019、Meier 2021）指出模型相对表现随 assay 剧烈波动。

把 assay 数从几十提升到 200+，本质是把"单点结论"变成"分布结论"：报告的不再是"模型 A 在数据集 X 上高 0.05"，而是"模型 A 在 217 个 assay 上的平均秩相关与其分布"。均值降低了个体 assay 噪声的权重，分布（如中位数、四分位距）则揭示了模型的稳定性——一个在多数 assay 上中上、在少数 assay 上崩盘的方法，与一个处处中等的方法，哪个更值得用？这需要多个 assay 才能回答。规模不是为了让数字更大，而是为了让结论更稳。

W.2 为什么 NDCG 是设计任务的关键指标

适应度预测常被默认为"回归问题"：预测每个突变的适应度数值，然后用相关系数衡量。但蛋白质设计的真实诉求不是"把数值预测准"，而是**“把最好的变体排到最前面”**。设想一个场景：你要在 10,000 个候选变体中挑 10 个做湿实验验证，模型只要能把真正最优的 10 个排进前列，就算它对其余 9,990 个的数值预测有偏差也无所谓。

NDCG（归一化折损累计增益）正是刻画这种"前排质量"的指标：它对排在前面的正确项给予更高权重，对排在后面的正确项折损。一个模型即使整体 Spearman 一般，只要能把高适应度变体富集到前排，NDCG@10% 就会高——这类模型在设计场景中比"数值拟合好但排序平庸"的模型更有价值。ProteinGym 把 NDCG 纳入核心指标，等于正式承认："预测"与"设计"是两种不同的能力，必须分开度量。 这也是论文标题写 “Fitness Prediction and Design” 的方法学根据。

W.3 为什么临床基准用 AUC/PR 而非 Spearman

临床基准的任务性质与 DMS 基准根本不同。DMS 输出的是连续适应度分数（一个突变的活性、稳定性等），适合用秩相关衡量；临床注释输出的却是离散的致病性判定（致病/良性/不确定），本质是二分类。对二分类任务，Spearman 秩相关没有意义（类别只有两档），应当用 ROC-AUC 衡量判别力、用 precision–recall 曲线衡量在极端不平衡下的表现（致病变异往往是少数类）。

这一指标切换揭示了一个常被忽视的道理：指标必须匹配任务类型，不能机械套用。同一个模型在 DMS 适应度回归上表现优秀，不等于它在临床致病性二分类上同样优秀——两者考察的能力有交集但不重合。ProteinGym 通过设置 DMS 与临床两套基准、配合两套指标，让这种"能力错位"无处遁形。

附录 X：三类模型的"能力画像"

ProteinGym 的榜单分析揭示了不同技术路线的系统性差异，这里归纳为三张"能力画像"。注意：以下是基于基准设计逻辑的定性归纳，具体排名需以最新版榜单为准。

X.1 对齐类方法（Alignment-based）

代表：profile HMM、EVMutation、DeepSequence、Site-independent 最大熵。这类方法依赖同源序列的多序列比对（MSA），从进化保守性中推断突变效应。

• 优势：对替换与 indel 都能给出分数；在进化信号强的蛋白家族上表现稳健；不需要大量参数训练，可解释性好。
• 短板：对同源序列稀少的蛋白（孤儿蛋白）失效——没有足够的进化信息可依据；对 MSA 质量敏感；计算上对每个蛋白家族需单独处理。
• 适用场景：evolvability 强、同源丰富的酶家族；indel 预测（语言模型的短板区）。

X.2 语言模型类（Language Model-based）

代表：ESM 系列、ProGen2、RITA、ProtGPT2、Tranception、TranceptEVE。这类方法在大规模蛋白序列语料上自监督预训练，把序列概率作为适应度代理。

• 优势：跨蛋白零样本迁移能力强（一个模型打全部 assay）；对孤儿蛋白仍可工作（不依赖 MSA）；随模型规模与训练数据增长有可预期的提升。
• 短板：主流模型原生只处理等长的替换，indel 需额外工程；上下文长度有限，长蛋白（如 >2,000 残基）需特殊处理；对进化上"新颖"的突变（远离自然序列分布）可能系统性低估。
• 适用场景：通用突变效应预测；无 MSA 或 MSA 贫乏的蛋白；快速筛选。

X.3 逆折叠/结构类（Inverse Folding / Structure-based）

代表：ProteinMPNN 及各类结构条件生成模型。这类方法以三维结构为输入，输出序列在该结构下的可信度。

• 优势：直接利用结构信息，可捕捉序列远距离相互作用；在结构与功能强相关的突变上可能优于纯序列方法；对设计任务（生成可行序列）天然契合。
• 短板：依赖高质量结构（实验或预测）；结构缺失的蛋白无法直接使用；对不改变结构的突变可能不敏感。
• 适用场景：有可靠结构的蛋白设计；结构敏感的突变预测；与序列方法作互补。

X.4 组合策略的启示

三类方法的短板互补性，为"模型集成"与"检索增强"提供了理论基础：Tranception 的推理时检索（inference-time retrieval）、TranceptEVE 的混合设计，都是在语言模型基础上借用对齐信息以补短板。ProteinGym 的榜单使这类"取长补短"策略的收益可被量化。

附录 Y：有监督评测三种切分的深层含义

有监督评测的三种五折切分（Random/Contiguous/Modulo）不是随意的技术细节，而是三种泛化场景的模拟：

切分	模拟的真实场景	难度
Random	随机实验室里测了部分突变，要预测同区域其余突变	最低
Contiguous	只测了蛋白的一部分区域，要预测未测区域	中
Modulo	只测了每隔几个位置的突变，要预测交错位置	高（外推）

三者的性能落差本身就是一个结论：如果某模型在 Random 折上分数很高、在 Contiguous/Modulo 折上骤降，说明它学到的是"邻近位置的记忆"而非"可迁移的突变规律"。对蛋白质设计而言，真正需要预测的往往是未见区域的突变（Contiguous/Modulo 场景），因此模型在这两折上的表现比 Random 折更能预测其在真实设计任务中的成败。看榜单时，Random 折的高分可能是幻觉，外推折的分数才是试金石。

附录 Z：DMS 实验的方法学局限（为何真值也不完美）

ProteinGym 的评审判定框架明确承认底层实验有已知局限，这不是自谦，而是科学诚实。理解这些局限有助于正确解读基准分数：

1. 动态范围限制：一个 DMS 实验若动态范围窄，适应度高的与极高的变体测出来差不多，模型无法从这样的真值中学到区分度。
2. 测量噪声：高通量测序有采样与测序错误，重复实验间的相关性并非完美 1.0，构成真值的噪声地板——模型再好也难超过这个上限。
3. 实验条件特异：同一蛋白在不同实验条件下（温度、pH、底物）的适应度可能不同，DMS 测的是特定条件下的适应度，不能外推到所有条件。
4. 选择压力偏差：DMS 依赖选择富集，只有能存活的变体被测到，致死变体的适应度只有下界，构成有偏的样本。
5. 抗体/结合类 assay 的特异性：结合亲和力类 assay（binding）的读出依赖特定靶标，结论受靶标选择影响。

这些局限被 ProteinGym 纳入框架设计（“factors in known limitations”），意味着它的排名是在承认真值不完美的前提下给出的——这比假装存在无噪声金标准更可靠。

附录 AA：ProteinGym 的引用规范与常见错误

正确引用要素（三级精确）：

1. 论文：Notin P, Kollasch AW, Ritter D, et al. ProteinGym: Large-Scale Benchmarks for Protein Fitness Prediction and Design. In: Advances in Neural Information Processing Systems 36 (NeurIPS 2023, Datasets and Benchmarks Track). pages 64331–64379. 或 bioRxiv 预印本 doi:10.1101/2023.12.07.570727。
2. 数据版本：ProteinGym v1.3（或所用版本），Zenodo record 15293562（或对应版本 record）。
3. 抓取信息：访问日期 + 具体文件（如 DMS_ProteinGym_substitutions.zip）。

常见引用错误：

• ❌ 引 arXiv:2305.15757（该号是无关对话论文，第三方误标）
• ❌ 用 “over 250 assays” 当精确数（精确是 217+66）
• ❌ 用 “3.5M variants” 不标版本（bioRxiv 为 2.7M）
• ❌ 声称数据是 CC-BY-NC-ND（那是预印本文本许可，数据是 MIT）
• ❌ 把 AlphaMissense 当作 ProteinGym 的数据构件（它是被测 baseline）
• ❌ 引用榜单排名不标注版本与日期

附录 AB：指标间的"三角互证"阅读法

面对一个模型的 ProteinGym 结果，建议用"三角互证"式阅读：同时看 Spearman、NDCG 与 Top-K recall，三者关系能揭示模型的性质：

Spearman	NDCG@10%	Top-K recall	推断
高	高	高	全面强——数值与排序皆优
中	高	高	排序型——设计任务适用
高	中	中	拟合型——数值准但前排质量一般
低	低	低	该 assay 上失效

这种读法避免"只看一个数字"的常见误区，也解释了为何 ProteinGym 要并行报告多指标——单个数字会被某类模型的特性所偏袒。

附录 AC：DMS 元数据字段解读

ProteinGym 的 DMS assay 元数据表（如 DMS_substitutions.csv，217 行）通常包含以下类字段，理解它们有助于正确使用数据：

字段类别	含义	用途
DMS_id	assay 唯一标识（常为 <蛋白>_<物种>_<作者年份>）	主键
UniProt accession	蛋白身份锚	跨库关联
序列	野生型氨基酸序列	打分基准
突变集合	每个突变的位置与氨基酸替换	评测对象
适应度分数	实验测得值	真值标签
功能类别	activity/stability/binding/expression/fitness 等	分层分析
生物域/分类	原核/真核/病毒	子集划分

功能类别字段是二次分析的关键——它使研究者可以问"语言模型在稳定性 assay 上是否比在结合 assay 上更强"这类分层问题，也是产生 VespaG 等衍生子集的依据（§7.2）。

附录 AD：ProteinGym 对蛋白质工程的实践意义

ProteinGym 不只是一个"学术榜单"，它对实际蛋白质工程有直接指导价值：

1. 模型选型：要在项目中选用一个突变效应预测模型时，ProteinGym 提供了跨数百 assay 的横向对比，比自己试几个数据集更可靠。
2. 失败预警：若你的目标蛋白与 ProteinGym 里任何 assay 都不同源，榜单排名只能作参考——诚实地说，这也是基准的适用边界。
3. 方法改进方向：榜单上系统性靠后的能力（如 indel 预测、外推切分）指明了社区的研究空白。
4. 复现与合规：MIT 许可 + 完整脚本 + 版本化，使工程团队可以在合规前提下把基准纳入内部模型评估流水线。
5. 设计任务评估：NDCG 等设计导向指标的引入，让"能否生成/排序出可用变体"这一工程关切第一次有了标准量化。

附录 AE：阅读本条目后的三个行动建议

1. 如果是第一次接触：先打开 proteingym.org 看榜单，理解"同一考卷、多个模型"的呈现方式，再回读 §2 理解数据构成。
2. 如果要使用：按 §6 的四路渠道下载，务必指定版本（v1.3），并牢记"数据 MIT、论文 CC-BY-NC-ND"的许可区分。
3. 如果要引用：按附录 AA 的三级精确规范引用，避免六个常见错误；尤其警惕第三方误标的 arXiv 号。

附录 AF：本条目信息边界声明

为避免误导，本条目明确声明其信息边界：

• 数字口径：所有规模数字均为抓取时点（2026-10-03）的公开口径，随版本演进可能变化；模型数/assay 数/突变数三处存在版本性口径差异（附录 L 已登记）。
• 不提供：本轮核验未实抓 HuggingFace 数据集页面的字段级细节（沙箱内走 hf-mirror，页面跳转原站未取到 split 明细），也未逐条核对 217 个 assay 的名称清单——使用者应以官方 metadata 表为准。
• 定性判断标注：《三类模型能力画像》（附录 X）是基于基准设计逻辑的定性归纳，具体排名随版本变动，不构成对任一模型的最终评价。
• 时效性：基准、榜单、版本均在演进，"最新版"以 GitHub README 与 Zenodo 实时记录为准。

附录 AG：ProteinGym 的诞生背景：从 Tranception 到统一基准

理解 ProteinGym 的由来，需要回到它的前作 Tranception（Notin et al., ICML 2022）。Tranception 是一个自回归 Transformer 蛋白语言模型，创新点是"推理时检索"（inference-time retrieval）：在给出突变分数时，动态检索同源序列作为上下文，借进化信息提升预测。Tranception 论文在多个 DMS 数据集上评测，但正是在这个过程中，团队意识到一个结构性问题——评测本身不标准。

每个 DMS 论文用自己定义的野生型、自己的突变子集、自己的适应度归一化方式。想把 Tranception 与 DeepSequence、EVMutation 等方法公平比较，团队不得不手工对齐每个数据集的格式与划分。这种"每换一个数据集就要重新搭评测台"的重复劳动，暴露了领域的基础设施缺口。ProteinGym 正是对这一缺口的回答：与其每次重搭评测台，不如建一个统一的、可持续扩张的评测集合，让所有方法在同一台上比较。

这条谱系解释了 ProteinGym 的几个设计取向：

• 为什么强调"零样本模型必须给全部突变打分"：源自对齐多个模型输出的工程经验——只有覆盖同一突变集合，比较才成立。
• 为什么保留 indel 基准：Tranception 类语言模型在 indel 上天然吃力，团队深知这是短板，故专设基准促其改进。
• 为什么持续扩张 baseline 池：作为"评测基础设施"，它必须随社区新方法出现而更新，否则会过时。v1.3 加入 ESM3 等最新模型正体现这一点。

附录 AH：DMS 技术入门——数据从哪来

对不熟悉蛋白实验的读者，理解 DMS 数据的来源有助于正确使用 ProteinGym。深度突变扫描的典型流程：

1. 文库构建：合成一个包含成千上万个突变体的 DNA 文库，每个突变体对应野生型序列上的一个（或多个）氨基酸改变。
2. 表达与选择：把文库导入细胞或体外系统表达，施加选择压力（如抗生素、高温、结合靶标、酶底物）。
3. 富集测序：对选择前后的文库做高通量测序，统计每个突变体的丰度变化。
4. 适应度计算：丰度增加 = 适应度高（有益突变），丰度减少 = 适应度低（有害突变），据此计算每个突变的适应度分数。

这一流程决定了 DMS 数据的关键特征：它是相对测量（相对野生型的富集/耗竭），是特定条件下的（选择压力决定测的是什么适应度），且受测序深度限制（低丰度变体噪声大）。ProteinGym 收纳的每个 assay 都是这样一次实验的产物——理解这一点，就理解了为什么不同 assay 的适应度不能直接比绝对值，只能比秩相关。

附录 AI：ProteinGym 的存储格式详解

ProteinGym 提供多种格式以适应不同工作流，理解格式选择可提升效率：

格式	渠道	优势	局限
CSV	GitHub/Harvard 直链	通用、易读、可用 Excel/pandas	体积较大、无类型约束
Parquet	AWS Open Data	列式存储、压缩率高、加载快、类型明确	需 pyarrow/pandas
HuggingFace datasets	HF	load_dataset 一行加载、缓存友好	依赖 HF 访问
NumPy/PKL	预测分数包	数值计算高效	需知道反序列化协议
PDB	结构包	结构可视化/对接直接可用	仅结构类任务需要

选择建议：快速查看用 CSV；大规模计算用 Parquet（AWS 免账号）；ML 流水线用 HF datasets；对齐类方法必须额外取 MSA 打包。

附录 AJ：模型评测的工程实践要点

把 ProteinGym 接入自己的评测流水线时，以下工程要点能避免踩坑：

1. 版本固定：在配置文件里显式写死 VERSION（如 v1.3），不要依赖"最新"——否则半年后复现结果会漂移。
2. 打分约定一致：严格按 log(p(x_mut)/p(x_wt)) 生成分数；若你的模型输出的是能量或其他量纲，必须先转换，否则与榜单不可比。
3. 覆盖全部突变：零样本评测必须为每个 assay 的每个突变给分；缺失值会被评测脚本按"未覆盖"处理，拉低结论可信度。
4. 长序列处理：若模型上下文窗口小于最长蛋白（3,423 残基），需明确你的截断/滑窗策略，并意识到这与榜单模型的处理方式可能不同。
5. MSA 制备：对齐类方法需自行或用官方 MSA；MSA 质量（深度、多样性）直接影响结果，是常见的结果差异来源。
6. 重复评测：对随机性模型（如 dropout 未关）做多次评测取均值，避免单次噪声误判。

附录 AK：ProteinGym 在遗传病变异解读中的角色

ProteinGym 的临床基准把蛋白质机器学习的评测延伸到人类遗传病领域，这一延伸的意义值得单列：

• 变异解读的困境：人类基因组中大量错义变异（missense variant）的临床意义未知（VUS, variant of uncertain significance），给遗传诊断带来巨大不确定性。计算预测工具（如 AlphaMissense）是缓解这一困境的关键，但工具的可靠性长期缺乏统一评测。
• ProteinGym 的贡献：通过临床替换/indel 基准（ClinVar 注释 + gnomAD 对照）+ 统一的 AUC/PR 指标，为"计算致病性预测"提供了标准化竞技场。它让不同工具的相对能力第一次可比较。
• 边界意识：ProteinGym 是评测基准而非临床工具——它不直接给出"某变异致病与否"的临床结论，而是评估预测工具的准确性。临床决策不能依赖基准排名，须经专业解读与验证。

附录 AL：关于"规模是否等于进步"的思辨

ProteinGym 的核心主张是"需要规模"，但这不等于"规模自动带来进步"。本条目认为有三点辩证：

1. 规模带来稳健的评测，而非更好的模型。217 个 assay 让"哪个模型好"的结论更稳，但它本身不提升任何模型的能力。
2. 规模可能掩盖结构性缺陷。平均秩相关高的模型，可能在某个重要子类（如 indel、或某类疾病相关蛋白）上系统性很差——均值会平滑掉这些。因此 ProteinGym 提供分层钻取（按功能类别、按生物域）至关重要。
3. 真值质量是规模的上限。无论聚合多少个 assay，若每个 assay 本身有噪声与偏差，聚合后的结论仍受制于此。规模扩大改善的是"统计功效"，不改善"真值保真度"——这正是 ProteinGym 强调"承认实验局限"的原因。

这一思辨对任何"堆规模"的基准建设都有警示：规模是必要的，但不是充分的；元数据质量与分层分析同样决定基准的价值。

附录 AM：DMS 与临床真值的差异对照

维度	DMS 真值	临床真值（ClinVar）
测量对象	体外/细胞内的功能适应度	人类个体中的致病性
数据类型	连续分数	离散判定（致病/良性/VUS）
噪声来源	测序深度、选择条件	临床证据强度、报告偏倚
覆盖度	单蛋白的高密度突变	多基因的低密度、注释不均
评测指标	Spearman/NDCG	AUC/PR
外推风险	实验条件外推	人群与背景外推

两者互补而非替代：DMS 提供高密度单蛋白测量，临床提供真实人体语境。ProteinGym 同时收录两者，使"体外适应度预测能力强"与"临床致病性预测能力强"可分别评估，避免用一套真值掩盖另一维度的短板。

附录 AN：一句话记住 ProteinGym

ProteinGym 是蛋白质领域的"ImageNet 时刻"的评测版本——它不提供更好的模型，而是提供一块让好模型无可遁形的公平试金石，并且这块试金石是 MIT 免费公开的。

附录 AO：与读者共勉——如何理性看待基准排名

任何基准排名都是"特定考卷 + 特定指标 + 特定版本"的产物。ProteinGym 做得比多数基准好，是因为它坦诚地暴露了自己的边界（多指标、多切分、承认实验局限、版本化）。但使用者仍应保持三条清醒：

1. 排名不等于适用。榜单第一的模型未必适合你的蛋白与任务；同源性、MSA 可得性、结构可得性都会改变结论。
2. 数字要溯源。引用任何 ProteinGym 数字都应能追到论文表格或官网的具体条目 + 版本。
3. 基准是工具不是真理。它是帮助判断的参照系，而非替代实验验证的终审。真正的突变效应结论，终归要靠湿实验落地。

附录 AP：ProteinGym 相关论文与资源清单

资源	类型	标识
ProteinGym 论文	NeurIPS 2023	Advances in NeurIPS 36, pages 64331–64379
ProteinGym 预印本	bioRxiv	doi:10.1101/2023.12.07.570727（PMID 38106144 / PMC10723403）
Tranception（前作）	ICML 2022	PMLR v162, notin22a
代码仓	GitHub	OATML-Markslab/ProteinGym（MIT）
官网	Web	https://www.proteingym.org/
数据归档	Zenodo	record 15293562（v1.3）
HuggingFace	datasets	OATML-Markslab/ProteinGym
AWS Open Data	S3	arn:aws:s3:::proteingym (us-east-2)
Python 工具	PyPI	ProteinGymPy
有监督代码	GitHub	OATML-Markslab/ProteinNPT

附录 AQ：本条目校对记录

校对项	结果
frontmatter 双引号计数（每行偶数）	已逐行核对
title 站点后缀 `	千方病案医数集`
cr:RecordSet 节点式	已用 - "@type": "cr:RecordSet"
description 字符数 ≤170	已核（149 字符）
data_source.name ≤255	已核
category_tags 受控词表内 2-6 个	5 个（基因组学与多组学/变异与注释/蛋白质组学/评测基准/药物发现与化学）
坑点数 ≥5	8
DAIMS 表存在	附录 B
§0-§11 齐全	是
URL 占位符格式	https://www.qianfanghub.com/ai-ready-dataset/proteingym/813

附录 AR：ProteinGym 榜单的"博士级"读法

拿到 ProteinGym 榜单，如何像资深研究者一样解读？以下是六条进阶读法：

AR.1 看分布而非均值

榜单主列常是"平均 Spearman"。但均值会被极端 assay 拉动——一个模型可能在 200 个 assay 上中上、在 17 个 assay 上崩盘，均值仍可观。正确读法：同时看中位数、四分位距（IQR）与最差 assay 的表现。一个中位数高、IQR 窄的模型，比均值高但方差大的模型更可信赖。

AR.2 看分层而非总分

同一个模型在不同功能类别（stability/activity/binding/expression/fitness）上的表现可能截然不同。正确读法：按你的目标任务的功能类别筛选榜单，而不是只信总分。稳定性预测强的模型未必结合预测强。

AR.3 看子集而非全局

病毒蛋白、原核蛋白、真核蛋白的表现差异显著（VespaG 论文专门按此划分子集）。正确读法：若你的目标蛋白属于某特定生物域，只看该子集的排名。

AR.4 看零样本而非只看有监督

有监督榜单的高分可能来自"用了大量标签"，这不代表模型的先验知识强。正确读法：若你的应用场景标签稀缺（多数真实场景如此），零样本排名更能预测实际表现。

AR.5 看设计指标而非只看预测指标

若你的任务是"挑出可用的变体"，NDCG@10% 比 Spearman 更相关。正确读法：设计任务看 NDCG 与 Top-K recall，预测研究看 Spearman。

AR.6 看版本而非看快照

榜单随版本更新。正确读法：任何引用都标注版本与抓取日期，否则结论可能来自过时快照。

附录 AS：为什么 ProteinGym 是"AI-Ready"的典范样本

在千方病案医数集的"AI-Ready"评价框架下，ProteinGym 是罕见的六项全绿样本：

AI-Ready 维度	ProteinGym 表现	同类常见短板
数据可获得性	四路公开直链 + AWS 免账号	常见：gated/请求制
许可清晰度	全 MIT，可商用	常见：仅限学术、条款模糊
格式标准化	CSV/Parquet + UniProt 锚	常见：私有格式、无标识锚
评测标准化	统一指标 + 脚本开源	常见：各论文自定指标
版本可追溯	Zenodo DOI 逐版归档	常见：无版本、无归档
元数据完备	论文表格 + 官网钻取	常见：字段无文档

这六项共同构成了"可直接用于 AI 训练与评测"的条件——数据的机器可读性、许可的机器可处理性、评测的可复现性三者的交集，正是 AI-Ready 的实质。ProteinGym 的价值不仅在于它聚合了数据，更在于它示范了一个基准如何做到让下游 AI 流水线零摩擦接入。

附录 AT：三个真实使用场景的完整流程

AT.1 场景一：评测自研蛋白语言模型

目标：验证新训练的蛋白语言模型在突变效应预测上的水平
步骤：
1. git clone https://github.com/OATML-Markslab/ProteinGym
2. 下载 DMS_ProteinGym_substitutions.zip（v1.3，217 assay 真值）
3. 用模型对每个突变生成分数 score = log(p(x_mut)/p(x_wt))
   - 注意：必须覆盖全部突变（零样本规则）
   - 长蛋白（>上下文窗口）须声明处理策略
4. 用仓内脚本计算 Spearman / NDCG@10% / Top-K recall
5. 与榜单既有模型对比（标注 v1.3 版本）
6. 按功能类别分层看结果（stability vs binding 等）
产出：跨 217 assay 的零样本性能分布 + 分层画像

AT.2 场景二：评估致病性预测工具

目标：评估某工具预测人类错义变异致病性的准确性
步骤：
1. 从 AWS 免账号下载 clinical_substitutions.parquet
   aws s3 cp --no-sign-request s3://proteingym/clinical_substitutions.parquet .
2. 用工具对每个变异生成致病性分数
3. 计算 ROC-AUC 与 precision–recall 曲线
4. 注意：ClinVar 注释有偏，务必用 gnomAD 良性对照平衡
5. 与 AlphaMissense 等已知 baseline 对比（同样标注版本）
产出：临床致病性二分类的 AUC/PR 指标

AT.3 场景三：indel 预测能力摸底

目标：检验模型对插入缺失突变的预测能力（多数模型的盲区）
步骤：
1. 下载 DMS_ProteinGym_indels.zip（66 assay，~300K 突变）
2. 若模型原生只处理等长序列，须先实现 indel 打分方案
3. 计算 Spearman，并与专用 indel baseline（profile HMM/WaveNet）对比
4. 结论解读：language model 在 indel 上普遍弱于对齐类，是已知短板
产出：indel 预测的初步能力评估

附录 AU：ProteinGym 生态的时间线

2022      Tranception（ICML）—— 推理时检索的蛋白语言模型，ProteinGym 的方法学前身
2023-05   （第三方曾误标 arXiv 2305.15757，实为无关论文——见坑 6）
2023-12   ProteinGym v1.0 + bioRxiv 预印本发布（217+66+临床基准）
2023-12   NeurIPS 2023 Datasets and Benchmarks Track 收录
2024      v1.1（ProtSSN/SaProt）+ v1.2（VenusREM/S3F/Escott 等 8 基线）
2025-04   v1.3（ESM3/ESM C/ProGen3/xTrimoPGLM 等 16 基线）—— Zenodo 归档
2024-至今 社区衍生（VespaG 子集划分、ProteinGymPy 工具包、大量下游论文采纳）
2026-10   本条目抓取时点，最新稳定版 v1.3

附录 AV：ProteinGym 贡献者的学术网络

ProteinGym 的作者网络体现了蛋白质机器学习领域的机构协作图景：

• Oxford OATML（Yarin Gal 组）：贝叶斯深度学习与不确定性，Pascal Notin、Ruben Weitzman 出自此；OATML-Markslab 组织的另一成员
• Harvard Marks Lab（Debora S. Marks 组）：进化信息与蛋白模型（EVE、EVcouplings 等），Aaron Kollasch、Daniel Ritter、Lood van Niekerk、Steffanie Paul、Hansen Spinner、Dinko Franceschi、Rose Orenbuch 出自此
• Broad Institute：Marks 兼任，连接 MIT/Harvard 生态
• CRG / Universitat Pompeu Fabra（Barcelona）：Jonathan Frazer、Mafalda Dias，进化与遗传病方向
• Seismic Therapeutic：Nathan Rollins，蛋白工程的产业视角（机器学习蛋白设计公司）
• Harvard Applied Mathematics：Ada Shaw

这一网络说明 ProteinGym 是**跨机构、跨学科（CS + 系统生物学 + 应用数学 + 产业）**协作的产物，也解释了它为何能同时兼顾方法学严谨性与工程可用性。

附录 AW：对基准建设者的七条可迁移经验

从 ProteinGym 的成功，可提炼对任何领域基准建设的可迁移经验：

1. 先定标准，再堆数据：统一指标与切分是让结论可比的前提，比多收几个数据集更重要。
2. 多指标承认多义性：单一指标必然偏袒某类方法，多指标是诚实而非冗余。
3. 覆盖度硬约束：要求所有被比较对象覆盖同一评估集合，是比较公平性的根本保障。
4. 版本化 + DOI 归档：让"用哪版"可精确复述，是可复现性的底线。
5. 宽松许可降低摩擦：MIT 使基准能被无摩擦纳入下游流水线，扩大了影响力。
6. 正视真值局限：把底层实验的不确定性纳入设计，比假装无噪声更科学。
7. 持续维护：随社区新方法更新 baseline 池，避免基准过时——这是基础设施而非一次性论文。

附录 AX：ProteinGym 与"开放科学"的示范

ProteinGym 在开放科学实践上堪称典范：数据公开、代码开源（MIT）、预印本先行（bioRxiv）、版本归档（Zenodo DOI）、交互平台（官网榜单）、社区工具（ProteinGymPy）、跨机构协作、明示局限。这些共同构成一个完整的可复现研究闭环——从论文到数据到代码到复现到二次利用，每一环都有公开入口。对研究者的启示是：一个基准的影响力，与其降低他人使用门槛的程度成正比。ProteinGym 把门槛降到"一条 curl 命令"，这本身就是它被广泛采纳的重要原因。

附录 AY：结语——基准是领域的公共品

ProteinGym 的故事归根结底是一个关于"公共品"的故事。它由学术机构（Oxford/Harvard）用公共资金与研究劳动建成，以 MIT 免费开放，服务整个蛋白质机器学习社区。它不直接产生新药或新酶，但通过让"哪个方法真的好"变得可回答，它加速了所有下游工作的方向选择。这种"基础设施型"研究贡献，其价值往往在很长时间后才被充分认识。

对于使用千方病案医数集的读者，ProteinGym 的意义在于它示范了数据集条目可以达到的 AI-Ready 高度：数据齐全、许可干净、格式标准、评测统一、版本可溯、文档完备。它不是每个数据集都能达到的标杆，但它标定了标杆的位置——并在蛋白质适应度预测这一具体领域，把标杆变成了现实。当你在检索中遇到"这个基准到底公不公平、能不能商用、复现难不难"三个问题，ProteinGym 给出的答案分别是"公平（统一考卷）"、“能（MIT）”、“不难（一条命令）”。这就是它成为领域标配的全部理由。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• psbench — 共享标签：基因组学与多组学 / 蛋白质组学 / 评测基准 / 药物发现与化学
• plinder — 共享标签：基因组学与多组学 / 蛋白质组学 / 评测基准 / 药物发现与化学
• interpro — 共享标签：基因组学与多组学 / 变异与注释 / 蛋白质组学 / 评测基准
• cath — 共享标签：基因组学与多组学 / 变异与注释 / 蛋白质组学 / 评测基准
• ecod — 共享标签：基因组学与多组学 / 变异与注释 / 蛋白质组学 / 药物发现与化学
• emdb — 共享标签：基因组学与多组学 / 蛋白质组学 / 评测基准 / 药物发现与化学
• alphafold — 共享标签：基因组学与多组学 / 蛋白质组学 / 药物发现与化学
• alphafold — 共享标签：基因组学与多组学 / 蛋白质组学 / 药物发现与化学
• phosphositeplus — 共享标签：基因组学与多组学 / 变异与注释 / 蛋白质组学 / 药物发现与化学
• pdb — 共享标签：基因组学与多组学 / 蛋白质组学 / 药物发现与化学

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。