MotifBench — 基序支架蛋白质设计的标准化评测基准

INFOBOX — MotifBench 一屏速览

维度	内容
本质	面向基序支架（motif-scaffolding）的标准化计算评测基准（非数据集、非模型）
论文	arXiv:2502.12479（v1 2025-02-18 / v2 2025-02-19）；README 自称「whitepaper」，非 NeurIPS/ICLR 会议论文
团队	上海交通大学 生物信息学与生物统计学系 + 斯坦福大学统计系（通讯 Brian L. Trippe）；共 8 位作者，跨 SJTU/清华/牛津/UW/MIT/Microsoft/斯坦福
仓库	github.com/blt2114/MotifBench（含 test_cases.csv + motif_pdbs/ + Scaffold-Lab + example）
规模	30 个测试问题 × 100 个 scaffold/问题 = 3,000 个 backbone（评测规范输出）
分组	Group 1 单片段 10 个｜Group 2 双片段 10 个｜Group 3 多片段（≥3）10 个
输入	motif 主链坐标（N/Cα/C）+ 可选功能位点约束；scaffold 长度 75–225 残基；连续片段数 1–8
判据	motifRMSD ≤ 1.0 Å 且 self-consistency RMSD ≤ 2.0 Å（每骨架采 8 条 ProteinMPNN 序列，至少 1 条通过）
三指标	唯一解数量（Foldseek-Cluster）｜novelty（Foldseek-Search TM-score）｜成功率
评分	MotifBench Score，饱和公式 α=5，取值 0–100，广度优先于深度
基线	RFdiffusion 解决 16/30（Group 3 仅 2/10），Score 28.05
参考结构	仅 20/30 通过评测（10 个失败，多为柔性 loop 区）
排行榜	社区排行榜截至 2026-08：RFdiffusion3 43.52 居首，RFdiffusion 21.95
获取	GitHub clone（代码/用例）｜Zenodo（示例 scaffold + 评测输出，DOI 10.5281/zenodo.19690602）
许可	数据侧 CC BY 4.0（Zenodo 官方标注）｜代码侧未声明（LICENSE 缺失）

§0 导读：这个基准解决什么问题

MotifBench 要回答的是一个在计算蛋白质设计（computational protein design）领域长期悬而未决的评测标准问题，而不是提供一个更大的训练数据集。

所谓基序支架（motif-scaffolding），是这样一个任务：给定一小段称为基序（motif）的蛋白质局部结构——通常是决定生化功能的几个关键氨基酸在三维空间中的特定排布，例如酶活性位点或蛋白质-蛋白质结合界面——要求设计出能够包住这段基序、并把它的几何形状稳定维持住的完整蛋白质骨架（scaffold）。近年随着 RFdiffusion、Chroma 等生成式模型的兴起，方法本身进步很快，但整个领域缺乏统一的评测口径：不同论文各自使用不同的度量、不同的测试用例、不同的评测流程，结果无法横向比较，实验也无法被复现。论文把这局面称为「Wild West」（蛮荒西部）。

MotifBench 的应对是提供一个三件套：（1）一套精确定义的评测流程与指标；（2）一组 30 个具有挑战性的测试问题；（3）一个开源实现与社区排行榜（leaderboard）。它的核心主张是：评测不应只问「方法生成的骨架看起来像不像蛋白质」，而应追问「这些结构是否真的可折叠、并且真的保持了功能几何」。

§0 读法三则：

1. 基准 ≠ 数据集：MotifBench 预置的是 30 个 motif 输入与一份规格表，而不是 3,000 个现成的骨架文件。「3,000」是基准要求参赛方法输出的数量（每问题 100 个）。3,000 个 backbone 中真正被广泛复用的，是 RFdiffusion 基线的示例集（约 27.3 MB，存于 Zenodo）。
2. 这是一个「卡脖子」基准：它的价值不在于容易，而在于难。论文标题下的关键句是——测试用例「包括一些已知有解、但据我们所知当前最先进方法却找不到任何解的问题」。这意味着它被设计成一把能戳穿过度乐观的尺子。
3. 数字有坑：基准里最容易误传的两个数字是「参考结构失败 8 个」与「3,000 个预置骨架」。前者实为 10 个（论文 Table 4：通过 20/30），后者是输出规范。本条目正文会对每一处如实标注来源与口径。

§1 基准速览：十问十答

Q1：MotifBench 是什么？
一个标准化的、可复现的蛋白质设计评测基准，专攻基序支架任务。由论文（arXiv:2502.12479）、30 个测试问题集、开源实现（github.com/blt2114/MotifBench）与排行榜三者构成。

Q2：谁做的？
上海交通大学 生物信息学与生物统计学系（陈海峰组，Zhuoqi Zheng、Bo Zhang）牵头，斯坦福大学统计系 Brian L. Trippe 通讯。合作者横跨清华大学生命科学学院、牛津大学计算机科学系、华盛顿大学生化系、MIT 计算机科学系、Microsoft Research。

Q3：论文发在哪？
arXiv 预印本（2502.12479，cs.LG / q-bio.BM），v1 于 2025-02-18 提交、v2 于 2025-02-19。没有任何会议接收标注，GitHub README 自称「whitepaper」。常见误传「NeurIPS/ICLR 论文」不成立。

Q4：规模多大？
30 个测试问题，每问题要求方法输出 100 个 scaffold，合计 3,000 个 backbone。测试问题按 motif 的连续片段数分为三组，每组 10 个。

Q5：怎么判一个骨架算「成功」？
对每个骨架用 ProteinMPNN 采样 8 条氨基酸序列，用 ESMFold 预测每条序列结构；只要至少 1 条同时满足两个阈值即算成功：motif 保持在 1.0 Å RMSD 以内，且整个骨架自洽性（self-consistency）RMSD 低于 2.0 Å。

Q6：怎么打分？
三个指标——唯一解数量、novelty（新颖性）、成功率——合成一个 0–100 的 MotifBench Score（饱和公式，α=5）。分数刻意奖励「在更多 motif 上都能给出解」的广度，而非「在少数易题上刷大量解」的深度。

Q7：当前最强方法表现如何？
论文实测 RFdiffusion 在 30 题中仅解出 16 题，多片段组（Group 3）仅解出 2/10，MotifBench Score 28.05。截至 2026-08 的社区排行榜上，RFdiffusion3 以 43.52 居首。

Q8：能直接下载 3,000 个骨架吗？
不能。基准本身提供的是 30 个 motif 输入 PDB 与规格表；3,000 个骨架是你要自己生成的。作为示例，RFdiffusion 基线生成的一套 scaffold 及评测结果存放在 Zenodo（约 27.3 MB scaffold 集 + 更大的评测输出）。

Q9：许可怎么算？
数据侧（Zenodo scaffold/评测输出）为 CC BY 4.0，由 Zenodo 记录 Rights 字段官方标注。代码侧（GitHub 仓库）未声明明确软件许可（LICENSE 文件缺失，直链返回 404）。两口径须分开对待。

Q10：谁该用它？
研发基序支架方法的团队（评测与上榜）、做生成式蛋白质结构模型的实验室（找硬骨头）、以及任何需要在统一口径下比较方法的研究者。若你只是想要现成的蛋白结构数据做训练，它不是你要的东西——请转向 PDB、AlphaFold DB 等结构数据源。

§2 基准构成与规格

2.1 规模、来源与机构构成

MotifBench V1.0 的核心是一个测试问题集，其规模张成一张清晰的表：

维度	数值
测试问题数	30
每问题要求输出 scaffold 数	100
评测规范下 backbone 总量	30 × 100 = 3,000
scaffold 长度范围	75–225 残基
motif 残基数	5 至几十个残基
motif 连续片段数	1 至 8
每骨架序列采样数	8（ProteinMPNN，温度 0.1）

motif 的来源：全部 30 个测试问题的 motif 坐标均提取自 Protein Data Bank（PDB）中已存的实验结构，覆盖从酶活性位点、蛋白质-蛋白质结合界面，到与已知结构序列相似性很低的**「孤儿」蛋白（orphan protein）**。后者的意义在于：方法无法靠「背下 PDB 里常见的折叠模式」来蒙对，必须真正泛化。

机构构成：上海交通大学（通讯单位与第一作者所在）、清华大学、牛津大学、华盛顿大学、MIT、Microsoft Research、斯坦福大学。合作者名单本身就是「AI4Science 结构生物学」圈的一次集合——其中 Jason Yim 与 Joseph L. Watson 是 RFdiffusion 相关工作的重要作者，Kevin K. Yang 与 Kieran Didi 活跃于生成式蛋白模型方向。

2.2 输入规格：motif PDB 与 test_cases.csv

基准对「问题」的定义是双轨的：一份表格规格 + 一组可直接输入的 PDB 文件。

规格表 test_cases.csv：每一行定义一个测试问题，列含义如下：

列名	含义
pdb_id	提取 motif 的实验结构的 PDB 标识
motif_residues	构成 motif 的链 ID 与残基索引（不连续区段用分号分隔）
redesign_idcs	motif 片段内氨基酸类型不被约束、可在逆折叠中被「重新设计」的残基索引
length	每个 scaffold 所需的残基数
group	按 motif 连续片段数归组（1 / 2 / ≥3 分别对应 Group 1/2/3）

其中 redesign_idcs 列的设计意图值得留意：当某些位点的侧链原子并不参与蛋白质功能时，允许在固定骨架序列设计阶段为这些位置选择替代氨基酸类型，相当于适度放宽题目难度，让评测聚焦于真正关键的几何约束。

输入 PDB 文件 motif_pdbs/：命名形如 {problem_number}_{pdb_id}.pdb（例如 01_1LDB.pdb、30_7WRK.pdb），由脚本 scripts/download_and_format_motifs.py 读 CSV、从 rcsb.org 下载实验结构、解析出 motif 后程序化生成。其预处理规则为：

• 每个 motif 片段被标为独立链（A、B、C……）；
• 可重设计的残基，除 N、CA、C、O 外的所有原子被移除，残基类型置为 未知（UNK）；
• 不可重设计的残基保留侧链重原子；
• 文件头 REMARK 行携带元数据，包括：Reference PDB ID、Motif Segment Placement（motif 片段在参考结构中的放置指引，供需要指定放置的方法使用）、Length for Designed Scaffolds（要求的设计长度）。

论文对 Motif Segment Placement 给了一个具体判读样例：问题 27（4XOJ）该字段为 38;A;43;B;90;C;46，其含义是——4XOJ 有 223 个解析残基（编号 16 至 238），其中 38 表示片段 A（残基 55）之前有 38 个残基（16–54），43 表示残基 55 与 99 之间的残基数，依此类推，末尾 46 表示天然结构在 motif 之后还有 46 个额外残基。

2.3 输出规格：骨架目录与元数据

对参赛方法而言，输出必须严格符合约定，否则评测脚本无法读取：

目录结构：每个测试问题一个子目录，内含 100 个 scaffold PDB 与一个 scaffold_info.csv：

scaffolds/
├── 01_1LDB/
│   ├── scaffold_info.csv
│   ├── 01_1LDB_0.pdb
│   ├── 01_1LDB_1.pdb
│   ├── ......
│   └── 01_1LDB_99.pdb
├── 02_1ITU/
│   └── ...
└── 30_7WRK/
    └── ...

骨架 PDB 要求：

• 命名格式 {test_case}_{sample_number}.pdb，其中 {test_case} 是问题编号与 PDB ID 的拼接（如 01_1LDB），sample_number 从 0 到 99；
• 残基编号必须 1-indexed（从 1 开始，而非沿用源 PDB 的原始编号）；
• 内容为包含 motif 的完整单链骨架。

元数据文件 scaffold_info.csv，两列：

• sample_num：骨架编号，0–99；
• motif_placements：多片段 motif 在骨架中的排列顺序。例如对含 3 片段的 motif（motif PDB 中为链 A、B），字符串 12/B/15/A/29 表示整条骨架依次为：12 个残基的支架、motif 片段 B 的残基、15 个残基的支架、motif 片段 A 的残基、最后 29 个残基的支架。若骨架以 motif 片段开头（或结尾），字符串相应省略前导（或尾部）数字，如 B/15/A/29、12/B/15/A。

这套元数据的意义在于：评测时系统必须知道 motif 各段在生成骨架序列中的确切位置，才能把预测结构与输入 motif 做正确的原子对齐。放置方式可以由方法自由选择——匹配实验结构中的顺序与间距、用算法确定、或手工指定均可。

2.4 分组：按 motif 片段数切出的难度阶梯

30 个测试问题按 motif 包含的连续片段数被切成三组，每组 10 个：

组	片段构成	难度定位
Group 1	单片段 motif	相对基础：motif 在序列上连续，只需为它配一段合理的环绕支架
Group 2	双片段 motif	中等：两个互不连接的片段需要被精确地相对定位
Group 3	多片段 motif（3 个及以上，最多 8）	最具挑战：多个不连续的功能元件需同时被正确摆放，例如复杂酶活性位点

这个分组方式直接反映了基序支架任务的核心难点——motif 越是被打断成多个不连续片段，方法就越难把每一段都放到正确的位置上、同时保持整体可折叠。后续基线结果（§4）会显示，正是 Group 3 卡住了当前最先进的方法。

2.5 输入与输出规格对照速查

为便于检索者快速把握基准对「题目」与「答案」的双向约束，下表并列输入与输出的关键规格：

维度	输入（基准给定）	输出（方法提交）
数量	30 个测试问题	30 × 100 = 3,000 个骨架
主文件	test_cases.csv + motif_pdbs/{nn}_{pdb_id}.pdb	{test_case}_{sample}.pdb（sample 0–99）
坐标要求	motif 主链 N/Cα/C（+ 可选侧链重原子）	骨架主链 Cα（+ 可选 N/C/O）
残基编号	沿用源 PDB 解析编号	必须 1-indexed
附加元数据	motif PDB 头 REMARK（放置指引、长度）	scaffold_info.csv（sample_num、motif_placements）
长度约束	规格中固定（75–225 残基）	每问题内所有骨架等长
分组	Group 1/2/3（各 10 题）	按问题对应提交

这张对照表的实用价值在于：它把「哪些是基准给的、哪些是你要产出的」一次说清，可避免初学者最常见的两类混淆——误以为 3,000 个骨架是预置数据（见 §10 坑 1），或误用源 PDB 编号导致评测错位（见 §10 坑 5）。

2.6 编号与命名的历史沿革

一个容易被忽视的细节是基准的命名演化。仓库早期该规格文件名为 motif_specs，于 2024-12-15 更名为现名 test_cases（提交信息「renaming motif_specs to test_cases in scripts」）。这一改名不只是措辞调整——它把「规格（spec）」的定位明确为「测试用例（test case）」，与「基准（benchmark）」的属性更贴合。类似地，motif_pdbs/ 目录于 2024-12-09 更新了 motif cases。这些早期提交（2024 年 12 月）构成了基准测试用例定型的史前史，早于论文正式发布（2025-02）。检索者在阅读旧版脚本或旧教程时若遇到 motif_specs 字样，应知其为 test_cases 的前身。

2.7 与早期基准的关系

论文明确将自己的测试用例与更早的基序支架基准做了对照。最直接的比较对象是 Watson 等（RFdiffusion 相关）提出的 24 个单链测试用例：在那里，RFdiffusion 能解出 20 个；而在 MotifBench 上，RFdiffusion 在全部 30 题中只能解出 16 题。论文据此主张：MotifBench 的测试用例相较早期基准明显更难，其刻意纳入「已知有解、但当前最先进方法找不到任何解」的问题，以暴露方法的真实边界。

§3 评测流水线：如何量化一个设计

3.1 三阶段流程

MotifBench 的评测流程把「骨架设计」转化为可量化的判定，分三步串联：

1. 设计生成：方法为每个 motif 生成 100 个 scaffold（骨架，仅主链）；
2. 序列设计：对每个骨架，用 ProteinMPNN（固定骨架序列设计方法，采样温度 0.1）生成 8 条氨基酸序列；若方法未给出全部主链原子（N、CA、C、O），则改用 Cα-only ProteinMPNN；
3. 折叠验证：用 ESMFold 预测每条序列的三维结构。

之所以采用「8 条序列 + 至少 1 条通过」的口径，是因为骨架本身不携带序列信息，必须为它找到一条能折叠回该骨架的序列，才能证明这个骨架是「可设计的（designable）」。

关于「可设计性」的进一步说明：蛋白质设计领域的一个核心经验是——一个骨架「看起来合理」与它「真的能折叠」是两回事。生成式模型完全可能产出几何上自洽、却不存在任何氨基酸序列能稳定折叠成它的坐标（所谓「不可折叠的骨架」）。MotifBench 通过「采样序列 → 折叠 → 比对」的闭环，把这一隐含要求显式化为可计算的判据。这也是该基准相较早期「仅比对接构相似度」类评测的关键进步：它评测的是设计的下限可行性，而非仅仅外观相似性。

此外，序列设计环节使用固定骨架序列设计方法（ProteinMPNN），而非端到端生成序列，其用意是把「骨架生成能力」与「序列设计能力」解耦——基准要评测的是方法生成骨架的能力，序列设计只是验证骨架可设计性的工具，不应成为分数的干扰项。

3.2 双重成功判据

一个骨架被判定为成功，当且仅当它的 8 条序列中至少 1 条同时满足两条阈值：

判据	定义	阈值
Motif maintenance（基序保持）	输入 motif 与预测结构对应主链原子（N、Cα、C）之间的 RMSD，即 motifRMSD	≤ 1.0 Å
Scaffold validity（骨架有效性）	生成骨架与预测结构对应 Cα 原子之间的 RMSD，即 self-consistency RMSD（scRMSD）	≤ 2.0 Å

计算时先用 Kabsch 算法对齐，取所有可能对齐中的最小 RMSD。论文对阈值给出了直观理由：1 Å 要求的是原子级精度（氢原子半径约 1.2 Å），而 2 Å 则是较粗的主链重构精度——前者确保功能几何被忠实保持，后者确保设计确实是一条能折回来的链，而不是一堆看似合理、实则不可折叠的坐标。

3.3 三大指标

评测一个骨架集合（每题的 100 个）时，系统计算三个指标：

（1）唯一解数量（number of unique solutions）
用 Foldseek-Cluster 把「成功」的骨架聚类，簇数即为唯一解数。这一指标强调的是：一个好的基序支架方法应当提供多样的解，而不是 100 个几乎一样的骨架。论文亦如实记录了一个工程坑——Foldseek-Cluster 在某些骨架集上会在 prefilter 步骤抛出难以理解的错误，其应对是向集合中临时加入一个与任务无关的额外骨架、重跑聚类、再从结果中剔除该无关蛋白，以减少对唯一解数统计的影响。

（2）Novelty（新颖性）
量化「解与 PDB 中已有结构的距离」。对每个成功簇，用 Foldseek-Search 近似其对 PDB 中任一结构的最高 TM-score，计算簇内 (1 − TM-score) 的均值；所有簇的该均值再取平均即为 novelty。若无成功骨架则为 0。采用 Foldseek-search 而非更常用的 TMscore 计算，理由是前者速度更快。论文所用 Foldseek 版本为 8.ef4e960，使用默认设置。

（3）成功率（overall success rate）
成功骨架占该问题骨架总数的比例。

3.4 MotifBench Score：一个刻意「反堆料」的评分

三指标之上，MotifBench 定义了统一的评分：

MotifBench score = (1 / #test cases) · Σ_i  (100 + α) · U_i / (α + U_i) ,   α = 5

其中 U_i 是问题 i 的唯一解数量。该公式的取值区间为 0 至 100：无解得 0，每个问题的每一个骨架都是唯一解则得 100。

α = 5 的设计意图是饱和（saturation）——给「第一个解」赋予最高权重，随解数增加，增益递减。论文给出直观示例：解数为 1、5、50 时，MotifBench Score 分别为 17.5、52.5、95.5。

这一形式带来一个重要的取向声明：「为更多 motif 提供少量解」优于「为少数 motif 提供大量解」。论文举了一个反直觉的对照——方法 A 对每个用例各给 1 个解，得 17.5/100；方法 B 只解决 30 题中的 1 题、却对那一题给了 100 个解，其余 29 题为 0，仅得 3.33/100。若改用简单的平均唯一解数，A 为 1.0、B 为 3.33，排序会反过来。MotifBench 用饱和公式刻意避免了这种「钻一题」的刷分策略。

论文也坦诚该分数的局限：它不能涵盖方法的全部方面，不表示某方法在所有场景都更优——例如一个解更新颖、或二级结构构成不同的方法，仍可能更受使用者青睐。

§4 基线表现：RFdiffusion 撞上了什么

4.1 RFdiffusion 的成绩单

论文以 RFdiffusion 作为主要基线，实测结果如下：

指标	数值
30 题中解出（≥1 解）	16/30
Group 1（单片段）	7/10
Group 2（双片段）	7/10
Group 3（多片段）	2/10
MotifBench Score	28.05
平均唯一解数	8.83
唯一解 ≥5 的问题数	仅 7 个
平均 novelty	0.19
Score 标准差（多次评测）	±0.39
Score 标准差（多 scaffold 集）	±0.47

这组数字讲了一个清楚的故事：难度随 motif 片段数陡增。在单片段与双片段组，RFdiffusion 尚能解出 7/10；到了多片段组，直接塌到 2/10。MotifBench Score 28.05 表明，即便是当时最先进的方法，在这把尺子下也远未及格。

4.2 一个更耐人寻味的发现：参考结构也会失败

MotifBench 评测的可信度面临一个天然质疑：这个评测流程连「标准答案」都能判对吗？ 论文做了一项诚实的自查——把实验解析的**参考结构（ground truth）**也送进评测流程，结果是：

仅 20/30 个参考结构通过评测，10 个未通过。

失败的 10 个（论文 Table 4 标记 ✗）为：#3（2CGA）、#8（7AD5）、#12（4JHW）、#13（4JHW）、#18（7MQQ）、#19（7MQQ）、#20（7UWL）、#21（1B73）、#24（1QY3）、#30（7UWL）。

论文对这一现象的解释是：多数失败案例含有高比例的柔性 loop 区，提示评测流程（尤其是 ESMFold 的前向折叠）在精确重构柔性区域方面存在局限。但这不构成这些用例「不可能成功」的确凿证据——一个有力的反例是：#18、#19（7MQQ）虽是参考结构未通过，RFdiffusion 却找到了通过评测的解。

此外，还有 6 个用例是「参考结构通过、但 RFdiffusion 无解」，其中 2 个来自 15 年前的 de novo 设计蛋白（2RKX、3B5V）。

这一节的方法学意义：MotifBench 主动暴露了「前向折叠评测的固有噪声」——当 ESMFold 折不对某个结构时，一个本可成功的方法可能被误判为失败，反之亦然。这提醒所有使用者：评测分数应被解读为带误差的信号，而非绝对真理。

4.3 失败样本的结构学解剖

为什么参考结构会失败？论文指向一个共同的形态学特征：高比例的柔性 loop 区。这一解释可以从蛋白质结构的稳定性原理得到印证：

• 刚性元件易重构：α 螺旋与 β 折叠片具有规则的氢键网络，坐标稳定，任何主流结构预测方法都能较可靠地重建；
• 柔性区难重构：loop 区缺乏规则二级结构，在溶液中本身就有较大的构象涨落，实验解析的坐标仅代表晶格中的一个瞬时构象，而 ESMFold 从序列出发预测的往往是「平均」或「最可几」构象，两者可能显著偏离；
• motif 的组成放大了影响：MotifBench 的许多 motif 恰恰取自酶活性位点与结合界面，而这些功能位点大量依赖 loop 上关键残基的精确空间排布——这使它们正落在评测流程的薄弱区。

因此，10 个参考结构的失败，既有结构本身的柔性因素，也暴露了前向折叠方法在柔性区的系统性偏差。论文的克制之处在于：它并不据此宣称这些用例「不可解」，而是指出这属于评测工具的能力边界。

4.4 六个「参考通过但基线无解」的用例意味着什么

比「参考失败」更值得注意的是反方向的情形——参考结构通过评测、但 RFdiffusion 找不到任何解的 6 个用例。这 6 个用例是 MotifBench 难度的真正硬核所在：

• 它们证明了题目本身有解（参考结构就是存在性证明），因此不是「不可能完成的题」；
• 但它们同时证明当前最先进方法确实做不到，这是对「SOTA 已经很好」这一乐观判断的直接反驳；
• 其中 2 个来自 15 年前的 de novo 设计蛋白（2RKX、3B5V）——这一细节颇具讽刺意味：早年人工设计、经实验验证可行的结构，今天的自动化方法反而无法复现。它暗示，某些结构解可能需要超出当前生成式模型归纳偏置的设计思路。

4.5 基线的计算学画像

除分数外，论文还报告了基线的若干行为特征，构成一份「计算学画像」：

特征	数值/描述	含义
平均唯一解数	8.83（每题为 100 个骨架时）	即便成功的题，解的多样性也有限
唯一解 ≥5 的题数	仅 7 个	多数题目的高质量解稀缺
平均 novelty	0.19	解与 PDB 已有结构仍较接近，新颖性偏低
多测评标准差	±0.39	同一 scaffold 集重复评测的分数抖动
多 scaffold 集标准差	±0.47	重新生成的 scaffold 集之间的分数抖动

解读：±0.39 与 ±0.47 两个标准差数字，是理解「为什么榜单分数与论文分数会不一致」的关键（见 §5.3）。它们也提示使用者：在比较两个分数接近的方法时，应先确认差异是否超过评测噪声范围——相差 2-3 分的两个方法，其真实差距可能不显著。

§4A 判据设计的深度考量

4A.1 为什么是 1.0 Å 与 2.0 Å

两个阈值的选取并非随意，论文给出了物理直觉：

• 1.0 Å 对应 motif 保持：氢原子半径约 1.2 Å，1 Å 的量级意味着「原子级精度」——只有在此精度内，功能位点的氢键几何、静电微环境才能被忠实保持，基序的生化功能才谈得上被保留；
• 2.0 Å 对应骨架自洽：这是一个较粗的主链重构精度，它检验的命题较宽松——「是否存在一条序列，折叠后能基本回到你设计的形状」。这一条拦掉的是那些看起来合理、实则不可折叠的骨架。

两者是「功能保真」与「结构可实现」的双重门槛，缺一不可：只有前者会放过不可折叠的骨架，只有后者会放过功能几何被破坏的骨架。

4A.2 Kabsch 对齐与最小 RMSD

两个 RMSD 的计算都先用 Kabsch 算法做最优叠合，取所有可能对齐中的最小 RMSD。这一步的技术含义是：评测不关心骨架在全局空间中的旋转与平移，只关心相对几何——方法可以把 motif 造在任意空间位置，只要它内部的相对排布正确即可。这与基序支架任务的本质一致：功能取决于局部几何，而非分子在坐标系中的绝对摆位。

4A.3 为什么用 Foldseek 而非 TMscore

novelty 与唯一解的计算都基于 Foldseek。论文说明了两点取舍：

• 速度：Foldseek 的结构搜索与聚类速度远快于逐个计算 TMscore，这在需要处理 3,000 个骨架 × 多方法的规模下是决定性因素；
• 近似性：Foldseek-Search 给出的是对 PDB 中任一结构最高 TM-score 的近似，精度以速度换取。这一取舍保证了基准的可运行性，代价是 novelty 数值带有一定的近似误差。

4A.4 「至少一条序列通过」的生物合理性

「8 条序列、至少 1 条通过」的判据，对应一个真实的蛋白质工程直觉：一条序列折叠成功，就证明这个骨架是可设计的。它避免了对「所有序列都必须成功」的过度苛求——因为 ProteinMPNN 采样的序列质量本身有波动，要求全部通过会把评测从「骨架设计能力」扭曲为「序列设计的运气」。取「至少一条」是以最宽松的口径检验骨架的下限可设计性。

4A.5 判据的已知盲区

综合前述，MotifBench 的判据存在若干已披露的盲区，使用者应知悉：

1. 前向折叠噪声：ESMFold 在柔性区的偏差会同时造成假阴（好骨架被判失败）与假阳（勉强可折叠被判成功）；
2. 固定长度的约束：所有骨架长度在问题规格中固定，方法无法通过「让支架更长更容易折」来取巧——这既是优点（公平），也是局限（不支持自由长度设计）；
3. 单一折叠器：默认只用 ESMFold，未纳入 AlphaFold2 的交叉验证（列为未来方向），因此评测结论对 ESMFold 的行为有依赖；
4. 聚类工具的稳定性：Foldseek-Cluster 在某些集合上崩溃的已知问题，虽有权宜的绕行方案，但仍可能给唯一解数带来噪声。

方法论启示：任何一个「用 AI 模型评分 AI 模型」的评测范式，都会继承评分模型自身的能力边界。MotifBench 的价值，一部分正在于它主动测绘了这些边界，而不是假装它们不存在。

§4B 测试用例的选择标准：如何造出「有用」的难题

4B.1 三类来源，三种压力

论文明确列出测试用例的三类主要来源，它们各自施压于方法的不同弱点：

来源	例子/特征	施压对象
酶活性位点	天然与 de novo 酶的功能残基簇	多残基协同几何的精确保持
蛋白质-蛋白质结合界面	界面处的关键接触残基	界面构象的合理重构
孤儿蛋白（orphan protein）	与已知结构序列相似性低	泛化能力（反记忆）

孤儿蛋白是最具区分度的一类：一个方法若只是「记住了 PDB 里常见的折叠模式」，在面对孤儿蛋白时就会原形毕露。这类用例的设计意图，正是把「记忆」与「泛化」这两条路彻底分开。

4B.2 经典靶点的引入

除上述三类外，MotifBench 还纳入了经典靶点，例如 RSV F 蛋白（呼吸道合胞病毒融合蛋白）等广受关注的靶标。这类靶点的价值在于：它们有明确的生物学意义与既有研究积累，方法在这些题上的表现能直接与领域共识对话，而不仅是抽象的分数。

4B.3 「难」是经过校准的

MotifBench 的难度并非随机堆砌，而是分层校准：

• 按片段数分层：Group 1/2/3 形成从易到难的清晰梯度，每个方法都能找到自己的定位；
• 按已知可解性分层：纳入「已知有解但 SOTA 无解」的用例（§4.4），这些题是可控的难度标尺——它们确保基准始终向前沿施压；
• 按结构元件多样性分层：Group 1 的 motif 覆盖 loop、螺旋、折叠片等多种二级结构元件，避免方法在单一结构类型上过拟合。

4B.4 与「简单基准」的对比价值

一个容易忽略的事实是：基准的价值与其通过率成反比。一个大家都得 90 分的基准，对领域进步的指示意义极低；而一个榜首也只有 43.52 分的基准，则能清晰地标记出「还有多远的路要走」。MotifBench 选择后者——这需要设计者对领域现状有清醒的判断，也需要承受「太难没人玩」的风险。从排行榜的活跃度看（§5），这个风险被成功规避了。

§4C 评测的可复现性设计

4C.1 为什么「评测协议」比「评测代码」更重要

MotifBench 把评测的每一步（阈值、序列数、折叠器、聚类工具、评分公式）都写进论文与代码，这看似繁琐，实则是可复现性的前提。任何一步模糊，都会给「结果为何不同」留下争论空间。论文对 Foldseek 版本（8.ef4e960）、温度（0.1）、序列数（8）、聚类默认设置等细节的交代，正是这一考量的体现。

4C.2 随机性的显式化

评测流程中至少有四重随机来源：骨架生成的随机性、ProteinMPNN 序列采样的随机性、ESMFold 的数值行为、Foldseek 聚类的稳定性。论文没有掩盖这些，而是量化了它们的综合影响——±0.39（重复评测）与 ±0.47（不同骨架集）两个标准差，就是对随机性的显式刻画。把不确定性报告出来，而不是只报一个点估计，是成熟基准的标志。

4C.3 社区指南中的可复现性要求

论文 §5 的社区指南把可复现性写成了提交要求：

• 鼓励公开代码；若无代码，可共享设计的 backbone；
• 报告生成 backbone 的计算开销；
• 允许针对具体问题的定制（如 motif 放置、超参数），但须注明并解释，以保证他人能复现；
• 鼓励通过 GitHub issue 讨论，以便未来更新基准。

这套要求使 MotifBench 不只是一个静态基准，而是一个带着明确社区契约的活体项目。

4C.4 已知的可复现性缺口

诚实地说，MotifBench 仍有几处可复现性缺口：代码侧许可未声明（§6.2）、Foldseek-Cluster 已知的崩溃问题需权宜绕行、默认单一折叠器（ESMFold）使结论依赖该模型行为。这些缺口不是致命缺陷，但使用者应知悉——没有任何基准是完美可复现的，重要的是缺口被公开披露。

§5 排行榜：一个活跃演进的竞技场

5.1 榜单快照（截至 2026-08）

MotifBench 的生命力很大程度上体现在它的社区排行榜上。与许多发布即冻结的基准不同，这里持续有新方法打榜。按论文 README 实测快照（2026-08），榜单（按 MotifBench Score 降序）为：

方法	MotifBench Score	上榜时间	备注
RFdiffusion3	43.52 (± 1.35)	2026-08	当前最高；TUM / Stanford
Protpardelle-1c (cc91-large)	33.81	2026-04	Stanford
Genie3	31.14 (± 0.70)	2026-07	Columbia
La-Proteina	29.75 (± 0.51)	2026-07	—
ODesign-rigid	29.39	2025-11	—
Protpardelle-1c	27.83	2025-07	同系早期版本
Proteina	25.46	2025-11	—
ODesign-flex	25.01	2025-11	—
RFdiffusion	21.95	2025-02	论文原始基线（note：与论文正文 28.05 的差异见 §5.3）
RFdiffusionAA	20.99	2025-11	全原子变体
Genie2	20.83	2025-07	Columbia
FrameFlow	18.71 (± 0.42)	2026-07	—
GPDL	15.94	2025-08	清华 Bo Zhang
ESM3	11.38	2025-05	Stanford

读榜要点：

1. 分数在涨，但幅度有限。榜首 RFdiffusion3（43.52）相较原始 RFdiffusion 基线已大幅提升，但仍未突破 50/100——说明多片段基序支架这一核心难题依然远未解决。
2. 计算成本差异巨大。榜单要求各方法报告「每骨架生成耗时」：RFdiffusion3 约 12.2 秒、Genie3 约 10 秒、ODesign 系列约 5 秒，而 GPDL 需约 30 分钟、RFdiffusionAA 约 6.5 分钟。「分数」必须与「代价」一起读。
3. 方法谱系多元。榜单汇集了扩散模型（RFdiffusion/RFdiffusion3/FrameFlow）、自回归/语言模型式生成（Genie 系列、ESM3）、Protpardelle（Protpardelle-1c）、以及 ODesign 的刚体/柔性变体，构成一次跨范式的方法横评。

5.2 如何上榜

榜单是**请求制（by request）**的，方法开发者需在 GitHub 仓库提交 issue，并附上五项材料：

1. 由 ./scripts/collect_summaries.sh 生成的成功率摘要；
2. 一个永久下载链接（推荐 Zenodo 或 OSF），包含（a）提交的骨架集、（b）完整评测结果、（c）由 ./scripts/summarize_results.sh 生成的摘要结果；
3. 骨架生成方法的描述（可为 arXiv 论文链接、GitHub 仓库，或对既有方法的设置说明）；
4. 生成骨架所用的计算资源描述（如「约 50 GPU 小时，跨大学集群多种节点」）;
5. 联系人与邮箱，随结果一并公示。

维护方承诺尽力在一周内更新榜单页。这一流程把「可复现性」变成了上榜的硬门槛——没有永久链接与充分说明，结果就不进榜。

5.3 一个必须澄清的数字口径：21.95 vs 28.05

细心的读者会发现：论文正文说 RFdiffusion 的 MotifBench Score 是 28.05，而榜单上 RFdiffusion（2025-02 入榜）写的是 21.95。这是双口径，必须分开理解，而非取其一：

• 28.05 是论文 §3 报告的一次**示例运行（example run）**成绩；
• 21.95 是排行榜上正式收录的该条目分数。

造成差异的原因在于评测的多重随机性：论文本身即给出多次评测的标准差为 ±0.39、多 scaffold 集的标准差为 ±0.47；不同 scaffold 集（乃至不同批次采样）会带来分数波动，因此榜单与正文数值不必完全一致。同理，榜单上 Protpardelle-1c 的 27.83（2025-07）与其后续 cc91-large 变体的 33.81（2026-04）也是不同条目的分数。检索者若看到两个 RFdiffusion 分数，那不是错误，而是两个口径。

§5A 榜单演进的横向解读

5A.1 从 2025-02 到 2026-08：一年半的方法竞速

把榜单按时间排开，可以看到一条清晰的「方法进化带」：

• 2025 上半年（20 分档）：RFdiffusion（21.95）、Genie2（20.83）代表扩散与自回归两条早期路线；
• 2025 下半年（25-29 分档）：Protpardelle-1c（27.83）、Proteina（25.46）、ODesign 刚体/柔性变体（29.39/25.01）、RFdiffusionAA（20.99）密集上榜，方法开始分化；
• 2026 上半年（31-34 分档）：Protpardelle-1c cc91-large（33.81）把分数推过 30，Genie3 紧随；
• 2026 下半年（43 分档）：RFdiffusion3（43.52）出现明显跃升，成为当前分水岭。

这条曲线传递的信号是：基序支架的分数提升并非线性，而是呈阶梯状——每一次跃升都对应一个方法学突破（如更强的条件生成架构或更大的预训练）。

5A.2 分数背后的范式之争

榜单上不同方法代表了截然不同的技术范式，它们在同一口径下竞争，本身就构成了一个微型的方法学实验：

范式	代表方法	特点
结构扩散	RFdiffusion / RFdiffusion3 / FrameFlow	直接在三维坐标空间做去噪生成
自回归/语言模型	Genie2 / Genie3 / ESM3	以序列/结构 token 的生成建模
无条件先验 + 引导	Protpardelle-1c	先生成骨架再适配
刚性/柔性分解	ODesign-rigid / ODesign-flex	把 motif 放置拆成刚体与柔性两阶段
全原子	RFdiffusionAA	显式建模侧链

一个值得注意的现象：RFdiffusionAA（全原子，20.99）反而低于其主链版本 RFdiffusion 的榜单分（21.95）——这提示「更精细的表示」未必直接转化为「更高的基准分」，评测的瓶颈可能不在表示精度，而在多片段几何的组织能力。

5A.3 如何理性看待排名

榜单排名不应被当作绝对能力排序，原因有三：

1. 噪声带：±0.4 量级的标准差意味着相邻名次可能无统计显著差异（§4.5）；
2. 算力未归一：一个 30 分钟/骨架的方法与一个 5 秒/骨架的方法同台，分数相同的意义完全不同；
3. 未覆盖全部维度：MotifBench Score 不含新颖性以外的其他质量维度，一个分数略低但解更具生物学合理性的方法，可能在真实应用中更优。

因此，正确的读榜方式是：把分数当作「能力区间」的粗略指示，再结合方法描述、算力与评测局限综合判断。

§6 获取与许可：两个侧面的两把钥匙

6.1 三块资产、三种获取方式

MotifBench 的可用内容分成性质不同的几块，获取方式也随之不同：

资产	内容	获取方式
代码与测试用例	test_cases.csv、motif_pdbs/ 30 个 motif PDB、Scaffold-Lab/ 评测流水线、scripts/、example/、motif_bench.yml	git clone https://github.com/blt2114/MotifBench.git
示例 scaffold 与评测输出	RFdiffusion 基线生成的骨架集（约 27.3 MB）与完整评测结果	Zenodo（DOI 10.5281/zenodo.19690602 / 16718874 等）
基线生成代码	RFdiffusion 基线 scaffold 的生成脚本	github.com/blt2114/motif_scaffolding/benchmark/example

本地跑通评测的依赖栈（README 给出的流程）：

# 1. 克隆并建环境
git clone git@github.com:blt2114/MotifBench.git
cd MotifBench
conda env create -f motif_bench.yml
conda activate motif_bench

# 2. 安装评测核心 Scaffold-Lab
pip install -e Scaffold-Lab

# 3. novelty 评测需 Foldseek PDB 数据库
foldseek databases PDB pdb tmp   # 在指定目录内执行

评测结果汇总通过 ./scripts/summarize_results.sh config.txt 生成，输出按问题汇总（summary_by_problem.csv）与总体汇总（overall_summary.csv）两份文件。

6.2 License：数据侧 CC BY 4.0，代码侧未声明

这是本条目必须双口径分列的一个要点：

侧面	许可	依据
数据侧（Zenodo scaffold / 评测输出）	CC BY 4.0（Creative Commons Attribution 4.0 International）	Zenodo 记录 Rights 字段官方标注（v4 与 v3 页均显示 CC BY 4.0 图标与名称）
代码侧（GitHub 仓库）	未声明明确许可	仓库无 LICENSE 文件（直链返回 404），页面无 license 徽标；README 亦无许可段落

实操含义：Zenodo 上的数据可依 CC BY 4.0 再分发与再利用，条件是恰当署名创作者。但 GitHub 仓库里的代码没有明示许可，按默认著作权法，商业使用或再分发代码前应与作者确认（通讯邮箱 btrippe@stanford.edu）。切勿把数据侧的 CC BY 4.0 无差别地推广到代码侧。

6.3 版本链

Zenodo 示例数据经历了多轮版本迭代，构成一条清晰的版本链：

版本	DOI	日期	说明
v1	10.5281/zenodo.14684870	2025-01-18	首次发布
v2	10.5281/zenodo.14731790	2025-01-24	论文正文引用的版本
v3	10.5281/zenodo.16718874	2025-08	标题更新为「AlphaFold2 and ESMFold evaluation results…」
v4	10.5281/zenodo.19690602	2026-04-22	最新：evaluation.zip 1.2 GB + scaffolds.zip 27.3 MB

引用建议：优先引用 arXiv:2502.12479（论文）与目标版本的具体 DOI；若需复现论文表格，注意 v3 起已加入 AlphaFold2 评测结果，与论文发表时的 ESMFold-only 口径存在版本差异。

6.4 计算成本参考

论文给出总账：在单块 Nvidia A4000 GPU 上跑完整个基准约需 36 小时；单个问题（如问题 6，6E6R，75 残基 scaffold）仅需几分钟，适合快速调试。投稿方在提交榜单时被要求报告实际计算开销——这一做法把「算力透明度」纳入了基准文化。社区指南还指出：完整基准的设计 scaffold 结构约需 100 Mb 存储，可通过 Zenodo、OSF 等平台公开。

§7 生态与影响：一个基准如何牵引一个领域

7.1 方法学谱系：站在谁的肩膀上

MotifBench 的评测流水线并非从零搭建，而是大量复用既有开源工具，论文与 README 都明确致谢了这些底座：

• Scaffold-Lab：承载评测流水线的核心；
• ProteinMPNN：固定骨架序列设计；
• ESMFold：蛋白质结构预测（评分中的前向折叠）；
• Foldseek：结构聚类与新颖性评估；
• 论文正文另列出复用的开源项目 FrameDiff、RigidTransform3D（Kabsch 算法实现）、Openfold。

这种「组装式基准」的优点是能被社区快速审计与复现——每一步用的都是已有、被验证过的工具。

7.2 问题设计哲学：用「孤儿」与「难题」制造压力测试

MotifBench 真正的方法学贡献，在于它如何挑选测试问题。它刻意追求以下几类压力测试：

1. 多片段基序——把难度从「围着一小段结构造支架」升级到「同时摆正多个互不连接的功能元件」，这是当前方法最薄弱的环节；
2. 孤儿蛋白 motif——与已知结构序列相似性低，强迫方法泛化而非记忆；
3. 天然与 de novo 酶活性位点——贴近真实功能设计需求；
4. 已知有解、SOTA 却无解的问题——直接以「暴露前沿方法的边界」为目标。

这一设计哲学，使得 MotifBench 不只是一个「排行榜」，更是一份能力诊断清单：它能告诉你，一个方法在什么样的结构复杂性面前会失效。

7.3 对领域的牵引效应

自 2025-02 发布以来，MotifBench 排行榜的演进本身就是一幅「生成式蛋白设计方法竞速图」：从扩散模型（RFdiffusion）到全原子变体（RFdiffusionAA）、从自回归生成（Genie2/Genie3）到语言模型路线（ESM3）、从 Protpardelle 到 ODesign 的刚体/柔性分解——几乎所有主流范式都在这个统一口径下留下了分数。一个基准能吸引如此多方法主动打榜，本身就是它被领域接受的最强证据。

同时，MotifBench 也暴露了前向折叠评测的共性噪声（§4.2 中参考结构 10/30 失败），这促使领域更认真地对待「评测方法本身的可信度」——一个常被忽视、却至关重要的元问题。

7.4 与库内条目的关系

在千方病案医数集的 AI-Ready Wikipedia 中，MotifBench 的定位是评测基准，与库内已有的蛋白质域条目构成互补而非重叠：

• proteingym（rid=813）：蛋白质适应度/突变效应数据集——提供的是训练/分析用的实测数据，而 MotifBench 提供的是评测方法能力的问题集；
• alphafold（rid=573、40）：结构预测数据库——MotifBench 的评测流水线用 ESMFold 做折叠验证，二者在「结构预测」这一方法学环节相邻；
• pdb（rid=43）：Protein Data Bank——MotifBench 全部 motif 坐标提取自 PDB，novelty 亦以 PDB 为参照基准；
• pdbbind（rid=134）：蛋白-配体结合数据——与「结合界面类 motif」主题相关；
• human-protein-atlas（rid=404）：蛋白质域条目，弱相关备选。

上述对照关系与 rid 仅供检索者参考，正文内不写入 frontmatter relatedLink，真实互链 rid 由主会话入库后统一回填。

7.5 为什么「评测基准」是一种特殊的数据资产

在 AI-Ready Wikipedia 的条目谱系里，「评测基准」是一类需要单独理解的数据资产。它与常见数据集的关键差异有四点：

维度	常规数据集	评测基准（如 MotifBench）
核心产出	数据本身	评测协议 + 问题集 + 排行榜
使用方式	下载后用于训练/分析	下载后用于生成、评测与对比
价值来源	数据规模与标注质量	口径统一与难度设计
时间属性	相对静态	随排行榜持续演化

理解这一差异，能避免两类常见误用：一是把它当训练数据下载（会失望，因为它没有 3,000 个现成骨架）；二是把它当一次性论文成果引用（会错失它的动态价值——真正值得追踪的是那条持续上新的排行榜曲线）。

7.6 从 MotifBench 看 AI4Science 的评测转向

MotifBench 的出现，是 AI4Science 领域一个更大趋势的缩影：从「刷数据集榜单」转向「定义严谨的领域评测协议」。在蛋白质设计这类「生成 + 验证」双重困难的任务上，单纯的 MSE/准确率已无法刻画方法能力，领域需要的是：

• 多指标合成（成功率 + 唯一解 + 新颖性）；
• 物理/生物可验证的判据（可折叠性、功能几何保持）；
• 防刷分的评分结构（饱和度公式）；
• 透明的算力口径（每骨架耗时）。

MotifBench 在这四个维度上都给出了示范。对任何正在构建 AI4Science 基准的团队而言，它都是一份值得逐字研读的协议设计范本。

§8 工程实操：从零到上榜的完整路径

8.1 环境搭建的依赖陷阱

MotifBench 的评测流水线依赖一个较重的外部工具链，搭建时需留意几个易错点：

1. conda 环境较大：motif_bench.yml 包含 ProteinMPNN、ESMFold 等模型依赖，conda env create 可能耗时较久，README 亦提示「this step can take a while」；
2. Scaffold-Lab 需以开发模式安装：pip install -e Scaffold-Lab——必须是可编辑安装，评测脚本才能正确导入；
3. Foldseek 数据库需单独建：novelty 评测依赖本地 Foldseek PDB 数据库（foldseek databases PDB pdb tmp），若不建，novelty 相关指标无法计算；
4. config.txt 需指定 python 路径：仓库 config.txt 中有一行 python 路径配置，环境变化时需同步修改（仓库 2024-12-22 的提交即为此项修复）。

8.2 输出规范的三个「卡点」

即便方法本身正确，输出格式的任何疏忽都会导致全盘失败。三个最常见的卡点是：

• 残基编号：必须 1-indexed。若直接沿用源 PDB 编号（可能从 16、38 等任意数字开始），评测系统对齐时会错位；
• 目录与命名：必须严格为 {test_case}_{sample}.pdb，且置于以 {test_case} 命名的子目录中，配 scaffold_info.csv；
• motif_placements 语法：字符串必须正确描述各段排列，含多段时用 段间支架残基数/片段链/… 的形式，并以正确的省略规则处理首尾片段。

8.3 提交上榜的材料清单（复述与细化）

回看 §5.2，上榜所需的五项材料中，最容易准备不足的是第 2 项永久下载链接——它要求同时打包「提交的骨架集」「完整评测结果」「摘要结果」三样。建议的做法是：

1. 用 ./scripts/collect_summaries.sh 生成成功率摘要；
2. 用 ./scripts/summarize_results.sh config.txt 生成按问题汇总与总体汇总；
3. 将骨架集与两类结果一并上传 Zenodo/OSF，取得 DOI 作为永久链接；
4. 在 GitHub issue 中一并贴出方法描述、算力说明与联系方式。

8.4 自评时的分数预期管理

基于 §4 的基线数据，开发者在自评时可建立如下预期（以 RFdiffusion 为参照）：

你的方法表现	大致定位
解出 16/30、Score ≈ 22–28	达到论文基线水平
解出 20+/30、Score ≈ 30–35	接近 2025-2026 年前沿（Genie3/La-Proteina 区间）
解出 25+/30、Score > 43	超越当前榜首（RFdiffusion3 43.52）
Group 3 解出 > 2/10	在多片段难题上优于原始 RFdiffusion

注意：由于评测存在 ±0.4 量级的噪声（§4.5），分数接近时不应过度解读排名先后。

8.5 从零到上榜的检查清单

综合 §8.1–§8.4，一份可用于自查的实操清单：

1. [ ] 已 clone 仓库并成功 conda env create -f motif_bench.yml；
2. [ ] 已 pip install -e Scaffold-Lab；
3. [ ] 已构建 Foldseek PDB 数据库（novelty 所需）；
4. [ ] 按 test_cases.csv 生成 30 × 100 骨架，全部 1-indexed；
5. [ ] 目录结构与命名严格符合 {test_case}/{test_case}_{sample}.pdb；
6. [ ] 每问题配 scaffold_info.csv，motif_placements 语法正确；
7. [ ] 用 summarize_results.sh 生成按问题与总体汇总；
8. [ ] 将骨架集、完整评测结果、摘要结果上传 Zenodo/OSF 取得永久 DOI；
9. [ ] 在 GitHub 提交 issue 附五项材料（含算力说明与联系方式）；
10. [ ] 等待维护方更新榜单（承诺一周内）。

§8 方法学启示：三条可迁移的经验

8.1 「评测即协议」——标准化本身就是贡献

MotifBench 最有价值的产出，或许不是那 30 个测试问题，而是一套可被复用与审计的评测协议。在它之前，基序支架领域每个课题组各用各的度量、各选各的用例，论文之间根本无法横向比较。MotifBench 把「成功率如何算、唯一解如何数、新颖性如何量」全部固定下来，并配以可运行的脚本——这使任何新方法的成绩都变成可验证的公开事实。这一模式对任何快速扩张、却缺乏统一口径的 AI 子领域都具有借鉴意义。

8.2 评分函数是价值取向的编码

MotifBench Score 的饱和公式（α=5）是本节最值得琢磨的设计。它用一个数学形式，明确表达了「广度优先于深度」的价值判断：能解更多不同类型的 motif，比在单一易题上堆砌大量解更重要。论文用「方法 A 得 17.5、方法 B 得 3.33」的对照，令人信服地展示了——若不刻意设计，简单平均会让刷分策略占便宜。

可迁移经验：设计基准评分时，必须反问「这个公式会被什么样的策略钻空子」，并用公式结构而非事后规则去堵住它。

8.3 诚实的自我审计能提升基准可信度

MotifBench 主动把自己评测流程的软肋摆上台面——参考结构 10/30 失败、前向折叠对柔性 loop 区无能为力、Foldseek-Cluster 在某些集上崩溃。这种「自曝其短」看似削弱基准权威，实则是建立长期信任的关键：它提前告知使用者误差来源，避免了「为什么我的好方法分数低」的困惑，也把「改进评测流程」变成了社区可参与的公开议题。

8.4 算力透明度：分数必须与代价同读

榜单强制要求报告每骨架的生成耗时（从 ODesign 的约 5 秒到 GPDL 的约 30 分钟，跨度数百倍），这一细节改变了榜单的解读方式——一个 30 分但 5 秒的方法，与一个 30 分但 30 分钟的方法，其工程价值完全不同。把「效率」纳入评测的一等公民，是 MotifBench 区别于纯分数榜的成熟之处。

§9 与库内条目的关系

9.1 家族图谱

MotifBench 在库内属于「AI4Science 蛋白质设计」这一方法学家族，与以下条目形成互链网络：

库内条目	rid	关系类型	互链理由
proteingym	813	互补	蛋白适应度数据集 vs 设计评测基准：一个供训练/分析，一个供能力评测
alphafold	573	方法学相邻	结构预测是 MotifBench 评测流水线的关键环节（ESMFold 属同类）
alphafold	40	弱相关	同上（历史条目）
pdb	43	上游依赖	MotifBench 全部 motif 坐标源自 PDB，novelty 亦以 PDB 为参照
pdbbind	134	主题相邻	蛋白-配体结合数据，与结合界面类 motif 主题呼应
human-protein-atlas	404	弱相关	蛋白质域条目，跨域互链备选

9.2 检索路径建议

• 若你的目标是评测自己的基序支架方法 → 走 GitHub clone + Zenodo 示例数据路径（§6.1）；
• 若你的目标是找蛋白质结构训练数据 → MotifBench 不适合，请转向 pdb（rid=43）、alphafold（rid=573）；
• 若你的目标是理解蛋白质设计的评测方法论 → MotifBench（本条目）+ proteingym（rid=813）并列阅读，可对比「数据资源型」与「基准协议型」两类资产的差异；
• 若你在做生成式结构模型 → 关注 §5 排行榜的跨范式横评，定位自身方法坐标。

§10 避坑清单：八个已踩过的坑

坑 1：把「3,000 个骨架」当成可以下载的现成数据。
MotifBench 预置的是 30 个 motif 输入 PDB 与规格表；3,000 是基准要求方法输出的数量。仓库里没有 3,000 个现成骨架文件，只有 RFdiffusion 基线的示例集（约 27.3 MB）另存 Zenodo。正确理解：3,000 = 30 × 100，是评测规范的输出量。

坑 2：误信论文发表在 NeurIPS/ICLR。
arXiv:2502.12479 的 Comments 字段仅有「Associated content available at github.com/blt2114/MotifBench」，无任何会议接收标注；GitHub README 自称「whitepaper」。它是一个 arXiv 预印本，不是会议论文。引用时请以 arXiv 编号为准。

坑 3：把参考结构失败数记成 8 个。
论文 Table 4 显示参考结构通过 20/30，失败 10/30（#3/#8/#12/#13/#18/#19/#20/#21/#24/#30）。第三方概述中流传的「8 个失败」与原文不符，以 10 为准。

坑 4：把 CC BY 4.0 无差别套到代码上。
CC BY 4.0 是 Zenodo 上数据的许可。GitHub 仓库代码侧未声明许可（无 LICENSE 文件）。数据可自由署名再分发，代码再分发前须与作者确认。

坑 5：输出 PDB 的残基编号沿用源结构。
基准明确要求 scaffold PDB 1-indexed（残基从 1 开始），而非沿用源 PDB 的原始编号。搞错会导致评测脚本错位对齐、分数归零。

坑 6：忘记提供正确的 motif_placements 元数据。
每个问题目录下的 scaffold_info.csv 必须给出各骨架中 motif 片段的排列顺序（如 12/B/15/A/29）。缺失或格式错误，评测系统无法把预测结构与输入 motif 对齐，该问题的所有骨架都会被判失败。

坑 7：只报分数、不报算力。
榜单（以及良好的评测实践）要求同时报告每骨架生成耗时与计算资源。只看 MotifBench Score 会得出误导性结论——5 秒的 30 分与 30 分钟的 30 分，工程含义截然不同。

坑 8：把基准分数当成方法优劣的绝对定论。
论文自承：评测流程对柔性 loop 区重构存在局限（10/30 参考结构未通过），MotifBench Score 也不能涵盖方法的全部维度（新颖性、结构多样性等）。分数应被当作带误差的信号，配合 §6.4 的算力口径与 §4.2 的判据局限一起解读。

§11 总结

11.1 三句话总结

1. MotifBench 是一个面向基序支架任务的标准化评测基准：30 个来自 PDB 的挑战性测试问题、每问题 100 个骨架的输出规范、以 ProteinMPNN + ESMFold 双 RMSD 为核心判据的评测流水线，以及一个活跃的社区排行榜。
2. 它的核心价值在于难与统一：刻意纳入「已知有解、最先进方法却无解」的问题，用 MotifBench Score（α=5 饱和公式）奖励广度而非深度，让方法间的比较第一次变得可靠。
3. 使用时须守住三个口径：3,000 是输出量不是预置数据、论文是 arXiv 预印本不是会议论文、数据侧 CC BY 4.0 而代码侧无许可。

11.2 适合谁

• 研发基序支架/蛋白质生成方法的团队（评测与打榜）；
• 做生成式蛋白质结构模型的实验室（寻找压力测试与失败边界）；
• 关心 AI4Science 评测方法论的读者（学习「评测即协议」的范式）；
• 需要统一口径横评多种设计方法的综述作者。

11.3 不适合谁

• 想要现成蛋白质结构数据做训练的人（请转 PDB / AlphaFold DB）；
• 期待一个「简单易过」的入门基准的人（MotifBench 刻意做难）；
• 需要商业许可明确保障的团队（代码侧许可未声明，须先与作者沟通）。

11.4 30 秒决策卡

你的问题	答案
这是什么？	基序支架蛋白质设计的标准化评测基准
规模多大？	30 个测试问题 × 100 骨架 = 3,000 个 backbone（输出规范）
论文在哪？	arXiv:2502.12479（预印本，非会议论文）
代码在哪？	github.com/blt2114/MotifBench
数据在哪？	Zenodo，DOI 10.5281/zenodo.19690602 等
许可？	数据 CC BY 4.0；代码未声明
当前 SOTA？	RFdiffusion3，MotifBench Score 43.52（2026-08）
原始基线？	RFdiffusion 28.05（论文）/ 21.95（榜单），解出 16/30

FAQ（高频问答）

A. 基础认知

Q：MotifBench 是数据集还是基准？
基准（benchmark）。它定义「如何评测」与「评测什么」，而非提供大规模训练数据。

Q：motif 和 scaffold 分别是什么？
motif（基序）是决定功能的蛋白质局部结构，由几个关键氨基酸在三维空间中的特定排布构成；scaffold（支架）是包住 motif、维持其几何形状的完整蛋白质骨架。

Q：为什么需要这样一个基准？
因为此前领域缺乏统一评测口径，各论文度量不同、用例不同，结果无法比较、实验难以复现。

Q：论文发表在哪里？
arXiv:2502.12479，v1 于 2025-02-18 提交。无会议接收标注，属预印本/whitepaper。

Q：谁开发的？
上海交通大学（陈海峰组牵头）与斯坦福大学（Brian L. Trippe 通讯）等机构合作。

B. 数据与获取

Q：能在哪里下载？
代码与测试用例从 GitHub clone；示例 scaffold 与评测输出从 Zenodo 下载（DOI 10.5281/zenodo.19690602）。

Q：有现成的 3,000 个骨架可以下载吗？
没有。3,000 是方法应输出量；仓库只预置 30 个 motif 输入 PDB。

Q：数据有多大？
RFdiffusion 基线 scaffold 集约 27.3 MB；完整评测输出（v4）约 1.2 GB。

Q：许可是什么？
Zenodo 数据侧为 CC BY 4.0；GitHub 代码侧未声明许可。

Q：跑通评测需要什么？
conda 环境（motif_bench.yml）+ Scaffold-Lab（pip install -e）+ Foldseek PDB 数据库。

C. 评测与流程

Q：怎么算一个骨架「成功」？
8 条 ProteinMPNN 序列中至少 1 条，其 ESMFold 预测结构的 motifRMSD ≤ 1.0 Å 且自洽性 RMSD ≤ 2.0 Å。

Q：为什么要采 8 条序列？
骨架不含序列信息，需找到一条能折回该骨架的序列来证明它「可设计」。

Q：三个指标是什么？
唯一解数量（Foldseek-Cluster 簇数）、novelty（基于 Foldseek TM-score）、成功率。

Q：MotifBench Score 怎么算？
饱和公式 (1/N)·Σ (100+α)·U_i/(α+U_i)，α=5，取值 0–100，奖励广度。

Q：为什么参考结构也会失败？
评测流程（ESMFold 前向折叠）对柔性 loop 区重构有限；10/30 参考结构未通过，不代表这些题无解。

D. 基线与方法

Q：RFdiffusion 表现如何？
解出 16/30（Group 3 仅 2/10），MotifBench Score 28.05（论文示例）/ 21.95（榜单）。

Q：当前最强方法？
截至 2026-08，RFdiffusion3 以 43.52 居首，仍未破 50。

Q：Group 3 为什么这么难？
多片段 motif 要求同时摆正多个互不连接的功能元件，同时保持整体可折叠，是当前方法的共同短板。

Q：怎么上排行榜？
在 GitHub 提交 issue，附成功率摘要、永久下载链接、方法描述、算力说明与联系方式。

E. 库内与对比

Q：MotifBench 和 proteingym 什么关系？
互补。proteingym（rid=813）是蛋白适应度数据集，MotifBench 是设计方法评测基准。

Q：和 PDB 的关系？
PDB（rid=43）是 MotifBench 的上游：全部 motif 坐标源自 PDB，novelty 也以 PDB 为参照。

Q：库内有重复条目吗？
没有。DB 查重与 dedup_gate 均确认 motifbench 无同物条目。

Q：怎么理解「评测基准」这类条目？
它不提供数据，而提供「协议 + 问题集 + 排行榜」，价值在于统一口径与暴露方法边界。

F. 工程与复现

Q：环境搭建要多久？
conda 环境较大，conda env create -f motif_bench.yml 可能耗时较久；此外需 pip install -e Scaffold-Lab 与单独构建 Foldseek PDB 数据库。

Q：为什么 scaffold PDB 必须 1-indexed？
评测系统按 1-indexed 对齐预测结构与输入 motif；沿用源 PDB 原始编号会导致错位、该问题全部骨架判失败。

Q：scaffold_info.csv 里 motif_placements 写错会怎样？
评测系统无法定位 motif 各段位置，无法完成原子对齐，该问题所有骨架都会被判失败。

Q：怎么自评自己的方法？
按 §6.1 流程跑通后，用 summarize_results.sh 汇总，对照 §8.4 的分数预期表定位。

Q：怎么把自己的结果放上排行榜？
GitHub 提交 issue，附成功率摘要、永久下载链接（含骨架集+评测结果+摘要）、方法描述、算力说明、联系方式（§5.2、§8.3）。

Q：全套基准跑一次要多久？
单块 Nvidia A4000 GPU 约 36 小时；单题（如问题 6）仅几分钟，适合调试（§6.4）。

G. 疑难与边界

Q：为什么我的好方法分数偏低？
可能是评测噪声（±0.4）或前向折叠对柔性区的偏差；论文自承 10/30 参考结构亦未通过，说明评测本身有误差（§4.2）。

Q：MotifBench Score 会不会鼓励「钻一题」？
不会，反而刻意反制。饱和公式（α=5）使「广度型」方法（每题 1 解得 17.5）显著优于「深度型」（只解 1 题给 100 解得 3.33）（§3.4、附录 E）。

Q：支持自由长度的支架吗？
不支持。scaffold 长度在问题规格中固定（75–225 残基），free-length scaffolding 列为未来方向（§2.1、§4A.5）。

Q：只支持 ESMFold 吗？
默认折叠器为 ESMFold；AlphaFold2 支持列为未来方向，Zenodo v3 起已加入 AlphaFold2 评测结果作为补充（§6.3）。

Q：代码能商用吗？
代码侧许可未声明，商用前须与作者确认；数据侧为 CC BY 4.0（§6.2）。

Q：可以往基准里加新的 motif 吗？
可以。作者在 README 中公开征求新增测试问题与指标改进建议，可通过 GitHub issue 或邮件提交（§7.2）。

Q：3,000 个骨架每个都要人看吗？
不需要。评测完全自动化（ProteinMPNN → ESMFold → Foldseek），无需人工判读。

Q：为什么不用 TMscore 直接算 novelty？
Foldseek-Search 更快，适合 3,000 骨架 × 多方法的规模；代价是数值为近似（§4A.3）。

事实清单（硬事实）

1. MotifBench 是面向 motif-scaffolding（基序支架）的标准化蛋白质设计评测基准。
2. 论文为 arXiv:2502.12479，v1 于 2025-02-18 提交，v2 于 2025-02-19。
3. 论文无会议接收标注，属 arXiv 预印本 / whitepaper。
4. 作者共 8 位，通讯作者 Brian L. Trippe（Stanford，btrippe@stanford.edu）。
5. 牵头单位为上海交通大学 生物信息学与生物统计学系（Hai-Feng Chen 组）。
6. 合作机构含清华、牛津、华盛顿大学、MIT、Microsoft Research、斯坦福。
7. 基准含 30 个测试问题。
8. 每问题要求方法输出 100 个 scaffold。
9. 3,000（30×100）为评测规范的输出量，非预置数据文件。
10. 测试问题按 motif 连续片段数分三组，每组 10 个（Group 1 单片段 / Group 2 双片段 / Group 3 多片段）。
11. scaffold 长度范围 75–225 残基。
12. motif 残基数从 5 到几十个不等，连续片段数 1 至 8。
13. 每骨架用 ProteinMPNN 采样 8 条序列（温度 0.1）。
14. 折叠验证用 ESMFold。
15. 成功判据：motifRMSD ≤ 1.0 Å 且自洽性 RMSD ≤ 2.0 Å。
16. 三指标：唯一解数量、novelty、成功率。
17. 唯一解由 Foldseek-Cluster 聚类得出。
18. novelty 基于 Foldseek-Search 的最大 TM-score，簇内 (1−TM-score) 均值。
19. Foldseek 版本 8.ef4e960。
20. MotifBench Score 用饱和公式，α=5，取值 0–100。
21. 示例：解数 1/5/50 对应 Score 17.5/52.5/95.5。
22. 评分为广度优先设计，反制「钻一题」刷分。
23. RFdiffusion 基线解出 16/30（Group 1 7/10、Group 2 7/10、Group 3 2/10）。
24. RFdiffusion 论文示例 Score 为 28.05，榜单收录为 21.95。
25. 论文示例平均唯一解数 8.83，平均 novelty 0.19。
26. 参考结构中仅 20/30 通过评测，10 个失败（多为柔性 loop 区）。
27. 失败的参考结构为 #3/#8/#12/#13/#18/#19/#20/#21/#24/#30。
28. #18、#19（7MQQ）参考失败但 RFdiffusion 找到通过解。
29. 参考通过但 RFdiffusion 无解的用例有 6 个，含 de novo 蛋白 2RKX、3B5V。
30. 全基准在单块 Nvidia A4000 GPU 上约需 36 小时。
31. 榜单截至 2026-08 最高为 RFdiffusion3，Score 43.52。
32. 榜单原始基线条目 RFdiffusion 为 21.95。
33. 代码/用例获取：github.com/blt2114/MotifBench。
34. 数据获取：Zenodo，DOI 10.5281/zenodo.19690602（v4）等。
35. Zenodo 数据侧许可为 CC BY 4.0；GitHub 代码侧未声明许可。
36. 评测流水线复用 Scaffold-Lab / ProteinMPNN / ESMFold / Foldseek。
37. 输出 PDB 必须 1-indexed，命名 {test_case}_{sample}.pdb，sample 0–99。
38. 每个问题目录须含 scaffold_info.csv（列 sample_num、motif_placements）。
39. motif_placements 描述各段排列，如 12/B/15/A/29。
40. 论文数据可用性引用 Zenodo 14731790。
41. Zenodo v1/v2/v3/v4 的 DOI 分别为 14684870 / 14731790 / 16718874 / 19690602。
42. Zenodo v3 起标题含「AlphaFold2 and ESMFold evaluation results」。
43. Zenodo v4 evaluation.zip 约 1.2 GB，scaffolds.zip 约 27.3 MB。
44. Foldseek 版本为 8.ef4e960，采用默认设置。
45. Foldseek-Cluster 在某些集合的 prefilter 步骤会报错，需绕行。
46. 社区指南要求提交者报告算力；完整设计 scaffold 约需 100 Mb 存储。
47. 基线 scaffold 生成代码在 github.com/blt2114/motif_scaffolding/benchmark/example。
48. 论文致谢国家重点研发计划（2020YFA0907700、2023YFF1205102）与国家自然科学基金（21977068、32171242）。
49. 榜单要求报告每骨架生成耗时：从约 5 秒（ODesign）到约 30 分钟（GPDL）。
50. 论文列为未来方向：AlphaFold2 支持、free-length scaffolding、改善柔性功能区处理。

术语表

术语（中文）	英文 / 缩写	含义
基序	motif	决定蛋白质功能的局部结构，由若干关键氨基酸残基在三维空间中的特定排布构成
基序支架	motif-scaffolding	设计能包住 motif 并维持其几何形状的完整蛋白质骨架的任务
支架 / 骨架	scaffold / backbone	承载 motif 的完整蛋白质结构（本基准中为单链主链）
主链原子	backbone atoms	蛋白质主链的 N、Cα、C（及可选 O）原子
逆折叠	inverse folding	给定骨架结构设计氨基酸序列的过程（此处用 ProteinMPNN）
固定骨架序列设计	fixed-backbone sequence design	在骨架坐标固定的前提下生成序列
自洽性	self-consistency (scRMSD)	设计结构与预测结构之间的 RMSD，衡量骨架是否「可折叠」
基序保持	motif maintenance (motifRMSD)	预测结构中 motif 与输入的几何一致性
均方根偏差	RMSD	Root Mean Square Deviation，结构对齐后的原子坐标平均偏差
卡布施算法	Kabsch algorithm	求解两组点最优叠合旋转的算法
前向折叠	forward folding	用结构预测模型（ESMFold）从序列预测结构以验证设计
唯一解数量	unique solutions	成功骨架经聚类后的簇数
新颖性	novelty	解与 PDB 已有结构的距离度量（基于 TM-score）
TM-score	Template Modeling score	衡量两个蛋白质结构相似度的指标，0–1
Foldseek	Foldseek	快速蛋白质结构搜索/聚类工具
ProteinMPNN	ProteinMPNN	固定骨架序列设计神经网络
ESMFold	ESMFold	基于语言模型的蛋白质结构预测方法
孤儿蛋白	orphan protein	与已知结构序列相似性低、无可参照同源结构的蛋白
全原子	all-atom	考虑全部原子（含侧链）的表示/方法
扩散模型	diffusion model	一类生成模型，RFdiffusion 即基于此
饱和公式	saturation formula	随解数增加增益递减的评分形式（此处 α=5）
可设计性	designability	存在能折叠回该骨架的序列的性质
排行榜	leaderboard	社区方法成绩公示榜
白皮书	whitepaper	本基准论文的自称（arXiv 预印本）
评测基准	benchmark	定义统一评测协议与问题集的标准化工具
片段	segment	motif 中一段序列连续的残基集合
放置元数据	motif_placements	指明 motif 各段在骨架序列中位置的字段
重设计索引	redesign_idcs	允许重新选择氨基酸类型的位点索引
前向折叠噪声	forward-folding noise	前向折叠模型误差导致的评测不确定性
算力透明度	compute transparency	基准要求报告生成耗时与资源的文化
基序支架评分	MotifBench Score	本基准的合成评分，α=5 饱和公式，0–100
测试问题	test case	基准中的一个 motif 支架设计题目（本基准 30 个）
问题组	group	按 motif 片段数划分的难度组（1/2/3）
骨架集	scaffold set	一个方法对某问题输出的 100 个骨架
参考结构	reference structure	从 PDB 提取的实验解析结构，用作存在性证明
前向折叠评测	forward-folding evaluation	用结构预测模型验证设计的评测范式
白皮书预印本	whitepaper preprint	本基准论文的性质（arXiv，无会议接收）
社区指南	community guidelines	基准对提交者的可复现性、算力报告等要求
广度优先	breadth over depth	MotifBench Score 的价值取向
饱和评分	saturation scoring	随解数增加增益递减的评分形式
单片段基序	single-segment motif	序列连续的 motif（Group 1）
多片段基序	multi-segment motif	序列被打断成多段的 motif（Group 3）

附录

附录 A：条目信息速查卡

字段	值
条目名	MotifBench
slug	motifbench
类型	蛋白质设计评测基准
论文	arXiv:2502.12479（v1 2025-02-18 / v2 2025-02-19）
论文性质	arXiv 预印本 / whitepaper（非会议论文）
通讯作者	Brian L. Trippe（Stanford，btrippe@stanford.edu）
牵头机构	上海交通大学 生物信息学与生物统计学系
仓库	https://github.com/blt2114/MotifBench
数据 DOI	10.5281/zenodo.19690602（v4，最新）
规模	30 问题 × 100 骨架 = 3,000 backbone（输出规范）
判据	motifRMSD ≤ 1.0 Å 且 scRMSD ≤ 2.0 Å
四字定位	基序支架评测标准
许可	数据 CC BY 4.0；代码未声明

附录 B：DAIMS 评估全表

DAIMS（Data Asset Information Maturity Score）从五个维度评估数据资产的信息成熟度，满分 100：

维度	分值	本条目评分	评分依据
D — Data Documentation（文档完备度）	25	24	论文 + README + Zenodo 三重文档；test_cases.csv 列义、motif PDB 格式、输出规范、元数据格式均有明确说明；扣分点：代码侧许可未声明
A — Access（可获取性）	20	19	GitHub 公开 clone + Zenodo 公开直链（含 DOI）；扣分点：3,000 骨架非预置、需自行生成，示例集需从 Zenodo 下载
I — Interoperability（互操作性）	20	18	采用标准 PDB 格式与 CSV；复用 Scaffold-Lab 等成熟工具链，可与 RFdiffusion/ProteinMPNN/ESMFold/Foldseek 生态互通
M — Metadata（元数据质量）	20	19	提供逐问题规格（pdb_id/motif_residues/redesign_idcs/length/group）、motif PDB 头 REMARK、scaffold_info.csv 放置元数据；元数据层级清晰
S — Sustainability（可持续性）	15	14	arXiv + GitHub + Zenodo 多平台持久化，DOI 稳定；仓库 2026-08 仍在更新，排行榜持续维护；扣分点：代码许可缺失影响长期法律明确性
合计	100	94	高成熟度：文档、获取、互操作、元数据均完备，唯许可与预置数据两点留有改进空间

DAIMS 解读：MotifBench 作为评测基准，其成熟度得分 94 分，属于同类资产中的高水准。主要失分集中在「代码侧许可未声明」（影响 D 与 S）与「3,000 骨架非预置」（影响 A 的可直接获取性）——这两点恰好是本条目反复强调的双口径与避坑要点。检索者使用前应充分理解这两项局限。

附录 C：逐项证据链自证

关键事实	一手来源
30 个测试问题	论文 §2；GitHub README；test_cases.csv
每问题 100 骨架	论文 §1；README 目录示例 0–99
3,000 总量	30×100 推导；deepwiki 明述
三组各 10 个	论文 §2
长度 75–225 残基	论文 §2
8 条 ProteinMPNN 序列	论文 §1/§3
1.0 Å / 2.0 Å 判据	论文 §1（Figure 2b）
α=5 饱和公式	论文 §1（MotifBench score 公式）
RFdiffusion 16/30、Score 28.05	论文 §3
Group 3 仅 2/10	论文 §3
参考结构 20/30 通过	论文 §3 与 Table 4
10 个失败参考结构编号	论文 Table 4
榜单 RFdiffusion3 43.52	GitHub README 榜单表
Zenodo v4 DOI	Zenodo 记录页
CC BY 4.0（数据侧）	Zenodo Rights 字段
代码侧无许可	GitHub /blob/main/LICENSE 返回 404
论文非会议论文	arXiv abs 页 Comments 字段
36 小时 / A4000	论文数据可用性段

附录 D：数据获取决策树

你的目标是什么？
├─ 评测自己的基序支架方法
│   ├─ 1. git clone github.com/blt2114/MotifBench
│   ├─ 2. conda env create -f motif_bench.yml
│   ├─ 3. pip install -e Scaffold-Lab
│   ├─ 4. foldseek databases PDB pdb tmp（建 novelty 库）
│   ├─ 5. 按 test_cases.csv 生成 30×100 骨架，输出到规范目录
│   └─ 6. ./scripts/summarize_results.sh config.txt
├─ 想要 baseline 参考实现
│   └─ 从 Zenodo 下载 scaffolds.zip（约 27.3 MB）与 evaluation.zip
├─ 想要蛋白质结构训练数据
│   └─ 本基准不适合 → 转向 PDB / AlphaFold DB（库内 pdb rid=43、alphafold rid=573）
└─ 想了解评测方法论
    └─ 阅读本条目 §3、§8 与附录 B，对照 proteingym（rid=813）

附录 E：MotifBench Score 计算示例

以论文给出的对照为例，说明饱和公式的行为：

情景	每问题唯一解数	MotifBench Score	说明
方法 A：每题各 1 解	全部为 1	17.5	广度型：覆盖全部 30 题
方法 B：只解 1 题，给 100 解	1 题 100，其余 0	3.33	深度型：钻一题
假设每题 5 解	全部为 5	52.5	广度 + 中等深度
假设每题 50 解	全部为 50	95.5	接近满分

关键对照：若改用简单的平均唯一解数，方法 A 为 1.0、方法 B 为 3.33，排序反转。MotifBench Score 通过饱和形式确保「广度型」方法 A（17.5）显著优于「深度型」方法 B（3.33）。

附录 F：评测流程复现骨架

1. 准备输入
   - 从 motif_pdbs/ 读取 {problem}_{pdb_id}.pdb（motif 各段为独立链，UNK 为可重设计位点）
2. 生成骨架（你的方法）
   - 为每个问题生成 100 个单链 scaffold，含 motif
   - 输出 {test_case}_{sample}.pdb（1-indexed）+ scaffold_info.csv（motif_placements）
3. 序列设计
   - ProteinMPNN（温度 0.1）每骨架采样 8 条序列
   - 若未给全部主链原子 → Cα-only ProteinMPNN
4. 折叠验证
   - ESMFold 预测每条序列结构
5. 成功判定
   - ≥1 条满足 motifRMSD ≤ 1.0 Å 且 scRMSD ≤ 2.0 Å
6. 指标计算
   - 唯一解：Foldseek-Cluster 聚类
   - novelty：Foldseek-Search 最大 TM-score → 簇内 (1−TM) 均值 → 全簇平均
   - 合成 MotifBench Score

附录 G：与库内条目互链决策表

库内条目	rid	互链强度	建议互链位置
proteingym	813	强（同域互补）	正文 §7.4、§9
alphafold	573	中（方法学相邻）	正文 §7.4、§9
pdb	43	强（上游依赖）	正文 §7.4、§9
pdbbind	134	中（主题相邻）	正文 §9
human-protein-atlas	404	弱（跨域兜底）	正文 §9

说明：上表 rid 供检索者参考。按库内纪律（R018），正文 relatedLink 一律以占位符 https://www.qianfanghub.com/ai-ready-dataset/motifbench/1112 形式存在，真实互链 rid 由主会话在入库后统一回填。

附录 H：MotifBench 出现的常见误读与纠正

常见误读	事实	依据章节
「MotifBench 是 NeurIPS/ICLR 论文」	arXiv 预印本/whitepaper，无会议接收标注	§1 Q3、§10 坑 2
「可以下载 3,000 个骨架」	3,000 是方法输出量，非预置数据	§1 Q8、§10 坑 1
「参考结构失败 8 个」	实为 10/30 失败，20/30 通过	§4.2、§10 坑 3
「CC BY 4.0 覆盖代码」	CC BY 4.0 仅覆盖 Zenodo 数据；代码未声明许可	§6.2、§10 坑 4
「RFdiffusion 分数是 28.05，榜单写 21.95 是错的」	两个不同口径：论文示例运行 vs 榜单收录	§5.3
「Benchmark 越大越好」	MotifBench 刻意做小做难，价值在难度与统一口径	§0、§7.2
「分数高就等于方法好」	存在 ±0.4 噪声与判据盲区，须与算力同读	§4.5、§4A.5

附录 I：延伸阅读路径

1. 首要一手来源：arXiv:2502.12479（论文全文，含评测协议与 Table 4）。
2. 动手复现：github.com/blt2114/MotifBench（README + Scaffold-Lab + example）。
3. 基线数据：Zenodo DOI 10.5281/zenodo.19690602（最新示例集）。
4. 方法背景：
   • RFdiffusion 原始工作（本基准主要基线，作者名单含 Watson、Yim）；
   • ProteinMPNN（序列设计环节）；
   • ESMFold（折叠验证环节）；
   • Foldseek（聚类与新颖性评估）。
5. 库内对照：proteingym（rid=813）理解「数据资源型」资产，与本「协议型」资产对照；pdb（rid=43）理解 motif 的上游来源。

附录 J：术语中英对照速查（检索用）

MotifBench｜motif-scaffolding｜scaffold / backbone｜motif｜ProteinMPNN｜ESMFold｜Foldseek｜RFdiffusion｜AlphaFold2｜self-consistency｜motifRMSD｜scRMSD｜TM-score｜Kabsch｜leaderboard｜MotifBench Score｜test case｜unique solutions｜novelty｜success rate｜designability｜orphan protein｜inverse folding｜forward folding｜de novo design｜group 1/2/3｜community guidelines｜whitepaper｜benchmark protocol。

---

本条目依据一手来源（arXiv:2502.12479、github.com/blt2114/MotifBench、Zenodo DOI 10.5281/zenodo.19690602 等）编写。所有硬数字均经第三源互证；双口径冲突（会议归属、参考结构失败数、许可范围）已在正文与 FACTS.md 中逐条存照。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• guacamol-moses — 共享标签：分子生成 / 医学问答与基准 / 评测基准
• i2b2-n2c2-nlp — 共享标签：医学问答与基准 / 评测基准
• cblue — 共享标签：医学问答与基准 / 评测基准
• blurb — 共享标签：医学问答与基准 / 评测基准
• ehrshot — 共享标签：医学问答与基准 / 评测基准
• fitzpatrick-17k — 共享标签：医学问答与基准 / 评测基准
• pubchem-pcba — 共享标签：医学问答与基准 / 评测基准
• qt-database — 共享标签：医学问答与基准 / 评测基准
• isruc-sleep — 共享标签：医学问答与基准 / 评测基准
• serv-ct — 共享标签：医学问答与基准 / 评测基准

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。