信息速览
PSBench (psbench) — 蛋白复合物结构模型准确性估计的大规模基准
一句话定义：PSBench 是密苏里大学（University of Missouri - Columbia）团队发布的一套蛋白复合物结构模型准确性估计（EMA, Estimation of Model Accuracy）基准套件，收录 5 个数据集、逾 140 万个由 AlphaFold2-Multimer 与 AlphaFold3 生成的蛋白复合物结构模型，逐模型标注全局、局部、界面三层共 10 种质量分数，并提供图变换器基线方法 GATE，用于训练和评测"给别人的结构预测打分"的 AI 模型。
§0 导读：这个数据集解决什么问题
0.1 从"预测结构"到"评估结构"的范式转移
蛋白质复合物（protein complex）的三维结构决定其生物学功能，是功能分析、蛋白设计与药物发现的基础。AlphaFold 系列方法（AlphaFold2-Multimer、AlphaFold3）已经能够为大量复合物生成精度可观的结构模型，把"结构"从稀缺品变成了近似供过于求的产物——AlphaFold 蛋白结构数据库已收录数亿条预测结构。
但丰裕引入了新问题：一个预测出的结构模型看上去可能很合理，甚至"优雅"，然而界面结合处或柔性区的细微误差，足以让一个可行的药物靶点变成代价高昂的死胡同。AlphaFold 自带的内部置信度指标（pLDDT、预测对齐误差 PAE）虽然有用，但它们都是模型自生成的信号——从内部估计不确定性。真正需要的是独立的外部质量估计：给定一堆候选结构模型，哪些值得信、哪个最好？
这正是 EMA（模型准确性估计） 要解决的问题，也是 PSBench 的核心使命。PSBench 不做预测器，而是做评测层：它把社区积累的大批量结构模型与独立计算的真实质量分数配对，让研究者可以训练和测试"评估其他 AI 输出"的 AI 模型——用一句话概括就是"让 AI 给 AI 打分"。
0.2 为什么是"基准套件"而非"数据集"
PSBench 由五个组成部分构成（README 官方口径）：
- 数据集（datasets）：用于训练和评测 EMA 方法；
- 评测脚本（evaluate_QA.py）：在数据集上评估 EMA 方法的预测结果；
- 复现脚本：复现 PSBench 中各基线 EMA 方法的基准结果；
- 标注脚本：为新的基准数据集生成质量分数标签；
- 基线 EMA 方法：供用户与自己的方法横向对比。
这个"数据 + 工具 + 基线"的三位一体设计，使它区别于单一的数据集——它是一个可扩展的评测平台。
0.3 本条目覆盖什么
本条目系统性梳理 PSBench 的身份来源、论文时间线、数据构成与规模、10 种质量分数标注体系、评估指标与基线方法生态、许可与获取路径，并对照库内蛋白结构相关条目（PDB、AlphaFold、PDBbind、ProteinGym）给出检索与互链建议。所有硬数字均以 NeurIPS 2025 正式版论文、GitHub 官方 README 与 Harvard Dataverse 记录三源互证为准，口径冲突处逐条存照（见 §9）。
§1 数据集速览：十问十答
Q1：PSBench 是什么？
一套大规模蛋白复合物结构模型准确性估计（EMA）基准套件，含数据集、评测工具与基线方法。
Q2：谁做的？
密苏里大学哥伦比亚分校的 Pawan Neupane、Jian Liu、Jianlin Cheng（通讯）。
Q3：发在哪？
NeurIPS 2025 Datasets & Benchmarks Track（预印本 arXiv:2505.22674，2025-05-13）。
Q4：多大？
逾 140 万个蛋白复合物结构模型，覆盖 79 个 CASP15/CASP16 复合物靶标。
Q5：几个数据集？
5 个（CASP15_inhouse、CASP15_community、CASP16_inhouse、CASP16_community、Multimer_7_2024_8_2025），另含两个 TOP5 子集。
Q6：标注什么？
每个模型 10 种质量分数（全局/局部/界面三层），另有两个 inhouse 集的 6 种 AlphaFold 额外特征。
Q7：数据在哪下载？
Harvard Dataverse（DOI 10.7910/DVN/75SZ1U 主库、10.7910/DVN/8GI1DP 辅助库）——不是 HuggingFace。
Q8：代码许可？
MIT License（GitHub BioinfoMachineLearning/PSBench）。
Q9：怎么评估？
四个指标：Pearson 相关、Spearman 相关、top-1 ranking loss、AUROC。
Q10：有什么基线方法？
GATE/GATE-AFM（图变换器）、DProQA、VoroMQA-dark、VoroIF-GNN、GCPNet-EMA、PSS。
§2 数据构成与规格
2.1 规模：逾 140 万个结构模型
PSBench 的旗舰规模宣称是"over 1.4 million structural models"（NeurIPS 2025 正式版）。这一总量由五个数据集共同贡献，其中两个 in-house 数据集是体量主体：
| 数据集 | 模型数 | 生成方式 | 说明 |
|---|---|---|---|
| CASP15_inhouse_dataset | 7,885 | MULTICOM3（2022 CASP15） | 示例 target H1143 |
| CASP15_community_dataset | 未单列 | CASP15 社区提交 | 含各 Predictor 提交 |
| CASP16_inhouse_dataset | 1,009,050 | MULTICOM4（2024 CASP16） | 示例 target T1235o，体量主体 |
| CASP16_community_dataset | 未单列 | CASP16 社区提交 | 含各 Predictor 提交 |
| Multimer_7_2024_8_2025_dataset | 未单列 | 新 PDB 条目策划 | 2024-07 至 2025-08 存入 PDB |
仅 CASP16_inhouse_dataset 一个就贡献了逾 100 万个模型，这解释了为何 arXiv v1 说"over one million"——v1 成文时新增的 Multimer_7_2024_8_2025 数据集尚未纳入，四个数据集（两个 inhouse 逾 100 万 + 两个 community）合计刚好过百万。到 NeurIPS 正式版加入第五个数据集后，总量升至 1.4M+。
2.2 数据集结构：四目录标准布局
每个数据集按统一目录规范组织：
📁 <dataset_name>/
├── 📄 <dataset_name>_summary.tab # 数据集概览
├── 📁 Fasta/ # 复合物靶标的 FASTA 序列
├── 📁 Predicted_Models/ # PDB 格式的预测结构模型
├── 📁 Quality_Scores/ # 结构模型的质量分数标签
└── 📁 AlphaFold_Features/ # 仅 CASP15/16_inhouse 集
关键工程细节：两个 TOP5 子集（CASP15_inhouse_TOP5、CASP16_inhouse_TOP5）不含 Predicted_Models/ 目录，以最小化冗余——子集中的结构模型已存在于各自完整数据集的 Predicted_Models/ 中。这意味着使用者若下载 TOP5 子集训练 GATE，需另行获取完整数据集中的 PDB 文件。
2.3 数据来源：CASP 竞赛与新 PDB 条目
PSBench 的数据来源可归为三条支流：
- CASP15 in-house（2022）：MULTICOM3 在 CASP15 竞赛中生成的 7,885 个模型；
- CASP16 in-house（2024）：MULTICOM4 在 CASP16 竞赛中生成的 1,009,050 个模型；
- 社区提交 + 新 PDB 条目：CASP15/CASP16 社区 Predictor 提交的模型，以及为 2024-07 至 2025-08 新存入 PDB 的复合物条目专门策划的模型。
CASP（Critical Assessment of Protein Structure Prediction，蛋白质结构预测关键评估）是该领域长期运行的盲测金标准——参赛方法在真实结构公布前提交预测，评测方在结构揭晓后计算精度。PSBench 复用 CASP 的盲测框架，保证了质量分数标签的独立性与客观性。
2.4 靶标多样性：79 个复合物
PSBench 覆盖 79 个 CASP15/CASP16 复合物靶标（targets），横跨：
- 序列长度：从短肽到多结构域大蛋白；
- 复合物化学计量（stoichiometry）：同源二聚体、异源多聚体等；
- 功能类别（functional classes）：酶、受体、转运蛋白等；
- 建模难度：从易到难的全谱系。
这种多样性是 EMA 方法泛化能力的试金石。值得注意的是，作者在结论中自陈局限：当前仅含 79 个复合物，可能无法完全覆盖蛋白复合物的广度；计划纳入 2026 CASP17 靶标与新发布的 PDB 复合物结构，持续扩展。
2.5 AI-Ready 视角下的规格评价
从"AI 就绪"（AI-Ready）角度看，PSBench 的规格设计有几点突出优势：
- 标签完备：每模型 10 个质量分数，覆盖全局/局部/界面三层，可直接作为回归或多任务学习的监督信号；
- 格式标准：结构模型为 PDB 格式（结构生物学通用），序列为 FASTA（通用），标签为 tab/CSV（易解析）；
- 基线齐备：不仅给数据，还给基线方法与评测脚本，降低复现门槛；
- 可扩展：提供标注脚本，用户可用同一流水线为自己的数据打标签。
同时也有需注意的点：数据本体许可未确证（见 §6）、部分数据集规模未单列（见 §9 遗留疑点）、竞赛域差可能限制泛化。
§3 标注体系：10 种质量分数 + 6 种额外特征
3.1 三层质量分数框架
PSBench 的核心标注是每个结构模型的 10 种质量分数，按空间尺度分为三个层次。这种"全局/局部/界面"的三层设计，精准对应了蛋白复合物质量评估的三个关切点：整体形似度、残基级精细度、链间界面质量。
第一层：全局质量分数（Global Quality Scores）
| 分数 | 含义 |
|---|---|
tmscore（4 个变体） |
TM-score（Template Modeling score），衡量整体结构拓扑相似度，值域 0-1 |
rmsd |
均方根偏差（Root Mean Square Deviation），衡量原子坐标平均偏差 |
TM-score 是结构比对领域的黄金指标：相比 RMSD 对局部大偏差敏感、对结构长度敏感，TM-score 对全局折叠更鲁棒，取值 0-1，越接近 1 表示与真实结构越相似。README 评测脚本中出现的 tmscore 变体包括 tmscore_usalign、tmscore_usalign_aligned、tmscore_mmalign 等——不同变体对应不同的对齐工具（USalign、MMalign）与是否预对齐。
第二层：局部质量分数（Local Quality Scores）
| 分数 | 含义 |
|---|---|
lddt |
lDDT（local Distance Difference Test），局部距离差异检验，衡量残基级局部几何精度 |
lDDT 是残基级质量评估的主流指标，无需全局叠合即可评估局部环境的一致性，对柔性区分辨率友好。
第三层：界面质量分数（Interface Quality Scores）
| 分数 | 含义 |
|---|---|
ics |
界面接触分数（Interface Contact Score） |
ics_precision |
界面接触精度 |
ics_recall |
界面接触召回 |
ips |
界面斑块分数（Interface Patch Score） |
qs_global |
全局质量分数（界面语境） |
qs_best |
最优质量分数 |
dockq_wave |
DockQ-wave 分数，界面质量综合指标 |
界面层分数最为丰富（7 种），反映了 PSBench 的核心关切——链间界面恰恰是蛋白复合物预测最易出错、也最影响药物设计决策的区域。DockQ 是蛋白对接领域的标准界面质量指标，dockq_wave 是其一种变体。质量分数的精确定义见仓库中的 jsons/Quality_Scores_Definitions.json。
3.2 六种额外特征（仅 inhouse 集）
对于 CASP15_inhouse_dataset 与 CASP16_inhouse_dataset（及其 TOP5 子集），PSBench 额外提供 6 种特征：
| 特征 | 描述 |
|---|---|
model_type |
模型类型（AlphaFold2-multimer 或 AlphaFold3） |
afm_confidence_score |
AlphaFold2-multimer 置信度分数 |
af3_ranking_score |
AlphaFold3 排序分数 |
iptm |
界面预测 TM 分数（interface predicted TM-score） |
num_inter_pae |
链间预测对齐误差 <5 Å 的数量 |
mpDockQ / pDockQ |
预测的多聚体 DockQ 分数 |
这些特征的妙处在于：它们本身就是"免训练的基线"。README 明确指出，CASP15/16 inhouse 数据集内含 AlphaFold2-Multimer 的自估置信度分数，可作为与新 EMA 方法对比的基线。也就是说，一个研究者若想证明自己的 EMA 方法有效，最低门槛是先打败 AlphaFold 自带的置信度信号——这是一个自然且严苛的对比基准。
3.3 标签生成的技术栈
PSBench 提供脚本让用户为新数据集生成标签，所需输入为：预测的蛋白复合物结构（PDB）、真实结构（native）、FASTA 序列文件。核心工具链：
- OpenStructure：结构生物学综合工具库（docker 镜像
registry.scicore.unibas.ch/schwede/openstructure）； - USalign：张阳组（Zhang Lab）开发的结构比对工具，TM-score 的标准实现之一；
- Clustalw：多序列比对工具，用于序列层面的处理。
这套工具链的可复现性意义重大：它意味着 PSBench 的标注流水线不依赖任何私有工具，第三方研究组可以用完全相同的流程为自己的结构模型打标签，从而在统一口径下比较不同 EMA 方法——这正是"基准"一词的应有之义。
3.4 标注质量的独立性问题
一个关键的方法学要点：PSBench 的质量分数是独立计算的，而非模型自估的。真实质量分数通过将预测模型与真实结构（native）比对得出（OpenStructure + USalign），这一过程与生成模型的方法无关。因此，标签本身不携带生成方法的偏置——这是 EMA 方法能够学到"通用质量信号"而非"某种方法的指纹"的前提。
不过，仍有一个值得警惕的偏置来源：训练数据的模型类型分布。两个 inhouse 数据集（占总量绝大多数）的模型全部由 AlphaFold2-Multimer（MULTICOM3/MULTICOM4）或 AlphaFold3 生成。若 EMA 方法在训练中过拟合了 AF 系模型的误差模式，迁移到非 AF 方法生成的模型上可能性能下降。作者在 v1 结论中提及"泛化性"正是 PSBench 的核心卖点，但这一域差的实证评估留待后续研究。
§3.5 质量分数的生物学与工程含义细读
3.5.1 为什么界面分数最多
PSBench 把 10 个分数中的 7 个给了界面层，这个配比不是随意的，而是对蛋白复合物预测核心困难的精确回应。
单体蛋白预测的主要挑战在核心疏水区与二级结构的正确堆叠；而复合物预测新增的困难全部集中在链间界面：
- 界面的可塑性：界面残基常处于柔性区，构象在结合前后变化大，预测困难；
- 界面的精度要求高：药物设计关心的是结合口袋的化学互补性，界面差一个残基的旋转就可能让整个结合假说失效；
- 界面的评估本就复杂：一个模型可能两条链各自折叠正确（全局 TM-score 高），但相对取向错误（界面 DockQ 低）——全局分数对此不敏感。
因此界面层需要多个互补分数：ics 及其 precision/recall 三件套评估"接触点预测得对不对、全不全"；ips 评估界面斑块的完整性；dockq_wave 给出综合界面质量；qs_global/qs_best 则是界面语境下的全局度量。这种"多角度打分"的设计，正是为了捕捉单一分数无法表达的界面质量多维性。
3.5.2 DockQ 与 dockq_wave
DockQ 是 CAPRI（Critical Assessment of PRedicted Interactions）评估体系中的标准界面质量指标，它综合了三个归一化量（Fnat 接触比例、LRMSD 配体 RMSD、iRMSD 界面 RMSD），输出 0-1 的分数，通常以 0.23 / 0.49 / 0.80 为阈值划分 Incorrect / Acceptable / Medium / High 四档。
PSBench 采用的 dockq_wave 是 DockQ 的一个变体（"wave"可能指某种加权或平滑处理，具体定义见仓库的 Quality_Scores_Definitions.json）。对下游用户而言，关键认知是：dockq_wave 是衡量界面质量最贴近实际应用的分数之一——README 的官方复现命令中专门提供了一组按 dockq_wave 评估的实验，正说明其重要性。
3.5.3 质量分数的使用建议
下游用户在消费这 10 个分数时，建议按任务选分数：
- 整体模型排序：TM-score（全局）为主，DockQ（界面）为辅；
- 界面结合预测：DockQ、ics/ips 系列优先；
- 残基级精细优化：lDDT；
- 多任务学习：把 10 个分数作为多目标，利用之间的相关性做辅助监督；
- 注意分数间冗余：ics、ics_precision、ics_recall 高度相关，建模时需防多重共线性。
§4 评估指标与基线方法
4.1 四个评估指标
PSBench 的核心评测脚本 evaluate_QA.py 计算四个指标，衡量 EMA 方法预测的质量分数与真实质量分数的一致程度：
| 指标 | 类型 | 说明 |
|---|---|---|
| Pearson 相关 | 线性相关 | 衡量预测值与真实值的线性关系，对绝对数值敏感 |
| Spearman 相关 | 秩相关 | 衡量排序一致性，对单调非线性关系鲁棒 |
| top-1 ranking loss | 排序损失 | 衡量"选出最佳模型"的能力——这是模型选择的核心目标 |
| AUROC | 分类性能 | 曲线下面积，衡量区分高质量与低质量模型的判别力 |
这四个指标的设计覆盖了 EMA 的两类使用场景：
- 回归场景（Pearson/Spearman）：EMA 要准确预测质量分数的数值；
- 选择场景（top-1 ranking loss/AUROC）：EMA 要能挑出最好的模型或区分好坏。
其中 top-1 ranking loss 最贴近实际应用——在结构预测的真实工作流中，研究者从一堆候选模型中选一个提交或验证，能否选中最佳模型直接决定下游成败。
4.2 评测脚本的用法
evaluate_QA.py 的关键参数（README 官方说明）：
python scripts/evaluate_QA.py \
--input_dir <EMA 预测文件目录> \
--native_dir <真实质量分数目录，即数据集中的 Quality_Scores/> \
--true_score_field tmscore_usalign \ # 默认评测字段
--ema_method <要评估的 EMA 方法列名> # 可选
--outfile evaluation_results.csv # 可选
输入文件格式为 CSV，每行一个模型，列为各 EMA 方法的预测分数。例如（README 示例）：
model,PSS,DProQA,VoroIF-GNN-score,GCPNet-EMA,GATE-AFM,AFM-Confidence
deepmsa2_14_ranked_2.pdb,0.9545,0.02895,0.0,0.7772,0.5924,0.8255
afsample_v2_ranked_2.pdb,0.8874,0.0066,0.0,0.7705,0.5751,0.8153
若不给 --ema_method，脚本会评估文件内所有 EMA 方法的预测分数。--true_score_field 可按需切换为 tmscore_usalign_aligned、dockq_wave、tmscore_mmalign 等不同真实分数字段。
4.3 基线 EMA 方法谱系
PSBench 提供了 5 类公开基线 EMA 方法，覆盖单模型、多模型、界面聚焦等不同技术路线：
GATE（图变换器，PSBench 主推基线）
- 出处：Liu et al., 2025；GitHub:
BioinfoMachineLearning/gate - 原理：多模型 EMA 方法，在成对相似度图上运用图变换器（graph transformer），融合单模型与多模型特征预测 TM-score
- 变体 GATE-AFM：加入 AlphaFold2-Multimer 特征作为节点特征的增强版
- 地位：PSBench 用 CASP15 数据训练 GATE，并在 CASP16 盲测中验证（见 §5）
DProQA（单模型，界面聚焦）
- 出处：Chen et al., 2023；GitHub:
jianlin-cheng/DProQA - 原理：使用 Gated Graph Transformer 的单模型 EMA，通过 KNN 结构图针对界面质量（如 DockQ）预测
VoroMQA-dark / VoroIF-GNN-score / VoroIF-GNN-pCAD-score（界面聚焦）
- 出处：Olechnovič et al., 2023；GitHub:
kliment-olechnovic/ftdmp - 原理：基于 Voronoi 原子接触面积与图神经网络的界面 EMA
GCPNet-EMA（3D 图神经网络）
- 出处：Morehead et al., 2024；GitHub:
BioinfoMachineLearning/GCPNet-EMA - 原理：从原子点云预测 lDDT 与全局精度，可适配蛋白复合物结构
PSS（成对相似度分数，多模型共识）
- 出处：Roy et al., 2023；GitHub:
BioinfoMachineLearning/MULTICOM_qa - 原理：利用平均成对 TM-score（经 MMalign 计算）的多模型共识方法
4.4 基线谱系的技术分野
这 5 类基线可沿两个维度切开：
单模型 vs 多模型：DProQA、GCPNet-EMA、VoroMQA/VoroIF 是单模型方法（只看一个模型自身特征）；GATE、PSS 是多模型方法（利用同一靶标多个候选模型间的相对关系）。多模型方法的直觉是：一堆模型放在一起，"群内一致性"本身就携带质量信息——最好的模型往往与多数模型的共识更接近。
全局 vs 界面聚焦：GATE、GCPNet-EMA、PSS 偏全局；DProQA、VoroMQA/VoroIF 明确聚焦界面。这一分野对应 PSBench 三层标签的重点——界面层有 7 种分数，是评估难点所在。
§5 主结果：GATE 的 CASP16 盲测表现
5.1 盲测设计
PSBench 的旗舰验证实验是一个"自证循环"：
- 训练：在 CASP15 数据上训练 EMA 方法 GATE；
- 盲测：将 GATE 投入 CASP16（2024）社区盲测——即在真实结构公布前预测各提交模型的准确性；
- 验证：结构揭晓后，计算 GATE 预测与实际质量的一致性。
结果：GATE 在 CASP16 的 EMA 方法中名列前茅（ranked among the top-performing EMA methods）。这一结果的价值在于"盲"字——GATE 事前不知道答案，纯粹靠从 CASP15 学到的质量信号泛化到 CASP16 的新靶标。这有力地证明了 PSBench 所提供数据的跨届泛化价值。
5.2 官方复现实验
README 提供了三组官方复现命令：
（1）CASP16 in-house 模型的盲测结果（按 TM-score 评估）：
python scripts/evaluate_QA.py \
--input_dir ./Predictions/CASP16_inhouse_TOP5_dataset/ \
--native_dir $DATADIR/Quality_Scores/ \
--true_score_field tmscore_usalign_aligned
（2）同一批模型的 DockQ 评估：
python scripts/evaluate_QA.py \
--input_dir ./Predictions/CASP16_inhouse_TOP5_dataset/ \
--native_dir $DATADIR/Quality_Scores/ \
--true_score_field dockq_wave
（3）CASP16 社区 EMA 竞赛的盲测结果：
python scripts/evaluate_QA.py \
--input_dir ./Predictions/CASP16_community_dataset/ \
--native_dir $DATADIR/Quality_Scores/ \
--true_score_field tmscore_mmalign
注意三组实验分别用不同的真实分数字段（tmscore_usalign_aligned、dockq_wave、tmscore_mmalign），体现了 PSBench 支持多口径评估的灵活性。
5.3 Google Colab 教程
为降低使用门槛，PSBench 提供 Google Colab 教程（PSBench_tutorial.ipynb），功能包括：评测 EMA 方法、复现论文主结果表、生成对比性能图。这是"AI-Ready"理念的体现——研究者无需本地配置复杂环境即可上手，直接得到论文级的复现结果。
5.4 从 PSBench 到"Trust Layer"叙事
PSBench 的定位超越了纯技术基准，触及了 AI 驱动科学的信任基建议题。业界评论（如 Unite.AI 的报道）将其概括为：AI 在生物学经历了三个时代——第一代"解决预测"（AlphaFold），第二代"规模化获取"（AlphaFold DB），第三代"验证、基准与治理"（trust layer）。PSBench 正是第三代基础设施的代表，它回应的问题是：“当我们能用 AI 生成比实验室能验证的多得多的结构假设时，如何客观、准确地给这些假设分诊（triage）？”
作者自己的愿景更直白（ar5iv 结论节）：希望 PSBench 成为社区驱动资源，like ImageNet or MNIST——一个支撑整个研究领域的基础设施。考虑到 CASP 系统本身是该领域最权威的盲测机制，而 PSBench 把 CASP 数据整理为机器学习就绪的格式，这个愿景并非空谈。
5.5 一个"自评偏置"的辩证观察
PSBench 有一处值得辩证看待的设计：训练 GATE 用的是团队自有的 CASP15 数据，生成 in-house 模型的又是团队自有的 MULTICOM 方法。这种"自产自评"的闭环保存在潜在偏置——GATE 可能在 MULTICOM 生成的模型上表现格外好，因为这正是它训练的域。
但 PSBench 通过两个设计缓解了这一担忧：
- 引入社区提交模型：CASP15_community 与 CASP16_community 数据集包含其他团队的 Predictor 提交，打破了单一来源；
- 引入第三方基线：DProQA、VoroMQA、GCPNet-EMA、PSS 均来自其他团队，提供了独立参照。
因此，虽然"自评偏置"是使用者应当意识到的风险，但 PSBench 的数据设计已在结构上做出了对冲。真正的独立验证，是 GATE 在 CASP16 盲测中的成绩——那里 GATE 面对的是全社区的提交模型，而非自家产物。
§5.5 与同类基准的横向定位
5.5.1 EMA 基准的历史脉络
在 PSBench 之前，EMA 研究长期受困于数据匮乏。早期的质量评估方法（如 VoroMQA、ProQ 系列）往往只在数十到数百个模型上训练验证，规模小、多样性差、易过拟合。PSBench 把规模提升到百万量级，是这一领域从"小样本方法学探索"迈向"大规模数据驱动"的标志性事件。
5.5.2 PSBench 的差异化优势
相对同类资源，PSBench 的三个差异点：
| 维度 | 传统 EMA 数据集 | PSBench |
|---|---|---|
| 规模 | 数十至数千模型 | 逾 140 万模型 |
| 来源 | 单一方法 | MULTICOM + 社区 + PDB |
| 标注 | 单一分数（多为 TM-score） | 三层 10 种分数 |
| 工具 | 仅数据 | 数据+脚本+基线+Colab |
| 验证 | 交叉验证 | CASP16 社区盲测 |
第三列的组合是 PSBench 的核心竞争力，尤其是"盲测验证"这一项——它把数据集的可信度锚定在了该领域最严格的评测机制上。
5.5.3 与 AlphaFold DB 的定位差异
AlphaFold 蛋白结构数据库（AlphaFold DB）收录的是单个方法的输出（AF 预测的结构），规模更大（数亿），但它没有"质量分数标签"，也没有"评估其他方法"的定位。PSBench 规模较小但带独立标签，服务于不同的目的：AF DB 是"结构仓库"，PSBench 是"质量评估训练场"。二者不是替代关系，而是互补——PSBench 的模型可以理解为"在小规模上做精细标注的、用于训练质检员的教学样本"。
§6 获取与许可：代码 MIT，数据在 Harvard Dataverse
6.1 双轨获取路径
PSBench 的资产分为代码与数据两类，获取路径与许可彼此独立：
| 资产 | 托管平台 | 链接/标识 | 许可 |
|---|---|---|---|
| 代码与脚本 | GitHub | github.com/BioinfoMachineLearning/PSBench | MIT License |
| 数据集（主库） | Harvard Dataverse | DOI 10.7910/DVN/75SZ1U | Dataverse 页面声明（待核） |
| 数据集（辅助） | Harvard Dataverse | DOI 10.7910/DVN/8GI1DP | Dataverse 页面声明（待核） |
| 论文 | arXiv / NeurIPS | arXiv:2505.22674；NeurIPS 2025 正式版 | 依会议/arXiv 惯例 |
特别提示（检索者必读）：候选情报与侦察笔记一度标注 PSBench 数据"GitHub/HF 托管"，经一手核验证伪——数据实际托管于 Harvard Dataverse，不存在 HuggingFace 数据集。GitHub 仓库只托管代码、脚本、示例与文档。检索数据请走上述两个 Dataverse DOI。
6.2 Harvard Dataverse 的两个 DOI 的分工
README 明确列出两个 Dataverse 库，分工不同：
- 主库 DOI 10.7910/DVN/75SZ1U：PSBench 五大数据集（CASP15_inhouse、CASP15_community、CASP16_inhouse、CASP16_community、Multimer_7_2024_8_2025）及两个 TOP5 子集；
- 辅助库 DOI 10.7910/DVN/8GI1DP：README 表述为"集成了四个数据集，含 CASP15/16 竞赛中单体蛋白（monomeric protein）靶标的社区与 in-house 结构模型"。
注意辅助库描述中的"单体蛋白（monomeric）"表述——这与 PSBench 主体聚焦"复合物（complex）"形成对比，说明辅助库可能是单体蛋白靶标的相关数据，使用时需注意区分。
6.3 环境配置
官方推荐在 Linux 系统上运行，环境搭建步骤（README）：
git clone https://github.com/BioinfoMachineLearning/PSBench.git
cd PSBench/
conda create -n PSBench python=3.10.12
conda activate PSBench
pip install -r scripts/requirements.txt
# 安装并测试 OpenStructure
docker pull registry.scicore.unibas.ch/schwede/openstructure:latest
docker run -it registry.scicore.unibas.ch/schwede/openstructure:latest --version
依赖链的要点：Python 3.10.12、OpenStructure（docker 镜像）、USalign、Clustalw。这套工具栈中 OpenStructure 和 USalign 是结构比对的核心，Clustalw 处理序列。
6.4 许可条款的边界（重要存照）
代码是 MIT，这是宽松许可，允许商用、修改、再分发，只要求保留版权声明。
数据许可在抓取页面未确证——GitHub README 只声明代码的 MIT 许可，并给出 Dataverse DOI 链接；Dataverse 数据集页面本身在抓取时未能渲染出确切的 license 字段（常见选项有 CC0-1.0 公共领域、或自定义条款）。因此本条目采取审慎表述：
代码：MIT License；数据：Harvard Dataverse 公开（具体条款以 DOI 页实际声明为准）。
不臆断数据为 CC0 或 MIT——这是两个不同对象，混为一谈可能误导使用者。检索者在下游使用（尤其商业用途）前，务必核对 Dataverse DOI 页显示的许可条款。
6.5 与库内条目的可获取性对照
将 PSBench 置于库内"可获取性光谱"中，它属于最开放的一档：
- 完全公开、无需申请：数据在 Dataverse 直接下载，代码在 GitHub 直接 clone，无 gated 机制、无请求制；
- 对比库内：PANDA-PLUS 的注释掩码是"请求制（upon qualified request）"，deeplesion 等需注册；PSBench 的开放性显著更高；
- 唯一不确定项是数据 license 的具体条款，但这不影响数据的公开可得性。
对于追求"开箱即用"的 AI 研究者，PSBench 的门槛极低——下载数据、clone 代码、跑 Colab 教程即可复现论文结果。
§7 论文、团队与生态
7.1 团队与学术谱系
| 角色 | 姓名 | 机构 | 邮箱 |
|---|---|---|---|
| 第一作者（等贡献） | Pawan Neupane | University of Missouri - Columbia | pngkg@missouri.edu |
| 第一作者（等贡献） | Jian Liu | University of Missouri - Columbia | jl4mc@missouri.edu |
| 通讯作者 | Jianlin Cheng | University of Missouri - Columbia | chengji@missouri.edu |
通讯作者 Jianlin “Jack” Cheng 是密苏里大学计算机科学系 / 生物信息学的 Curators’ Distinguished Professor，蛋白结构预测领域的资深研究者。其团队的 MULTICOM 系列方法（MULTICOM3、MULTICOM4）正是 PSBench 中 in-house 数据集的生成者——这构成一个自洽的闭环：团队用自己的预测方法（MULTICOM）生成了大量结构模型，再建立基准评估这些模型的质量。
Cheng 组的学术谱系可追溯到 CASP14 起的深度学习结构预测工作（Jian Liu 等人在 CASP14/15 系列有大量论文），并延伸至界面预测（Guo et al. 2022, Nature Communications 的链间距离图预测）、多聚体建模等方向。PSBench 是这条研究线的自然延伸——从"做得更好"到"评得更准"。
7.2 论文时间线（双口径存照）
| 时点 | 事件 |
|---|---|
| 2025-05-13 | arXiv:2505.22674v1 预印本发布（标注 Preprint / Under review） |
| 2025 | 被 NeurIPS 2025 Datasets & Benchmarks Track 接收 |
| 2025-12-02 | NeurIPS 2025 会议报告（slideslive.com/39050791） |
| 2025-12(?) | NeurIPS 正式版 PDF 上线 papers.neurips.cc |
核心口径漂移（务必存照）：arXiv v1 摘要写"four large-scale datasets / over one million structural models"；NeurIPS 2025 正式版摘要改写为"five large-scale datasets / over 1.4 million structural models"。差异来源是正式版新增了第五个数据集（Multimer_7_2024_8_2025，PDB 新条目集）。
引用建议：学术引用应以 NeurIPS 2025 正式版为准（5 数据集 / 1.4M），因为它是最新且经过同行评审的版本。引用 arXiv v1 时须注意其数字已过时。
README 官方 BibTeX：
@inproceedings{neupane2025psbench,
title = {PSBench: a Large-Scale Benchmark for Estimating the Accuracy of Protein Complex Structural Models},
author = {Neupane, Pawan and Liu, Jian and Cheng, Jianlin},
booktitle = {The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS)},
year = {2025}
}
7.3 上游依赖生态
PSBench 建立在多个开源项目之上（README 致谢节列出）：
- AlphaFold2（google-deepmind/alphafold）：生成 in-house 模型的方法基础；
- AlphaFold3（google-deepmind/alphafold3）：生成 CASP16 与 PDB 新条目模型；
- USAlign（zhanggroup.org/US-align/）：张阳组结构比对工具，TM-score 计算；
- OpenStructure（git.scicore.unibas.ch/schwede/openstructure）：结构生物学工具库；
- CASP15 / CASP16（predictioncenter.org）：数据来源社区。
这一依赖图说明 PSBench 是一个聚合型基础设施——它不自造轮子，而是站在 AlphaFold 预测能力与 CASP 评测框架两个巨人肩上，把现成的组件组装成机器学习就绪的基准。
7.4 与前作的关系
PSBench 中 in-house 数据集的生成方法（MULTICOM3/MULTICOM4）本身就是 Cheng 组的重要成果，曾在 CASP15/CASP16 中表现优异。因此 PSBench 可视为 MULTICOM 研究线的"评测侧产物"：MULTICOM 负责生成模型（进攻），PSBench 负责评估模型（防守），二者互为表里。这种"自有预测器 + 自有基准"的配置，在 EMA 研究中既带来便利（数据现成），也需警惕潜在的自评偏置——尽管 PSBench 通过引入社区提交模型与第三方基线方法（DProQA、VoroMQA 等）部分缓解了这一点。
§8 方法学启示：三条可迁移的经验
8.1 "竞赛数据 + 机器学习就绪化"是可复制的模式
PSBench 最核心的方法学贡献，不是发明了新的质量指标，而是把 CASP 竞赛的历史数据整理成了机器学习可直接消费的格式。CASP 运行数十年，积累了大量盲测模型与真实结构，但这些数据散落在竞赛网站上，格式不统一、标签未计算。PSBench 的价值在于：
- 统一目录结构（summary.tab + Fasta + Predicted_Models + Quality_Scores）；
- 预计算 10 种质量分数标签；
- 提供评测脚本与基线，形成闭环。
这一模式可迁移到其他"有历史数据但未机器学习化"的领域：只要存在一个权威的评测社区（如 CASP、ImageNet 挑战赛、各类临床竞赛），其历史数据就蕴含着可被整理为基准的宝藏。
8.2 三层标签设计：从"单一分数"到"质量画像"
传统结构评估常只给一个分数（如 GDT-TS 或 TM-score）。PSBench 的全局/局部/界面三层共 10 种分数提供了更丰富的"质量画像"。这一设计的启示是：
- 不同下游任务关心不同层次：药物设计关心界面（DockQ），折叠分类关心全局（TM-score），突变影响关心局部（lDDT）；
- 多任务学习可利用层间相关性：全局与界面分数并非独立，联合学习可能优于单目标；
- 避免单一分数的误导：一个模型可能全局形似度很高但在界面处严重错误——只看 TM-score 会误判。
8.3 基线方法本身就是"最难打败的对手"
PSBench 把 AlphaFold 自估置信度列为基线之一，这是一个高明的设计。它设定了一个"不用训练就能达到"的下限：任何新 EMA 方法若连 AF 自带置信度都打不过，就缺乏实际价值。这种"把最省力的强基线摆上台面"的做法，使基准更具判别力，也避免了 EMA 研究陷入"自造的弱基线对比"的陷阱。
对基准设计者的普适教训：把最容易获得的强基线（如模型内置置信度、简单启发式）明确纳入对比，是提升基准公信力的关键一步。
8.4 数据集与评测分离：可扩展性的架构
PSBench 的一个隐含架构设计值得点出：它把数据集与评测脚本解耦。数据集是静态的（下载后不变），评测脚本是通用的（evaluate_QA.py 接受任意 EMA 方法的预测文件）。这种解耦带来两个好处：
- 数据集可独立扩展：作者承诺纳入 CASP17 与新 PDB 条目，新数据集只需按同一目录规范组织即可融入，评测脚本无需改动；
- 方法可独立迭代：新的 EMA 方法只需产出符合格式的预测 CSV，就能用同一脚本与所有基线对比，无需修改基准。
这一"数据-脚本分离"的架构，是所有希望长期维护的基准应当效仿的模式——它把"扩展"和"公平比较"两个目标同时实现了。
8.5 盲测作为数据集可信度的锚
PSBench 最有说服力的一点，是它没有只做交叉验证，而是做了真正的盲测。交叉验证只能在已有数据内部验证，无法排除"数据泄漏"与"过拟合"；而 CASP16 盲测是在真实结构未知的情况下预测，结果不可作弊。把基准的可信度锚定在盲测上，是 PSBench 相对许多"事后切分训练/测试集"的数据集的根本优势。
8.6 从"预测竞赛"到"评测竞赛"的范式延伸
CASP 本身是"预测能力"的竞赛——比谁预测的结构最准。PSBench 把这一范式延伸到了"评测能力"的竞赛——比谁预测的质量分数最准。这是一个微妙但深刻的转变：当预测能力趋于饱和（AlphaFold 已接近实验精度），研究的价值重心正从"做得准"转向"评得准"。PSBench 捕捉到了这一转移，并为之提供了基础设施。
§9 与库内条目的关系
9.1 家族图谱：蛋白结构数据集生态中的位置
PSBench 属于千方病案医数集中"蛋白质结构 / 结构生物学"这一小类。库内与之语义相邻的条目（均 status=1 AND del_sign=0）：
| rid | slug | 关系 |
|---|---|---|
| 43 | pdb | RCSB 蛋白质数据库——PSBench 第五个数据集（Multimer_7_2024_8_2025）正来源于 PDB 新存入的复合物条目；PSBench 的"真实结构（native）"也来自 PDB |
| 40 | alphafold | AlphaFold 蛋白结构预测——PSBench 的绝大多数模型由 AlphaFold2-Multimer/AF3 生成，且含 AF 置信度特征 |
| 134 | pdbbind | 蛋白-配体结合亲和力数据集——同属结构生物学下游应用（药物发现），但聚焦小分子配体结合而非复合物建模质量 |
| 164 | crossdocked2020 | 蛋白-配体对接数据集——同属结构/对接领域 |
| 813 | proteingym | 蛋白突变适应度数据集——同属计算蛋白生物学，聚焦序列-功能关系 |
| 404 | human-protein-atlas | 人类蛋白质图谱——蛋白表达与定位，互补维度 |
9.2 与 PDB 的关键区别
PSBench ≠ PDB。PDB 是实验测定的真实结构归档库（X 射线晶体学、冷冻电镜 cryo-EM、NMR 测出的结构）；PSBench 收录的是计算方法预测的结构模型（PDB 格式存储，但内容是预测值）加上独立计算的质量分数标签。二者的关系是：PDB 提供"答案"（真实结构），PSBench 提供"答案的打分标准"（预测模型与真实结构比对后的质量分数）。
检索者若想找实验真实结构，应去 PDB 条目（rid 43）；若想找"如何评估预测结构质量"的基准数据，才来 PSBench。
9.3 与 AlphaFold 的区别
PSBench ≠ AlphaFold。AlphaFold 是预测方法（输入序列，输出结构）；PSBench 是评估基准（输入结构模型，输出质量分数）。二者是"生产者"与"质检员"的关系。PSBench 中的数据由 AlphaFold 系方法生成，但 PSBench 本身不预测结构。库内 alphafold 条目（rid 40）介绍的是预测方法/数据库，PSBench 介绍的是评估资源。
9.4 检索路径建议
- 想学蛋白结构预测的评估与打分：从 PSBench 入手；
- 想找实验金标准结构：查 PDB（43）；
- 想找预测方法与数据库：查 AlphaFold（40）；
- 想找结合亲和力/对接：查 PDBbind（134）、CrossDocked2020（164）；
- 想找突变效应/适应度：查 ProteinGym（813）。
§10 避坑清单：十个已踩过/需警惕的坑
坑 1：误以为数据托管在 HuggingFace
多家二手来源（含本库侦察笔记）标注 PSBench 数据"GitHub/HF 托管"。实际数据在 Harvard Dataverse（DOI 10.7910/DVN/75SZ1U），不存在 HuggingFace 数据集。GitHub 仓库只放代码。检索数据时若去 HF 找会一无所获。
坑 2：数据集个数 4 vs 5 的口径混淆
arXiv v1 摘要写"four datasets"，NeurIPS 正式版写"five datasets"。正式版为准（5 个）。若引用 v1 而说是 4 个，会与最新论文矛盾。差异来源是正式版新增了 Multimer_7_2024_8_2025（PDB 新条目集）。
坑 3：模型总量 100 万 vs 140 万的口径混淆
同上，v1 写"over one million"，正式版写"over 1.4 million"。正式版为准（1.4M+）。两个数字都对，只是版本不同。
坑 4：误以为代码许可覆盖数据
GitHub 页面标 MIT License，但那是代码许可。数据在 Dataverse 的许可条款是不同对象，抓取时未确证。下游商用前必须单独核对 Dataverse DOI 页的许可，不能想当然认为"MIT = 数据随便用"。
坑 5：TOP5 子集缺少 Predictd_Models 目录
CASP15_inhouse_TOP5_dataset 与 CASP16_inhouse_TOP5_dataset 不含 Predicted_Models/ 目录（官方为最小化冗余而省略）。若只用子集训练模型，会找不到 PDB 结构文件——必须回到完整数据集的 Predicted_Models/ 获取。
坑 6：把 PSBench 当成结构预测工具
PSBench 不预测结构，它评估结构。它是"给 AI 输出打分的 AI"的基准。若你的需求是从序列预测结构，应该用 AlphaFold/MULTICOM；PSBench 用于评估这些预测结果的质量。
坑 7：忽略 tmscore 的多变体选择
质量分数中的 tmscore 有 4 个变体（如 tmscore_usalign、tmscore_usalign_aligned、tmscore_mmalign），对应不同对齐工具与是否预对齐。评测时 --true_score_field 选错变体，结果不可比。默认是 tmscore_usalign。
坑 8：低估"79 个靶标"的覆盖局限
79 个复合物靶标虽覆盖多种类型，但作者自陈可能无法完全覆盖蛋白复合物的广度。将 PSBench 上训练的 EMA 方法泛化到题库外的复合物时，性能可能下降，需谨慎评估域外表现。
坑 9：误判辅助 Dataverse 库的性质
辅助库 DOI 10.7910/DVN/8GI1DP 的 README 描述涉及"**单体蛋白（monomeric protein）**靶标"，与 PSBench 主体聚焦的"复合物（complex）"不同。使用时注意区分，勿混用。
坑 10：把社区数据集规模当已知
只有两个 in-house 数据集给出了精确模型数（CASP15_inhouse 7,885、CASP16_inhouse 1,009,050）。CASP15_community、CASP16_community、Multimer_7_2024_8_2025 三个数据集的确切模型数未在 README 单列。引用时不可臆造这三个数字。
DAIMS 评估
| 维度 | 评分 | 说明 |
|---|---|---|
| Data（数据） | ★★★★★ | 逾 140 万结构模型、79 靶标、三层 10 种分数，规模与标注完备度业内领先 |
| Accessibility（可获取性） | ★★★★☆ | 数据 Dataverse 公开下载 + 代码 MIT + Colab 教程；扣分项是数据本体 license 未明确 |
| Interoperability（互操作性） | ★★★★★ | PDB/FASTA/CSV 标准格式，工具链全开源，可无缝对接结构生物学软件生态 |
| Metadata（元数据） | ★★★★☆ | summary.tab 提供概览、Quality_Scores_Definitions.json 定义分数；扣分项是部分数据集规模未披露 |
| Sustainability（可持续性） | ★★★★☆ | Harvard Dataverse 长期托管 + GitHub + 作者承诺持续扩展（CASP17）；扣分项是当前覆盖有限 |
坑点档案速查
| 坑 | 一句话 | 处置 |
|---|---|---|
| 1 | 找 HF 找不到数据 | 走 Dataverse DOI |
| 2 | 数据集数说 4 个 | 按正式版 5 个 |
| 3 | 模型数说 100 万 | 按正式版 1.4M |
| 4 | 以为 MIT 覆盖数据 | 单独核对 Dataverse 许可 |
| 5 | 子集缺 PDB 文件 | 回完整数据集取 |
| 6 | 当预测工具用 | 它是评估基准 |
| 7 | tmscore 变体选错 | 明确对齐口径 |
| 8 | 低估 79 靶标局限 | 注意域差 |
| 9 | 混淆辅助库性质 | 区分单体/复合物 |
| 10 | 臆造 community 规模 | 无官方数字则不写 |
§11 总结
11.1 三句话总结
- PSBench 是"给 AI 结构预测打分的 AI"的评测基准：由密苏里大学团队发布于 NeurIPS 2025，含 5 个数据集、逾 140 万个蛋白复合物结构模型、79 个 CASP 靶标；
- 它的核心资产是三层 10 种质量分数标注 + 5 类基线方法 + 全套评测工具：数据在 Harvard Dataverse 公开，代码 MIT，含 Colab 教程；
- 它的验证亮点是 GATE 基线在 CASP16 社区盲测中名列前茅，证明了其支撑可泛化 EMA 方法开发的价值。
11.2 适合谁
- 蛋白结构预测研究者：需要评测自己方法的模型质量评估能力；
- EMA 方法开发者：寻找大规模、多样、标注良好的训练/评测数据；
- 结构生物信息学团队：需要为自己的结构模型打质量分数（用其标注流水线）；
- 药物发现虚拟筛选团队：需要准确判断结合界面的可靠性。
11.3 不适合谁
- 想从序列预测结构者：应使用 AlphaFold/MULTICOM，PSBench 不预测；
- 想找实验真实结构者：应查 PDB；
- 想找蛋白-配体亲和力数据者：应查 PDBbind；
- 追求覆盖全部蛋白复合物者：PSBench 当前仅 79 靶标。
11.4 30 秒决策卡
| 问题 | 答案 |
|---|---|
| 我要评估结构预测模型的准确性吗？ | 是 → 用 PSBench |
| 我要预测蛋白结构吗？ | 否 → 用 AlphaFold |
| 我要实验真实结构吗？ | 否 → 用 PDB |
| 数据在哪？ | Harvard Dataverse，DOI 10.7910/DVN/75SZ1U |
| 代码许可？ | MIT |
| 怎么上手？ | Colab 教程 + evaluate_QA.py |
| 基线打不过谁？ | AlphaFold 自估置信度（最低门槛） |
FAQ（高频问答 30 问）
A. 基础认知
A1：PSBench 是什么的缩写？
官方未给出明确全称解释，从论文标题推断为"Protein Structure Benchmark"，即蛋白结构基准。它是评估蛋白复合物结构模型准确性的基准套件。
A2：EMA 是什么意思？
Estimation of Model Accuracy，模型准确性估计——即预测一个结构模型与真实结构有多接近，用于模型排序与选择。
A3：PSBench 只针对蛋白复合物吗？
主体是复合物（complex），但有一路辅助数据涉及单体蛋白（monomeric protein）靶标。
A4：谁开发的？
密苏里大学哥伦比亚分校，Pawan Neupane、Jian Liu、Jianlin Cheng。
A5：发表在哪？
NeurIPS 2025 Datasets & Benchmarks Track。
A6：什么时候发布的？
arXiv 预印本 2025-05-13，NeurIPS 2025 会议报告 2025-12-02。
A7：为什么叫"大规模"？
逾 140 万个结构模型，79 个靶标，10 种质量分数——相比此前的 EMA 数据集，规模大一到两个数量级。
A8：和 CASP 什么关系？
数据主要来自 CASP15（2022）与 CASP16（2024）竞赛期间的预测模型。
A9：CASP 是什么？
Critical Assessment of Protein Structure Prediction，蛋白质结构预测关键评估，该领域长期运行的盲测金标准。
A10：PSBench 本身会预测结构吗？
不会。它是评测层，评估别人的预测。
B. 数据与获取
B1：数据在哪下载？
Harvard Dataverse。主库 DOI 10.7910/DVN/75SZ1U，辅助库 DOI 10.7910/DVN/8GI1DP。
B2：HuggingFace 上有吗？
没有。经核验不存在 PSBench 的 HF 数据集，数据在 Dataverse。
B3：数据许可是什么？
代码是 MIT；数据本体许可须以 Dataverse DOI 页实际声明为准（抓取页未确证）。
B4：代码许可是什么？
MIT License，宽松、允许商用。
B5：有谷歌 Colab 教程吗？
有，PSBench_tutorial.ipynb，可评测 EMA 方法、复现主结果表、生成对比图。
B6：总共几个数据集？
5 个（正式版口径），另含两个 TOP5 子集。
B7：最大的数据集是哪个？
CASP16_inhouse_dataset，含 1,009,050 个模型。
B8：最小的数据集是哪个？
CASP15_inhouse_dataset，含 7,885 个模型。
B9：辅助 Dataverse 库装的是什么？
CASP15/16 单体蛋白靶标的社区与 in-house 模型（四个数据集）。
B10：模型是什么格式？
PDB 格式。序列是 FASTA 格式。
C. 标注与评估
C1：每个模型有几个标签？
10 个质量分数，分全局/局部/界面三层。
C2：全局分数有哪些？
tmscore（4 变体）、rmsd。
C3：局部分数有哪些？
lddt。
C4：界面分数有哪些？
ics、ics_precision、ics_recall、ips、qs_global、qs_best、dockq_wave。
C5：额外特征有哪些？
model_type、afm_confidence_score、af3_ranking_score、iptm、num_inter_pae、mpDockQ/pDockQ（仅 inhouse 集及其子集）。
C6：用什么指标评估 EMA 方法？
Pearson 相关、Spearman 相关、top-1 ranking loss、AUROC。
C7：哪个指标最能反映实际用途？
top-1 ranking loss，因为它衡量"能否选出最佳模型"。
C8：有现成的基线方法吗？
有 5 类：GATE/GATE-AFM、DProQA、VoroMQA/VoroIF、GCPNet-EMA、PSS。
C9：最强的基线是什么？
论文主推 GATE（图变换器），它还含 AlphaFold2-Multimer 特征增强的 GATE-AFM 变体。
C10：AlphaFold 自估置信度算基线吗？
算。README 明确把 AF2-Multimer 自估置信度列为可对比基线。
D. 结果与生态
D1：GATE 表现如何？
在 CASP16（2024）社区盲测中名列前茅。
D2：PSBench 的愿景是什么？
成为社区驱动资源，like ImageNet or MNIST。
D3：当前有什么局限？
仅 79 个复合物靶标，覆盖面有限；作者计划扩展至 CASP17。
D4：会持续更新吗？
作者承诺纳入 CASP17 靶标与新 PDB 复合物条目。
D5：第三方能贡献模型吗？
能。README 提到一个 webserver 供第三方上传模型与未来引用。
D6：工具链有哪些？
OpenStructure、USalign、Clustalw。
D7：能自己打标签吗？
能。PSBench 提供脚本，用预测模型+真实结构+FASTA 生成质量分数。
D8：数据规模会不会变？
会。随版本更新（v1→正式版已从 4 数据集/100 万增至 5 数据集/140 万）。
D9：适合商用吗？
代码 MIT 允许商用；数据需核对 Dataverse 许可后方可确定。
D10：和 PDBbind 有何不同？
PDBbind 是蛋白-配体亲和力数据，PSBench 是复合物结构模型质量评估数据。
事实清单（硬事实 40 条）
- PSBench 全称：PSBench: a large-scale benchmark for estimating the accuracy of protein complex structural models。
- slug：psbench。
- 团队：University of Missouri - Columbia。
- 作者：Pawan Neupane、Jian Liu、Jianlin Cheng。
- 通讯作者：Jianlin Cheng（chengji@missouri.edu）。
- 会议：NeurIPS 2025 Datasets & Benchmarks Track。
- arXiv：2505.22674v1，2025-05-13。
- 会议报告：2025-12-02，slideslive.com/39050791。
- 数据集个数（正式版）：5 个。
- 数据集个数（v1）：4 个。
- 模型总量（正式版）：逾 140 万。
- 模型总量（v1）：逾 100 万。
- 靶标数：79 个 CASP15/16 复合物。
- CASP15_inhouse_dataset 模型数：7,885。
- CASP16_inhouse_dataset 模型数：1,009,050。
- CASP15_inhouse 生成方法：MULTICOM3（2022）。
- CASP16_inhouse 生成方法：MULTICOM4（2024）。
- 第五个数据集：Multimer_7_2024_8_2025_dataset（PDB 新条目 2024-07 至 2025-08）。
- TOP5 子集：CASP15_inhouse_TOP5、CASP16_inhouse_TOP5。
- 质量分数总数：10 种。
- 全局分数：tmscore（4 变体）、rmsd。
- 局部分数：lddt。
- 界面分数：ics、ics_precision、ics_recall、ips、qs_global、qs_best、dockq_wave。
- 额外特征数：6 种（仅 inhouse 集）。
- 评估指标：Pearson、Spearman、top-1 ranking loss、AUROC。
- 主推基线：GATE（图变换器）。
- GATE 增强版：GATE-AFM（含 AF2-Multimer 特征）。
- 其它基线：DProQA、VoroMQA-dark、VoroIF-GNN、GCPNet-EMA、PSS。
- 代码仓库：github.com/BioinfoMachineLearning/PSBench。
- 代码许可：MIT License。
- 数据托管：Harvard Dataverse。
- 主库 DOI：10.7910/DVN/75SZ1U。
- 辅助库 DOI：10.7910/DVN/8GI1DP。
- 环境：Linux，Python 3.10.12，conda env PSBench。
- 工具链：OpenStructure、USalign、Clustalw。
- 模型格式：PDB。序列格式：FASTA。
- 标注工具镜像：registry.scicore.unibas.ch/schwede/openstructure。
- GATE 盲测成绩：CASP16（2024）名列前茅。
- 默认评测字段：tmscore_usalign。
- 教程：Google Colab（PSBench_tutorial.ipynb）。
术语表（26 条）
| 术语 | 英文 | 解释 |
|---|---|---|
| 蛋白复合物 | protein complex | 由多条蛋白链（或多聚体）组成的组装体 |
| 结构模型 | structural model | 预测或测定的蛋白质三维结构 |
| EMA | Estimation of Model Accuracy | 模型准确性估计，预测结构模型的质量 |
| CASP | Critical Assessment of Protein Structure Prediction | 蛋白结构预测关键评估竞赛 |
| TM-score | Template Modeling score | 衡量整体结构拓扑相似度，0-1 |
| RMSD | Root Mean Square Deviation | 均方根偏差，原子坐标平均偏差 |
| lDDT | local Distance Difference Test | 局部距离差异检验，残基级质量 |
| DockQ | — | 蛋白对接界面质量综合指标 |
| ics | Interface Contact Score | 界面接触分数 |
| ips | Interface Patch Score | 界面斑块分数 |
| 界面 | interface | 复合物中不同链之间的接触区域 |
| 化学计量 | stoichiometry | 复合物中各亚基的数目比例 |
| 图变换器 | graph transformer | 在图结构数据上用注意力机制的神经网络 |
| GNN | Graph Neural Network | 图神经网络 |
| 置信度 | confidence score | 模型对自身预测的把握程度 |
| pLDDT | predicted lDDT | AlphaFold 输出的残基级置信度 |
| PAE | Predicted Aligned Error | 预测对齐误差 |
| MSA | Multiple Sequence Alignment | 多序列比对 |
| MULTICOM | — | Cheng 组的蛋白结构预测方法系列 |
| 靶标 | target | 待预测/评估的蛋白复合物 |
| 盲测 | blind test | 真实结构未知时的预测评测 |
| native | native structure | 真实（实验测定）结构 |
| top-1 ranking loss | — | 衡量选出最佳模型能力的排序损失 |
| AUROC | Area Under ROC Curve | ROC 曲线下面积 |
| Harvard Dataverse | — | 哈佛大学数据仓储平台 |
| AI-Ready | AI-Ready | 数据可直接用于 AI 训练的成熟度描述 |
附录
附录 A：条目信息速查卡
| 项 | 值 |
|---|---|
| slug | psbench |
| 官方名 | PSBench |
| 类型 | 蛋白复合物结构模型准确性估计基准 |
| 机构 | University of Missouri - Columbia |
| 发表 | NeurIPS 2025 D&B Track；arXiv:2505.22674 |
| 规模 | 逾 140 万模型 / 79 靶标 / 5 数据集 |
| 标注 | 10 种质量分数 + 6 种额外特征 |
| 许可 | 代码 MIT；数据 Harvard Dataverse |
| 获取 | DOI 10.7910/DVN/75SZ1U |
附录 B：DAIMS 评估全表
| 维度 | 评分 | 依据 |
|---|---|---|
| Data | ★★★★★ | 140 万+模型、三层 10 分数 |
| Accessibility | ★★★★☆ | Dataverse 公开+MIT+Colab；数据 license 未明确 |
| Interoperability | ★★★★★ | PDB/FASTA/CSV 标准格式 |
| Metadata | ★★★★☆ | summary.tab + 定义文件；部分规模未披露 |
| Sustainability | ★★★★☆ | Dataverse 长期托管+持续扩展承诺 |
附录 C：五数据集构成总表
| 数据集 | 模型数 | 来源 | Predicted_Models |
|---|---|---|---|
| CASP15_inhouse_dataset | 7,885 | MULTICOM3/2022 | 有 |
| CASP15_inhouse_TOP5_dataset | 未单列 | CASP15_inhouse 子集 | 无（复用完整集） |
| CASP15_community_dataset | 未单列 | CASP15 社区 | 有 |
| CASP16_inhouse_dataset | 1,009,050 | MULTICOM4/2024 | 有 |
| CASP16_inhouse_TOP5_dataset | 未单列 | CASP16_inhouse 子集 | 无（复用完整集） |
| CASP16_community_dataset | 未单列 | CASP16 社区 | 有 |
| Multimer_7_2024_8_2025_dataset | 未单列 | PDB 新条目 | 有 |
附录 D：10 种质量分数分类表
| 层次 | 分数 | 备注 |
|---|---|---|
| 全局 | tmscore（4 变体） | tmscore_usalign 等 |
| 全局 | rmsd | 原子坐标偏差 |
| 局部 | lddt | 残基级 |
| 界面 | ics | 界面接触分数 |
| 界面 | ics_precision | 界面接触精度 |
| 界面 | ics_recall | 界面接触召回 |
| 界面 | ips | 界面斑块分数 |
| 界面 | qs_global | 全局（界面语境） |
| 界面 | qs_best | 最优质量 |
| 界面 | dockq_wave | DockQ 变体 |
附录 E：基线 EMA 方法总表
| 方法 | 类型 | 技术 | 出处 |
|---|---|---|---|
| GATE | 多模型 | 图变换器 | Liu et al. 2025 |
| GATE-AFM | 多模型 | GATE+AF2 特征 | Liu et al. 2025 |
| DProQA | 单模型 | Gated Graph Transformer | Chen et al. 2023 |
| VoroMQA-dark | 界面 | Voronoi+GNN | Olechnovič et al. 2023 |
| VoroIF-GNN-score | 界面 | Voronoi+GNN | Olechnovič et al. 2023 |
| VoroIF-GNN-pCAD-score | 界面 | Voronoi+GNN | Olechnovič et al. 2023 |
| GCPNet-EMA | 单模型 | 3D GNN | Morehead et al. 2024 |
| PSS | 多模型 | 成对 TM-score 共识 | Roy et al. 2023 |
附录 F：评估脚本调用骨架
# 通用评测
python scripts/evaluate_QA.py \
--input_dir <预测目录> \
--native_dir <Quality_Scores 目录> \
--true_score_field tmscore_usalign \
--outfile evaluation_results.csv
# DockQ 口径
python scripts/evaluate_QA.py \
--input_dir ./Predictions/CASP16_inhouse_TOP5_dataset/ \
--native_dir $DATADIR/Quality_Scores/ \
--true_score_field dockq_wave
附录 G：环境搭建骨架
git clone https://github.com/BioinfoMachineLearning/PSBench.git
cd PSBench/
conda create -n PSBench python=3.10.12
conda activate PSBench
pip install -r scripts/requirements.txt
docker pull registry.scicore.unibas.ch/schwede/openstructure:latest
docker run -it registry.scicore.unibas.ch/schwede/openstructure:latest --version
附录 H：与库内条目关系声明
- 与 pdb（rid 43）：PSBench 的第五个数据集来源于 PDB 新条目；PSBench 的 native 结构来自 PDB。二者互补（预测模型 vs 实验结构）。
- 与 alphafold（rid 40）：PSBench 的模型由 AF 系方法生成，含 AF 置信度特征。二者互补（预测方法 vs 评估基准）。注：库内 alphafold 有 rid 40 与 rid 573 两条记录，本条目互链引用 rid 40（见遗留疑点）。
- 与 pdbbind（134）、crossdocked2020（164）、proteingym（813）、human-protein-atlas（404）：同属蛋白结构/计算生物学小类，互链仅作检索导航，无血缘合并关系。
附录 I：口径冲突存照总表
| 项 | 版本 A | 版本 B | 本条目采用 |
|---|---|---|---|
| 数据集个数 | arXiv v1：4 | NeurIPS 正式版：5 | 5（注明 v1 为 4） |
| 模型总量 | arXiv v1：over 1M | NeurIPS 正式版：over 1.4M | 1.4M（注明 v1 口径） |
| GitHub 镜像页 | 旧文本：4 datasets | 同页又列 5 | 以正式 README 为准（5） |
附录 J：遗留疑点清单
- Dataverse 数据集的确切 license 条款（抓取页未渲染）；
- CASP15_community / CASP16_community / Multimer_7_2024_8_2025 的确切模型数未单列；
- 第三方上传 webserver 的具体 URL（README 显示为占位空白）；
- 库内 alphafold 重复条目（rid 40 / 573）待主会话核查。
附录 K：检索决策树
需要蛋白结构数据？
├─ 要实验真实结构 → PDB (rid 43)
├─ 要预测方法与数据库 → AlphaFold (rid 40)
├─ 要评估预测结构质量 → PSBench（本条目）
├─ 要蛋白-配体亲和力 → PDBbind (rid 134)
├─ 要蛋白-配体对接 → CrossDocked2020 (rid 164)
└─ 要突变适应度 → ProteinGym (rid 813)
附录 L：引用格式建议
@inproceedings{neupane2025psbench,
title = {PSBench: a Large-Scale Benchmark for Estimating the Accuracy of Protein Complex Structural Models},
author = {Neupane, Pawan and Liu, Jian and Cheng, Jianlin},
booktitle = {The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS)},
year = {2025}
}
数据引用：PSBench datasets, Harvard Dataverse, DOI 10.7910/DVN/75SZ1U。
附录 M：EMA 常用质量指标速查表
| 指标 | 层次 | 值域 | 越大越好？ | 主要用途 |
|---|---|---|---|---|
| TM-score | 全局 | 0-1 | 是 | 整体折叠相似度 |
| RMSD | 全局 | ≥0 Å | 否（越小越好） | 原子坐标平均偏差 |
| lDDT | 局部 | 0-1 | 是 | 残基级局部几何 |
| ics | 界面 | 0-1 | 是 | 界面接触分数 |
| ics_precision | 界面 | 0-1 | 是 | 预测接触的准确率 |
| ics_recall | 界面 | 0-1 | 是 | 预测接触的召回率 |
| ips | 界面 | 0-1 | 是 | 界面斑块分数 |
| qs_global | 界面 | 0-1 | 是 | 界面语境全局质量 |
| qs_best | 界面 | 0-1 | 是 | 最优质量分数 |
| dockq_wave | 界面 | 0-1 | 是 | 界面综合质量 |
附录 N：Tensor/工程视角的数据加载伪代码
# 伪代码：加载 PSBench 一个数据集并构造 EMA 训练样本
# 假设已从 Harvard Dataverse 下载并解压到 DATADIR
import os, glob
import pandas as pd
DATASET = "CASP15_inhouse_dataset"
BASE = os.path.join(DATADIR, DATASET)
# 1. 质量分数标签
labels = pd.read_csv(
glob.glob(os.path.join(BASE, "Quality_Scores", "*.tab"))[0],
sep="\t",
)
# 2. 结构模型（PDB 格式）
model_files = glob.glob(os.path.join(BASE, "Predicted_Models", "**", "*.pdb"),
recursive=True)
# 3. 序列
fasta_files = glob.glob(os.path.join(BASE, "Fasta", "*.fasta"))
# 4. AlphaFold 额外特征（仅 inhouse 集）
af_dir = os.path.join(BASE, "AlphaFold_Features")
# 训练目标示例：用模型的结构特征预测 tmscore_usalign
# X = 结构特征（如 GNN 编码的原子图）
# y = labels["tmscore_usalign"]
附录 O：评测结果解读指南
当用 evaluate_QA.py 得到 evaluation_results.csv 后，如何解读各列：
- Pearson 高、Spearman 低：预测值绝对值准，但排序错乱——不适合做模型选择；
- Spearman 高、Pearson 低：排序对，但数值尺度偏差——可用于选最佳模型，不宜直接当分数报告；
- AUROC 高、Spearman 低：二分类（好/坏）判别强，但精细排序弱；
- top-1 ranking loss 低：能选中最佳模型——这是实际工作流最看重的。
一句话：若下游只需"选一个最好的模型"，优先看 top-1 ranking loss；若需报告质量分数，看 Pearson。
附录 P：坑点档案（与 §10 对照）
| 坑号 | 标题 | 快速处置 |
|---|---|---|
| 1 | HF 托管误解 | 走 Dataverse DOI 10.7910/DVN/75SZ1U |
| 2 | 数据集数 4 vs 5 | 按 NeurIPS 正式版 5 个 |
| 3 | 模型数 1M vs 1.4M | 按 NeurIPS 正式版 1.4M |
| 4 | MIT 覆盖数据误解 | 单独核对 Dataverse 许可 |
| 5 | TOP5 子集缺 PDB | 回完整数据集 Predicted_Models/ |
| 6 | 当预测工具用 | 它是评估基准，不预测结构 |
| 7 | tmscore 变体选错 | 明确 --true_score_field |
| 8 | 低估 79 靶标局限 | 注意训练-应用域差 |
| 9 | 辅助库性质混淆 | 单体 vs 复合物 |
| 10 | 臆造 community 规模 | 无官方数字不写 |
附录 Q：检索决策树（详版）
需求：蛋白结构与质量评估
│
├─ 要实验测定的真实结构
│ └─ → PDB (rid 43)
│
├─ 要结构预测方法/数据库
│ └─ → AlphaFold (rid 40)
│
├─ 要评估预测结构的质量（EMA）
│ └─ → PSBench（本条目）
│ ├─ 训练 EMA 方法 → 用 CASP15/16_inhouse
│ ├─ 与基线对比 → GATE/DProQA/VoroMQA/GCPNet-EMA/PSS
│ ├─ 盲测验证 → 用 community 数据集
│ └─ 自己打标签 → 用 OpenStructure+USalign 脚本
│
├─ 要蛋白-配体结合亲和力
│ └─ → PDBbind (rid 134)
│
├─ 要蛋白-配体对接构象
│ └─ → CrossDocked2020 (rid 164)
│
└─ 要蛋白突变适应度
└─ → ProteinGym (rid 813)
附录 R：事实核查证据链
| 硬数字 | 来源 1 | 来源 2 | 来源 3 |
|---|---|---|---|
| 5 个数据集 | NeurIPS 2025 正式版摘要 | GitHub README §I | — |
| 逾 140 万模型 | NeurIPS 2025 正式版摘要 | — | — |
| 79 靶标 | ar5iv 结论节 | — | — |
| CASP15_inhouse 7,885 | GitHub README §I.i | — | — |
| CASP16_inhouse 1,009,050 | GitHub README §I.iii | — | — |
| MIT 代码许可 | GitHub 仓库页 | 镜像页 license 标注 | — |
| Dataverse DOI | arXiv 数据可得性节 | GitHub README | — |
| 10 种质量分数 | GitHub README 标签表 | — | — |
| 4 评估指标 | GitHub README §II | — | — |
| GATE 盲测名列前茅 | NeurIPS/arXiv 摘要 | Unite.AI 报道 | — |
附录 S：一页纸备忘
PSBench 是什么：密苏里大学的蛋白复合物结构模型质量评估基准（NeurIPS 2025）。
核心数字：5 数据集 / 逾 140 万模型 / 79 靶标 / 10 种质量分数 / 6 种额外特征。
获取：数据 → Harvard Dataverse DOI 10.7910/DVN/75SZ1U；代码 → GitHub（MIT）。
上手：clone 仓库 → 建 conda 环境（py3.10.12）→ 装 OpenStructure → 跑 Colab 教程。
评估：evaluate_QA.py，指标 Pearson/Spearman/top-1 ranking loss/AUROC。
基线：GATE（主推）、DProQA、VoroMQA/VoroIF、GCPNet-EMA、PSS、AlphaFold 自估置信度。
一句话：PSBench 是"给 AI 结构预测打分的 AI"的训练与评测平台。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- plinder — 共享标签：药物发现与化学 / 基因组学与多组学 / 评测基准 / 蛋白质组学
- proteingym — 共享标签：药物发现与化学 / 基因组学与多组学 / 评测基准 / 蛋白质组学
- emdb — 共享标签：药物发现与化学 / 基因组学与多组学 / 评测基准 / 蛋白质组学
- alphafold — 共享标签：药物发现与化学 / 基因组学与多组学 / 蛋白质组学
- alphafold — 共享标签：药物发现与化学 / 基因组学与多组学 / 蛋白质组学
- pdb — 共享标签：药物发现与化学 / 基因组学与多组学 / 蛋白质组学
- sabdab2 — 共享标签：基因组学与多组学 / 评测基准 / 蛋白质组学
- binding-moad — 共享标签：药物发现与化学 / 基因组学与多组学 / 蛋白质组学
- md22 — 共享标签：药物发现与化学 / 基因组学与多组学 / 评测基准
- tahoe-100m — 共享标签：药物发现与化学 / 基因组学与多组学 / 评测基准
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
