信息速览
INFOBOX — OpenBind 首届盲测挑战一屏速览
维度 内容 本质 结构预测盲测赛:给定 400 个小分子的 SMILES + 靶点 apo 结构,预测蛋白-配体复合物三维结构 靶点 寨卡病毒(ZIKV)NS2B-NS3 蛋白酶,NS2B 辅因子 46 aa + NS3 蛋白酶域 168 aa 主办 OpenBind(Diamond Light Source 基地)|合作 OpenADMET、ASAP Discovery Consortium 规模 400 个化合物( blind_challenge_001–400),重原子 9–36,均值 22.36赛程 2026-09-30 公告 → 2026-10-14 开赛 → 2026-11-11 中期榜 → 2026-12-16 终稿 判定 BiSyRMSD < 1.5 Å + lDDT-PLI > 0.8 + PoseBusters 全部通过,三者同时满足才算成功 总分 成功复合物占比(成功率),缺失或不可评估一律计失败 提交 400 个 PDB 打包 zip,经 HF Space openadmet/openbind-blind-challenge-1上传许可 HF 卡片 Apache-2.0;参考结构赛后释放 库内近邻 openadmet-expansionrx(rid=1110,同主办方不同任务)、plinder(184)、pdbbind(134)、crossdocked2020(164)
OpenBind 首届盲测挑战要解决的是一个非常具体、非常老的问题:当一个靶点已经有几十个公开晶体结构,我们还能不能"看见"一个新分子究竟怎样插进它的口袋? 这次给的不是回顾性基准,而是一次真正的前瞻性考试——400 个化合物,每一个都浸泡进寨卡病毒 NS2B-NS3 蛋白酶的晶体,每一个都拿到了实验解析的复合物结构,但答案被扣住不发,只发 SMILES。参赛者要在看不到答案的情况下,为这 400 个分子各自交出一个复合物结构,最后由同一套脚本打分。
这个设计背后有一个很少被明说的痛点。过去几年里,分子对接和共折叠(co-folding)模型在 PDBbind、CrossDocked2020 一类基准上不断刷新纪录,但那些基准的参考结构早已在训练集里出现过,模型"记得"答案。OpenBind 的做法是把答案藏起来,并且把及格线从大家习惯的 2 Å 收紧到 1.5 Å,再叠加两个维度的检查:界面接触是否对(lDDT-PLI > 0.8)、几何是否物理上说得通(PoseBusters 全部检查)。三关全过才算一个成功,成功率就是总分。这种"三关硬卡 + 成功率计分"的口径,让"平均 RMSD 好看但一半结构崩掉"的做法无法蒙混。
导语读法三则:
- 只想算一算自己方法的水平:直奔 §5 任务定义与 §6 评测标准——注意 BiSyRMSD 是"结合位点叠合 + 对称校正"后的 RMSD,不是朴素的配体重原子 RMSD;也注意成功判定是三条件同时满足,不是加权平均。
- 关心这个数据和 OpenADMET 的关系:直奔 §9——OpenBind 的挑战赛托管、Discord、提交门户全部落在 OpenADMET 的 Hugging Face 组织下,但两者是不同的挑战:ExpansionRx(rid=1110)考的是 ADMET 端点回归,本条目考的是三维结构。不要合并。
- 想复现或做基线:直奔 §7 的三份官方基线报告——AlphaFold 3、Boltz-2、OpenBind-0 在 400 个化合物上都跑了一遍,PoseBusters 逐项通过率写得很细,是现成的参照系。
§0 导读:这个数据集解决什么问题
0.1 一句话定位
OpenBind 盲测挑战 1 是一份**「400 个化合物 + 1 个靶点 + 1 套三指标评分脚本」**的前瞻性结构预测考卷。它不是一个通用的蛋白-配体数据库,而是一次带时间窗的考试:考题公开(SMILES + apo 结构),答案扣留(400 个实验复合物),裁判公开(GitHub 上的评测代码 + 三个基线模型报告)。
0.2 它想回答的三个问题
| 问题 | 为什么重要 | 本挑战怎么回答 |
|---|---|---|
| 现有方法在"没见过的配体"上还能不能找准口袋? | 回顾性基准存在训练集泄漏,分数虚高 | 400 个配体全部是新化合物,参考结构赛后才发 |
| 结构"长得像"是否等于"结合得对"? | 平均 RMSD 会掩盖界面残基的错误 | 加 lDDT-PLI 检查界面局部距离一致性 |
| 预测的构象物理上是否存在? | 很多模型给出化学上不可能的姿态 | 加 PoseBusters 做几何与化学合理性检查 |
0.3 它不解决什么
- 不提供结合亲和力(Kd/Ki)数值,只考姿态(pose);
- 不覆盖多个靶点,只有寨卡 NS2B-NS3 一个口袋;
- 不提供训练集——它不是用来训练的,是用来测试泛化的;
- 不保证赛后参考结构与挑战集许可一致(见 §10 遗留疑点)。
0.4 适合谁读
- 做对接/共折叠的算法团队:这是当下最干净的对外部验证集之一;
- 做结构生物学实验的人:可以看 XChem 碎片浸泡流水线如何批量产出可评测数据;
- 做基准方法学的人:三指标 + 成功率的计分口径值得借鉴;
- 做开源药物发现治理的人:OpenBind 的联盟结构、资助链、数据释放策略是一个可复制的样板。
§1 数据集速览:十问十答
问 1:这是什么?
OpenBind 联盟主办的首届盲测挑战(OpenBind Blind Challenge 1),靶点为寨卡病毒 NS2B-NS3 蛋白酶,任务是预测 400 个小分子与该蛋白酶形成的复合物三维结构。
问 2:谁出的题?
OpenBind 出题并生成实验数据,OpenADMET 提供 Hugging Face 托管、Discord 社区与评测基础设施,ASAP Discovery Consortium 提供其在 hit-to-lead 阶段设计的化合物。
问 3:有多少数据?
400 个化合物,ID 从 blind_challenge_001 到 blind_challenge_400;公开部分只有一张两列 CSV(分子名 + SMILES)。
问 4:答案在哪?
400 个化合物都已在实验室浸泡进晶体并解析出复合物结构,但挑战期内不公开;终稿提交截止(2026-12-16)之后统一释放。
问 5:参赛要交什么?
每个化合物一个 PDB 文件,文件名用给定 ID(如 blind_challenge_001.pdb),配体残基名必须是 LIG,全部 400 个文件打进一个 zip,通过 HF Space 的 Submissions 标签页上传。
问 6:怎么算成功?
三个条件同时满足:BiSyRMSD < 1.5 Å、lDDT-PLI > 0.8、PoseBusters 全部检查通过。
问 7:总分怎么算?
成功复合物的比例(成功率)。缺失的、格式不合法无法评估的,一律算失败。
问 8:什么时候截止?
2026-11-11 23:59 UTC 为中期榜单截止,2026-12-16 23:59 UTC 为终稿截止。实时榜单在赛程中只展示约一半化合物。
问 9:要钱吗?许可是什么?
不收费。HF 数据集卡片标注 Apache-2.0,gated=false 可直接下载。
问 10:和库里的 openadmet-expansionrx 是一回事吗?
不是。见 §9:同一个主办方(OpenADMET)连续办的两个挑战,但任务类型、靶点、数据模态全都不同,不应合并。
§2 数据构成与规格
2.1 靶点:为什么是寨卡 NS2B-NS3
寨卡病毒(Zika virus, ZIKV)属于黄病毒科(Flaviviridae),与登革病毒(DENV)、西尼罗病毒(WNV)、黄热病毒(YFV)同科。官方公告给出的公共卫生背景是:多数感染无症状或轻症,但可致成人格林-巴利综合征、神经病与脊髓炎;孕期感染可致新生儿小头畸形与其他先天异常。2015–2016 年那次流行中感染者超过一百万,造成数千例婴儿小头畸形。目前没有获批的疫苗或抗病毒疗法。
NS2B-NS3 蛋白酶是抗病毒药物发现的经典靶点,因为它负责在多个位点切割病毒多聚蛋白——这是病毒复制的必需步骤。NS3 的活性中心是经典的丝氨酸-组氨酸-天冬氨酸催化三联体,而 NS2B 的一部分环绕在 NS3 周围,作为辅因子参与构成活性位点与底物识别。
结构研究显示,ZIKV NS2B-NS3 可以采取闭合(closed)、开放(open)、超开放(super-open)三种构象。开放与超开放构象中,NS2B 参与底物结合口袋的 C 端部分是无序的,因此被认为是催化失活的。OpenBind 选择闭合构象作为研究对象。
2.2 蛋白构体与 PDB 代码
| 项目 | 内容 | 来源 |
|---|---|---|
| 表达系统 | 双顺反子载体(bicistronic vector)共表达 NS2B 辅因子与 NS3 蛋白酶 | 官方公告 |
| 晶体 | P4₃2₂ 空间群,不对称单元中仅 1 个 NS2B-NS3 复合物,活性位点可及 | 官方公告 |
| 构体 PDB 码 | 29HN(closed conformation construct) | HF 卡片 |
| apo 代表结构 | 8PN6(无配体,X 射线 1.61 Å,2023-08-16 释放) | HF 卡片 / RCSB |
| Chain A | NS2B 辅因子,46 aa | FASTA |
| Chain B | NS3 蛋白酶域,168 aa | FASTA |
| Chain C | 小分子配体,残基名 LIG |
提交格式要求 |
Chain A 序列(46 aa):
SMGKSVDMYIERAGDITWEKDAEVTGNSPRLDVALDESGDFSLVEE
Chain B 序列(168 aa):
MKEVKKGETTDGVYRVMTRRLLGSTQVGVGVMQEGVFHTMWHVTKGAALRSGEGRLDPYWGDVKQDLVSYCGPWKLDAAWDGLSEVQLLAVPPGERAKNIQTLPGIFKTKDGDIGAVALDYPAGTSGSPILDKCGRVIGLYGNGVVIKNGSYVSAITQGKREEETPVE
两条链合计 214 个氨基酸。注意:序列与 PDB 29HN 的编号相关,FASTA 头里写的是 >29HN_2|Chain B|Serine protease NS3 与 >29HN_1|Chain A|Serine protease subunit NS2B,物种注释为 Zika virus (64320)。
2.3 化合物集:400 个分子从哪来
官方公告明确,化合物是三个来源混合浸泡到 ZIKV NS2B-NS3 晶体里的:
- 碎片(fragments):来自 EUbOpen DSiP extension 与 Enamine Essential Fragments Libraries;
- 后续化合物(follow-on):ASAP Discovery Consortium 在其寨卡 NS2B-NS3 项目中 hit-to-lead 阶段设计的分子;
- 碎片类似物与后续化合物:由 OpenBind 自行设计。
这个混合结构决定了化学空间的形态:既有重原子只有 9 个的极小碎片,也有 36 个重原子的类先导分子。碎片与先导同处一张考卷,是这次挑战最特别的地方——碎片的口袋通常浅而杂,对姿态判定的容差非常敏感,这也是为什么及格线要收紧到 1.5 Å。
2.4 公开文件的实测规格
对 HF 仓库实抓的 CSV 做统计(src/test_blinded.csv,24,204 字节):
| 指标 | 数值 |
|---|---|
| 行数 | 400(+1 表头) |
| 列 | Molecule_Name、SMILES |
| ID 范围 | blind_challenge_001 – blind_challenge_400 |
| 唯一 SMILES | 400(无重复) |
| 重原子数 | 最小 9,最大 36,均值 22.36 ± 5.78 |
| SMILES 字符串长度 | 13–66 字符 |
| 含卤素(F/Cl/Br) | 226 / 400 |
含立体标记 @ |
84 / 400 |
| 含酰胺键 | 192 / 400 |
重原子分布的中位数落在 21–23 区间(21:41 个、22:47 个、23:45 个),说明这是一条明显"腰部粗、两端细"的分布:碎片段(9–16 重原子)合计约 70 个,大分子段(30 重原子以上)合计约 42 个,其余集中在 20–29。
口径核对:本条目自算的重原子均值为 22.36,官方 OpenBind-0 基线报告写的是 22.37——差异来自 SMILES 重原子解析规则的细微不同(如芳香键与显式氢),不影响结论。两处并列存照。
§3 实验数据是怎么造出来的
3.1 一条完整的 XChem 流水线
这次挑战的实验工作全部在英国**钻石光源(Diamond Light Source)**完成,流程是晶体学领域已经很成熟、但规模化之后才真正可用的那一条:
- 蛋白制备:双顺反子载体共表达 NS2B 与 NS3,纯化出闭合构象的复合物;
- 晶体生长:P4₃2₂ 空间群,不对称单元只放一个复合物,活性位点朝向溶剂通道,适合浸泡;
- 碎片浸泡(soaking):把化合物溶液渗入已长好的晶体,而不是共结晶——这是碎片筛选的标准做法,能用一块晶体试很多化合物;
- 无人物流数据收集(unattended data collection):在 I03 与 I04-1 两条束线上自动排队收数;
- 自动处理:in-house 自动处理流水线出强度与相位;
- 自动找结合事件:autoPanDDA 完成 PanDDA 分析,Pipedream 完成配体拟合;
- 人工复核:在 XChemExplorer 环境里人工检查结合位点并精修。
整个流程的束线申请编号为 lb42888。实验方案发表在 protocols.io 上(两份 protocol,DOI 见来源表)。
3.2 为什么这套流水线能撑起"盲测"
盲测的可行性完全依赖实验端的批量与稳定:400 个化合物,每一个都必须真的解析出复合物结构,否则考卷里会出现大量"无答案"的空位。XChem 在 2010 年代后期把碎片浸泡的通量推到了数千量级,autoPanDDA + Pipedream 把人工判定结合事件的工作量压到可接受范围,这是 OpenBind 能在 2026 年直接拿 400 个真结构做盲测的前提。
3.3 数据的"人工复核"环节不可省
PanDDA 类方法会产生假阳性结合事件(溶剂峰、噪声、部分占据),XChemExplorer 里的人工复核是最后一道闸。这条信息对使用者很重要:参考结构是有人工判断介入的,不是纯自动流水线的产物。这意味着赛后用它做基准时,参考结构本身存在一定的人工判断成分,极弱的碎片结合事件尤其如此。
§4 挑战赛机制
4.1 赛程表
| 日期(UTC) | 里程碑 | 已发生? |
|---|---|---|
| 2026-09-30 | 挑战公告 | 是 |
| 2026-10-14 | 挑战正式启动(数据与提交门户上线) | 是 |
| 2026-11-11 23:59 | 中期榜单截止 | 未到 |
| 2026-12-16 23:59 | 终稿提交截止 | 未到 |
| 2026-12-16 之后 | 结果公布、webinar、结题博客 | 未到 |
4.2 榜单机制
- 实时榜单:托管在 Hugging Face,赛程中只展示约一半化合物的成绩。
- 中期榜单:11-11 截止后,用全量 400 个化合物算一次,一次性公布。
- 最终榜单:12-16 截止后,用全量算,取代实时榜。
- 同时要求:想进最终榜单,必须同时提交一份方法报告,说明是否使用专有数据、代码与模型权重是否可得。这条要求把"黑箱刷榜"挡在门外。
4.3 提交格式要求(来自官方校验器源码)
validation/structure_validation.py 是官方提供的本地预检脚本,它把格式要求写死成代码,逐条如下:
| 检查项 | 规则 | 违反后果 |
|---|---|---|
| 文件类型 | 必须是 .zip |
直接拒收 |
| PDB 数量 | 必须恰好 400 个 .pdb |
缺一个即报错 |
| 文件命名 | {id}.pdb,如 blind_challenge_001.pdb |
缺失项会被列出(最多前 20 个) |
| 配体残基名 | 必须恰好一个 LIG 残基 |
缺 LIG 或多于一个均报错 |
| 链数 | 全文件最多 3 条链 | 超过即报错 |
| 配体连接性 | RDKit AssignBondOrdersFromTemplate 对齐给定 SMILES |
连接性不符即报错 |
一个容易踩的细节:校验器用 MDAnalysis 解析,链数按
u.segments统计,而 segments 的划分依赖文件里的链标识与 TER 记录。某些建模工具输出的 PDB 会把两条蛋白链合并处理或额外生成一个 segment,导致"3 链"判断失败。提交前务必跑一遍官方校验器。
4.4 为什么要求"恰好 400"
"缺一个算失败"的规则,配合成功率计分,实际上是在惩罚"挑简单的交"这种策略。想拿高分,必须全覆盖。这条规则在基线报告里也有体现:三份报告都强调提交 zip 通过了官方校验器、0 错误、400 个结构。
§5 任务定义与输出格式
5.1 输入
参赛者拿到的全部输入只有四样:
- FASTA:
inputs/NS2B-NS3_protein_sequence.fasta,两条链共 214 aa; - SMILES 表:400 行 CSV;
- apo 结构:PDB 8PN6(无配体复合物);
- 教程与基线:GitHub 仓库里的 notebook、示例输入、三份基线报告。
5.2 输出
每个化合物一个 PDB,必须包含:
- NS2B(Chain A)+ NS3(Chain B)两条蛋白链;
- 一个残基名为
LIG的配体; - 配体的原子连接性必须与 CSV 里的 SMILES 一致。
5.3 一个最小的提交包结构
submission.zip
├── blind_challenge_001.pdb
├── blind_challenge_002.pdb
├── ...
└── blind_challenge_400.pdb
5.4 与"亲和力预测"的根本区别
这一点必须反复强调:本挑战不考亲和力。提交物里没有任何打分(score)字段,评测也不看排序。哪怕你把 400 个分子的相对强弱排得完全正确,只要结构姿态不对,成功率为 0。这与同主办方此前的 ExpansionRx 挑战(考 ADMET 端点数值回归)是完全不同类型的任务。
§6 评测标准:三关硬卡
6.1 指标一:BiSyRMSD(结合位点叠合、对称校正)
定义:Binding-Site Superposed, Symmetry-Corrected Pose Root Mean Square Deviation。先把蛋白结合位点对齐,再计算配体重原子的 RMSD,并对配体的对称等价原子做最优匹配。
及格线:< 1.5 Å。
为什么不是 2 Å:官方明确说,2 Å 是领域惯用阈值,但本挑战选择更严的 1.5 Å,理由是——在高精度姿态恢复任务中,或评估碎片时,2 Å 的位移相对分子本身已经相当大。碎片只有 9–15 个重原子,2 Å 的偏差可能意味着整个分子从口袋的一侧滑到了另一侧。
实现细节:评测脚本 evaluate_predictions.py 用 OpenStructure 的 SCRMSDScorer。当 OST 无法匹配配体时,BiSyRMSD 记为一个很大的惩罚值 20.0 Å(BISYRMSD_NAN_PENALTY),因为该指标越小越好,20 Å 远超任何合理的结合位点 RMSD。
6.2 指标二:lDDT-PLI(蛋白-配体界面局部距离差异)
定义:Local Distance Difference Test for Protein-Ligand Interactions。比较预测与参考之间蛋白-配体原子间局部距离的一致性。
及格线:> 0.8。
为什么需要它:RMSD 只回答"配体的位置对不对",不回答"配体与周围残基的接触模式对不对"。一个配体可能整体位置正确但翻转 180°,RMSD 尚可而界面接触全错。lDDT-PLI 把界面距离分布逐对比较,能抓到这类错误。
6.3 指标三:PoseBusters(物理与化学合理性)
要求:全部检查通过。PoseBusters 检查的内容包括配体内部几何(键长、键角)、环的平面性、内部冲突、内部能量、与蛋白的最小距离、体积重叠,以及与 SMILES 的一致性(分子式、键、双键立体化学、四面体手性)。
为什么需要它:前两个指标都是"与参考比",一个化学上不可能的构象如果恰好在数值上接近参考,也可能过关。PoseBusters 是唯一不依赖参考的检查,用来排除"数值上像、物理上不存在"的姿态。
6.4 总分与统计
- 总分 = 成功率 = 三条件同时满足的化合物数 / 400。
- 缺失或不可评估的预测计为失败。
- 官方还会额外报告三个指标的全集平均值与 PoseBusters 通过率,用来区分不同的失败模式。
- 组间差异的统计显著性,采用与 OpenADMET “Peak Performance or Just Noise?” 一文相似的方法(bootstrap 重采样)。
6.5 评测脚本里的一个细节:bootstrap
evaluation/evaluate_predictions.py 的 bootstrap_structure_metrics 会对化合物做有放回重采样,每个 bootstrap 样本算一次均值。由于失败的化合物已经被填成最差惩罚值(lDDT 类填 0,BiSyRMSD 填 20),每次重采样里每个化合物都参与,不会因为 NaN 被剔除而人为抬高均值。
脚本还记录了一个 coverage 列:1.0 表示成功匹配并打分,0.0 表示失败。这个列是整份提交的属性,不参与 bootstrap。
6.6 多配体与链映射的兼容
评测脚本对同源多聚体的链映射做了容错:SCRMSDScorer 与 LDDTPLIScorer 可能独立选择互为逆映射的链对应(A→B 与 B→A),脚本判断只要两者互为逆映射就接受,不报错。对 NS2B-NS3 这种异二聚体,这条容错多数时候不触发,但说明作者考虑过更复杂的目标。
§7 官方基线:三个模型跑完 400 个化合物
OpenBind 在教程仓库 baseline-docs/ 下放了三份基线报告,全部在 NVIDIA GB10(Grace Hopper,128 GB 统一内存)上完成,每个模型对 400 个配体各生成 5 个 diffusion 样本(共 2,000 个复合物),再用 PoseBusters 0.6.5 挑选通过检查的样本作为提交。
7.1 三模型对照总表
| 模型 | 版本 | 训练截止 | 许可 | Rank-1 dock18 | 选后 dock18 | Rank-1 full22 | 选后 full22 | 推理速度 |
|---|---|---|---|---|---|---|---|---|
| AlphaFold 3 | 3.0.4 | 2021-09-30 | 参数非商用 | 369/400 (92.25%) | 397/400 (99.25%) | 327/400 (81.75%) | 361/400 (90.25%) | ~14.2 s/复合物,约 1.6 h |
| Boltz-2 | v2.2.1 | 2023-06-01 | MIT | 299/400 (74.75%) | 377/400 (94.25%) | 267/400 (66.75%) | 353/400 (88.25%) | ~7.9 s/复合物,约 53 min |
| OpenBind-0 | v0.5.0 (of3-ob) |
2025-06-30 | Apache 2.0 | 365/400 (91.25%) | 400/400 (100%) | 324/400 (81.00%) | 377/400 (94.25%) | 未单列 |
读表注意:dock18 指 PoseBusters
dock配置的 18 项检查;full22 是在此基础上再加分子式、键、双键立体化学、四面体手性与 SMILES 一致性的 22 项。这两个通过率都不是本挑战的总分——本挑战的总分要求三条件同时满足,这里的表只反映"物理有效性"这一关。
7.2 三份报告的三个共同结论
结论一:五样本筛选是刚需,rank-1 的物理有效性明显更差。
Boltz-2 的 rank-1 有 24.5% 的化合物存在与蛋白过近的接触(minimum_distance_to_protein 通过 302/400),五样本筛选救回其中 75 个。OpenBind-0 靠筛选把 minimum_distance_to_protein 从 366/400 拉到 400/400。这说明共折叠模型的首个样本不等于最优样本,直接交 rank-1 等于白送分。
结论二:四面体手性是 full22 的主要失分点。
三份报告都单列了 tetrahedral_chirality:AF3 选后失败 25/400、OpenBind-0 选后失败 23/400、Boltz-2 选后失败 25/400。而 full22 的总失分分别是 39(AF3,361/400 通过)、47(Boltz-2,353/400 通过)、23(OpenBind-0,377/400 通过)。对照可见:手性单项就吃掉了 full22 失分的六成以上(AF3 25/39、Boltz-2 25/47、OpenBind-0 23/23)。这提示:SMILES 里带 @ 的 84 个化合物要特别小心,模型的立体化学还原是最脆弱的一环。
结论三:模板与训练截止时间直接影响物理有效性。
AlphaFold 3 的参数训练截止为 2021-09-30,物理有效性 rank-1 却是三者最高(92.25%);OpenBind-0 训练截止 2025-06-30 且显式关闭模板(--use_templates=False),选后达到 100% dock18 通过。两者的对照说明,"更接近当下"的训练数据与"不用模板"的推理设定,对几何合理性各有贡献,不能简单归因。
7.3 OpenBind-0 是什么
OpenBind-0 是 OpenBind 自己在 2026-08-21 发布的完全开放的分子结构预测模型,版本 v0.5.0,容器名 of3-ob:latest,权重文件 of3-ob-2025-06-30-174k.pt,Apache 2.0 许可。从报告的命令行看,它基于 OpenFold3 生态(run_openfold predict),支持 MSA server 与模板开关。
它在三份报告里是唯一训练截止晚于挑战公告前一年的模型,也是唯一由主办方自己发布的模型——这带来一个方法学上的问题:主办方模型参加主办方挑战,是否构成不公平? 从规则看,OpenBind-0 只是一份基线,不参与排名;从方法学看,它的训练数据里是否包含 29HN 或相关复合物,报告未说明(遗留疑点)。
§8 方法学启示:三条可迁移的经验
8.1 经验一:阈值收紧要配套"多指标"
把 RMSD 从 2 Å 收到 1.5 Å,单看是提高了难度;但同时加 lDDT-PLI 与 PoseBusters,才真正改变了"什么算对"的定义。单独收紧一个阈值,只会让所有方法一起掉分,区分度反而下降。三指标组合的作用是:把不同的失败模式分开——位置错、界面错、几何错,各自有各自的指标接住。
8.2 经验二:提交格式校验要写进代码,而不是写在文档里
OpenBind 把格式要求做成了 structure_validation.py,参赛者本地就能跑。这个做法值得所有挑战赛借鉴:文档会过时、会被误读,代码不会。校验器覆盖的六条规则(zip、数量、命名、LIG 残基、链数、连接性)每一条都是实际踩过的坑。
8.3 经验三:实时榜只放一半,是防过拟合的必要设计
赛程中只展示约一半化合物的分数,等于给参赛者留了一半"看不见的考卷"。这个设计直接针对"对着榜单反复调参"的过拟合行为。代价是参赛者无法准确估计自己的真实水平,所以官方补了一次中期全量榜——在 11-11 那天给一次真实反馈,但仍然保留了一半的最终考卷。
§9 与库内条目的关系(重点:与 openadmet 系列不合并)
9.1 与 openadmet-expansionrx(rid=1110)的关系
这是必须讲清楚的一节。两个条目共享一个主办方、一个 Hugging Face 组织、一套 Discord 社区、一套榜单基础设施,但它们是两个不同的挑战:
| 维度 | OpenADMET ExpansionRx(rid=1110) | OpenBind 盲测挑战 1(本条目) |
|---|---|---|
| 主办 | OpenADMET × Expansion Therapeutics | OpenBind × OpenADMET × ASAP Discovery |
| 任务 | ADMET 端点数值回归(LogD、溶解度、清除率、蛋白结合等 9 项) | 蛋白-配体复合物三维结构预测 |
| 靶点 | Expansion Therapeutics 内部 RNA 介导疾病项目(多靶点、未公开) | 寨卡病毒 NS2B-NS3 蛋白酶(单一、公开) |
| 数据模态 | 表格(SMILES + 数值) | 晶体学结构(PDB)+ 小分子 SMILES |
| 规模 | 7,608 分子(train 5,326 + test 2,282) | 400 化合物 |
| 评估 | MA-RAE(宏平均相对绝对误差) | BiSyRMSD / lDDT-PLI / PoseBusters + 成功率 |
| 赛期 | 2025-10-27 → 2026-01-19 | 2026-10-14 → 2026-12-16 |
| 许可 | 完整集 CC-BY-4.0;盲测集 CC0-1.0 | HF 卡片 Apache-2.0;参考结构赛后释放 |
结论:不合并。 两者是同一"盲挑战流水线"上的两个不同产品:ExpansionRx 考"性质算得准不准",OpenBind 考"结构摆得对不对"。把它们合并会把两种完全不同的标注体系(回归标签 vs. 三维坐标)和两套评测口径混在一起,违反数据集条目"一个数据集一个身份"的基本原则。
可以互链的地方:两者共用 OpenADMET 的 Hugging Face 组织(huggingface.co/openadmet)、共用 Discord 社区(不同频道)、共用"盲挑战 + 榜单 + bootstrap 显著性检验"的方法学框架。正文读者如果关心 OpenADMET 这个组织的整体节奏,可以两个条目对读。
9.2 与结构类基准的关系
- pdb(rid=43):原始结构档案。本挑战的 apo 结构 8PN6 与构体 29HN 都在 PDB 里,赛后 400 个参考复合物大概率也会进入 PDB。
- pdbbind(rid=134):蛋白-配体亲和力基准。与本条共享"复合物"语言,但 pdbbind 的核心是亲和力标签,本挑战没有任何亲和力标签。
- plinder(rid=184):蛋白-配体交互数据集,偏"结构-相互作用"层面,与本条的评估维度(界面接触 lDDT-PLI)最接近。
- crossdocked2020(rid=164)与 dud-e(rid=144):合成对接基准的代表。与本条形成"合成 vs. 实验"的对照:crossdocked2020 的参考结构来自对接生成,本条的参考结构来自 X 射线晶体学浸泡。
- plumber(rid=1113):蛋白-配体未见靶点匹配基准,关注泛化到未见靶点;本条关注泛化到未见配体。两者是"泛化"这一命题的两个方向。
9.3 与疾病侧条目的关系
- sinan-dengue(rid=1089):巴西登革热与基孔肯雅通报数据。登革病毒与寨卡同属黄病毒科,本条讨论的 NS2B-NS3 蛋白酶在两者间高度同源,是交叉反应与广谱抗病毒研究的核心。但 sinan-dengue 是流行病学通报数据,与本条无数据层面的重叠,只构成疾病背景上的关联。
§10 避坑清单(坑 1–坑 10)
坑 1:把 apo 结构的 PDB 码记成 29HN。
官方公告正文写「we have provided a representative apo structure … PDB code 29HN」,但同一段又说 29HN 是闭合构象的双顺反子系统;HF 数据集卡片明确写 apo 是 8PN6,29HN 是 challenge 使用的闭合构象构体。RCSB 实测:29HN 无配体、2026-04-01 释放、1.774 Å;8PN6 2023-08-16 释放、1.61 Å。正确口径:apo 用 8PN6,构体码 29HN。两处原文并存照见 FACTS §9。
坑 2:用平均 RMSD 汇报成绩。
本挑战的总分是成功率,不是平均 RMSD。官方会额外报告平均 BiSyRMSD,但那只是辅助信息。如果你用平均 RMSD 和外部基准比较,等于换了一把尺子。
坑 3:只交 rank-1 样本。
Boltz-2 的官方基线显示,rank-1 有 24.5% 的化合物存在与蛋白过近接触,五样本筛选后救回 75 个。直接交第一个样本是白白丢分。多采样 + PoseBusters 筛选是标准动作。
坑 4:忽略四面体手性。
84 个化合物带 @ 标记,三个基线模型选后仍有 23–47 个在手性检查上失败。如果你的流程在 SMILES → 3D 转换时丢了手性,这一项会稳定失分。
坑 5:zip 里少交或多数文件。
校验器要求恰好 400 个 PDB。多一个、少一个都会被拦。文件名必须是 blind_challenge_XXX.pdb,三位数字补零,不能用别的格式。
坑 6:配体残基名不叫 LIG。
很多建模工具默认用 UNL、MOL 或自定义三字母码。必须改成 LIG,且只能有一个 LIG 残基(比如水分子或离子被误标成 LIG 就会出错)。
坑 7:链数超过 3。
校验器按 u.segments 统计链数,上限 3。有的工具会把两条蛋白链 + 配体算成 4 个 segment(例如额外生成一个空 segment 或把配体拆开),需要手工检查。
坑 8:配体连接性与 SMILES 不一致。
校验器用 RDKit 的 AssignBondOrdersFromTemplate 把提交的配体与给定 SMILES 对齐,连接性不符直接报错。质子化状态、互变异构体的差异都可能触发——如果模型在生理 pH 下加了质子,可能被判为"连接性不符"。
坑 9:以为实时榜分数就是最终分数。
实时榜只覆盖约一半化合物。在实时榜上排名靠前,不代表最终榜靠前。中期榜(11-11)是唯一一次全量反馈。
坑 10:以为赛后参考结构马上能下载。
官方只写"挑战结束后释放",没有给具体日期与许可。赛前做数据规划时,不要把"赛后立刻拿到 400 个参考结构"当作既定事实。
§11 DAIMS 评估
DAIMS(Dataset AI-readiness Maturity Score)是本库对数据集"AI 就绪度"的评估框架,从六个维度打分,每项 0–5 分。
| 维度 | 含义 | 本条评分 | 理由 |
|---|---|---|---|
| Data Availability(数据可得性) | 能否直接、稳定地下载 | 4 / 5 | HF gated=false 直接可下;但只有 400 行 CSV,参考结构赛后才有 |
| Annotation Quality(标注质量) | 标签是否可靠、有实验依据 | 5 / 5 | 全部来自 X 射线晶体学浸泡 + 人工复核,是当前最硬的标签来源 |
| Interoperability(互操作性) | 格式是否标准 | 4 / 5 | CSV + SMILES + PDB + FASTA 全是行业标准格式;扣分在于提交格式需要自写校验 |
| Metadata(元数据完备度) | 是否有充分的说明文档 | 4 / 5 | 公告 + HF 卡片 + 教程仓库 + 三份基线报告,相当完整;扣分在于参考结构许可未声明 |
| Scale(规模) | 数据量是否够支撑训练/评测 | 2 / 5 | 400 个化合物对评测够用,对训练完全不够;单一靶点也限制外推 |
| 总分 | — | 19 / 25 | 高质量、小规模、评测导向 |
一句话结论:这是一份"标注极硬、规模极小、定位为评测而非训练"的数据集。把它当训练集用是误用,把它当外部验证集用是当前少有的干净选择。
§12 总结
OpenBind 首届盲测挑战把"结构预测到底行不行"这个问题,从回顾性打分的舒适区拉到了前瞻性盲测的考场。它的设计有三处值得记住:
- 答案是实验的:400 个复合物全部来自 X 射线晶体学浸泡,不是对接生成的合成标签;
- 及格线是三关的:位置(BiSyRMSD)、界面(lDDT-PLI)、物理(PoseBusters)同时满足才算成功;
- 考卷是藏一半的:实时榜只放一半化合物,逼参赛者做真正的泛化而不是刷榜。
它与同主办方的 OpenADMET ExpansionRx(rid=1110)是"同一流水线上的两个不同产品",共享基础设施但不共享任务定义,不应合并。本条目把两者并列说明,正是为了让读者看清:OpenADMET 这个组织正在用同一套开源基础设施,覆盖从"性质预测"到"结构预测"的两类核心药物发现问题。
FAQ(高频问答 20 问)
Q1:OpenBind 和 OpenADMET 是什么关系?
OpenBind 是英国主导的开放结构生物学联盟(Diamond 为基地),举办本次挑战;OpenADMET 是合作伙伴,负责 Hugging Face 托管、Discord 社区与评测基础设施。挑战的 HF 组织、Space、Discord 都落在 OpenADMET 名下。
Q2:这个数据集能用来训练模型吗?
不能。公开部分只有 400 个 SMILES 和两条蛋白序列,没有参考结构。它的定位是评测集。
Q3:400 个化合物是随机的吗?
不是。它们来自三个来源:EUbOpen DSiP extension、Enamine Essential Fragments 两个碎片库,ASAP 在 hit-to-lead 阶段设计的后续化合物,以及 OpenBind 自己设计的碎片类似物。
Q4:为什么选寨卡?
寨卡目前没有获批的疫苗或抗病毒药,NS2B-NS3 蛋白酶是明确的抗病毒靶点;同时它已有大量公开结构,正好构成"有结构信息但配体全新"的盲测场景。
Q5:NS2B 和 NS3 分别是什么?
NS2B 是辅因子(46 aa),环绕 NS3 并参与构成活性位点;NS3 是蛋白酶域(168 aa),含 Ser-His-Asp 催化三联体。
Q6:为什么只研究闭合构象?
开放与超开放构象中,NS2B 参与底物结合的 C 端是无序的,被认为催化失活。闭合构象才有完整的活性口袋,适合碎片浸泡。
Q7:apo 结构到底是 8PN6 还是 29HN?
apo 代表结构是 8PN6;29HN 是本次挑战使用的闭合构象双顺反子构建体。官方公告把两者写混了(见坑 1)。
Q8:1.5 Å 阈值是什么概念?
比领域惯用的 2 Å 更严。对 9 个重原子的碎片来说,2 Å 的偏差可能等于整个分子滑出口袋。
Q9:lDDT-PLI > 0.8 难不难?
这是界面局部距离一致性指标,0.8 大致对应"大部分界面接触对得上"。它与 RMSD 互补,能抓出配体翻转类的错误。
Q10:PoseBusters 检查什么?
配体内部几何、环平面性、内部冲突、内部能量、与蛋白的最小距离、体积重叠,以及与 SMILES 的分子式/键/立体化学校验。
Q11:三个条件都要满足吗?
是。三条件同时满足才算一个成功复合物;总分是成功率。
Q12:缺交会怎样?
缺交或无法评估一律计为失败,直接拉低成功率。
Q13:可以只交一部分吗?
校验器要求恰好 400 个 PDB,少交会被本地校验器拦下;即使绕过校验器上传,缺失部分也会被算作失败。
Q14:能用专有数据吗?
可以,但必须申报,且最终榜单要求提交方法报告说明数据来源与代码/权重可得性。
Q15:官方给了基线吗?
给了三份:AlphaFold 3、Boltz-2、OpenBind-0,都在 400 个化合物上跑完了,含 PoseBusters 逐项通过率。
Q16:OpenBind-0 是什么?
OpenBind 自己在 2026-08-21 发布的开放结构预测模型(v0.5.0,Apache 2.0),基于 OpenFold3 生态。
Q17:比赛结束数据会公开吗?
官方写明赛后释放 400 个参考复合物,但没给具体日期与许可。
Q18:和 ExpansionRx 是同一个比赛吗?
不是。ExpansionRx 考 ADMET 端点回归,本条考三维结构。详见 §9。
Q19:为什么 HF 上的数据集标签是 apache-2.0?
这是数据集卡片的标注。参考结构的许可另算,不能想当然。
Q20:什么时候能看到结果?
终稿 2026-12-16 截止,之后公布结果、办 webinar、发结题博客。截至本条目核验日(2026-10-17),比赛仍在进行中。
事实清单(硬事实 24 条)
- 挑战名称:OpenBind Blind Challenge 1(首届)。
- 靶点:寨卡病毒 NS2B-NS3 蛋白酶。
- 化合物数:400。
- ID 格式:
blind_challenge_001至blind_challenge_400。 - 公开 CSV 行数:400(加表头)。
- CSV 列:
Molecule_Name、SMILES。 - SMILES 唯一数:400。
- 重原子范围:9–36。
- 重原子均值:22.36(自算)/ 22.37(官方报告)。
- 含卤素化合物:226 / 400。
- 含立体标记:84 / 400。
- NS2B 长度:46 aa。
- NS3 长度:168 aa。
- apo 结构:PDB 8PN6。
- 闭合构象构体:PDB 29HN。
- 29HN 分辨率:1.774 Å。
- 8PN6 分辨率:1.61 Å。
- 束线:Diamond I03 与 I04-1。
- 束线申请号:lb42888。
- 公告日:2026-09-30。
- 开赛日:2026-10-14。
- 中期榜截止:2026-11-11 23:59 UTC。
- 终稿截止:2026-12-16 23:59 UTC。
- 及格线:BiSyRMSD < 1.5 Å 且 lDDT-PLI > 0.8 且 PoseBusters 全通过。
术语表(22 条)
| 术语 | 英文 | 释义 |
|---|---|---|
| 盲测挑战 | blind challenge | 答案扣留、只发考题的前瞻性评测 |
| 共折叠 | co-folding | 同时预测蛋白与配体复合物结构的模型范式 |
| 分子对接 | molecular docking | 给定蛋白口袋搜索配体最优姿态的经典方法 |
| 碎片筛选 | fragment screening | 用低分子量碎片探测口袋的早期药物发现手段 |
| 浸泡 | soaking | 把化合物溶液渗入已有晶体以获得复合物结构 |
| 结合位点叠合 | binding-site superposition | 对齐蛋白口袋后再算配体偏差 |
| 对称校正 | symmetry correction | 对配体对称等价原子做最优匹配后再算 RMSD |
| BiSyRMSD | — | 结合位点叠合 + 对称校正的配体 RMSD |
| lDDT-PLI | Local Distance Difference Test for Protein-Ligand Interactions | 界面局部距离一致性 |
| lDDT-LP | lDDT for Ligand-Protein | 配体-蛋白方向的局部距离一致性 |
| PoseBusters | — | 一组检查配体姿态物理化学合理性的工具 |
| 成功率 | success rate | 三条件同时满足的化合物占比 |
| 中期榜 | interim leaderboard | 用全量化合物在赛程中途发布一次的榜单 |
| 实时榜 | live leaderboard | 赛程中持续更新、只覆盖约半数化合物的榜单 |
| bootstrap | bootstrap resampling | 有放回重采样估计统计不确定度 |
| apo 结构 | apo structure | 不含配体的蛋白结构 |
| 闭合构象 | closed conformation | NS2B 环绕 NS3 形成完整活性口袋的构象 |
| 超开放构象 | super-open conformation | NS2B C 端完全无序、催化失活的构象 |
| 双顺反子载体 | bicistronic vector | 同时表达两条蛋白链的载体 |
| 空间群 P4₃2₂ | P4322 space group | 本次晶体所属的四方空间群 |
| PanDDA | Pan-Dataset Density Analysis | 从大批晶体数据中识别弱结合事件的算法 |
| XChem | — | Diamond 的晶体学碎片筛选平台 |
附录 A:三份基线报告的逐项通过率要点
A.1 AlphaFold 3(3.0.4)
- 引擎:Google DeepMind AlphaFold 3,源码 Apache 2.0,参数非商用。
- 训练截止:2021-09-30。
- MSA:Chain A 80 条非配对 + 3,898 条配对 + 4 个 PDB 模板;Chain B 383 条非配对 + 11,411 条配对 + 4 个模板。
- 采样:
modelSeeds=[42],5 个 diffusion 样本。 - 速度:批处理 XLA 缓存预热约 77 s,之后每个复合物约 14.2 s,全量约 1.6 h。
- 结果:dock18 rank-1 369/400 → 选后 397/400;full22 327/400 → 361/400。
- 官方校验器:0 错误,400 个 PDB 通过。
A.2 Boltz-2(v2.2.1)
- 引擎:Boltz-2,MIT 许可,权重
boltz2_conf.ckpt。 - 训练截止:2023-06-01。
- MSA:ColabFold MMseqs2 预计算,Chain A
zika_ns2b.csv,Chain Bzika_ns3.csv。 - 采样:
--seed 42 --diffusion_samples 5。 - 速度:每个 5 样本复合物约 7.9 s,全量约 53 min。
- 结果:dock18 299/400 → 377/400;full22 267/400 → 353/400。
- 关键失分:
minimum_distance_to_proteinrank-1 通过 302/400(75.5%),五样本筛选救回 75 个,达到 377/400。
A.3 OpenBind-0(v0.5.0)
- 引擎:OpenBind-0,
of3-ob:latest容器,Apache 2.0,权重of3-ob-2025-06-30-174k.pt。 - 训练截止:2025-06-30。
- 采样:
--num_model_seeds=1 --num_diffusion_samples=5,--use_msa_server=True,--use_templates=False。 - 结果:dock18 365/400 → 400/400;full22 324/400 → 377/400。
- 特点:唯一一个 dock18 全通过的基线;失分集中在
tetrahedral_chirality(选后 23 个失败)。
附录 B:三个基线的失败模式对照
| 失败模式 | AF3 | Boltz-2 | OpenBind-0 | 解读 |
|---|---|---|---|---|
| 与蛋白过近接触(rank-1) | 31/400 | 98/400 | 34/400 | Boltz-2 最依赖多采样筛选 |
| 四面体手性(选后) | 39/400 | 47/400 | 23/400 | 立体化学是共同短板 |
| 内部冲突(rank-1) | — | 2/400 | 0/400 | 大部分模型内部几何是干净的 |
| 非芳香环非平面性(rank-1) | — | 1/400 | 1/400 | 极少 |
| 配体连接性(全部) | 0 错误 | 0 错误 | 0 错误 | 经官方校验器验证 |
说明:表中"rank-1"列为该模型第一个扩散样本的失败数;“选后"为五样本挑最优后的失败数。AF3 报告只单列了部分检查项,缺失处用”—"表示。
附录 C:如何用这个数据集做一次公平对标
- 用同一套 apo 结构:统一 8PN6,不要用自己找的其他构象,否则叠合基准不一致。
- 用同一套评分代码:直接用教程仓库的
evaluation/evaluate_predictions.py,不要另写 RMSD 脚本。BiSyRMSD 的对称校正实现差异极大。 - 报告三指标:只报 RMSD 不足以说明问题,至少报 lDDT-PLI 与 PoseBusters 通过率。
- 报告覆盖率:400 个里成功评估了多少个,必须写清楚。
- 区分实时榜与全量榜:如果做的是赛中分析,明确说明你看到的是哪一半。
- 别把本文的基线数字当竞赛成绩:三份基线只报了 PoseBusters 通过率,没报 BiSyRMSD 与 lDDT-PLI 的成功率,不能直接换算成本挑战的总分。
附录 D:XChem 流水线名词深读
PanDDA:Pan-Dataset Density Analysis。传统上判断一个晶体里是否结合了小分子,靠人去肉眼看差密度图;PanDDA 把同一蛋白的一大批数据集放在一起建模"背景噪声",从而把弱结合事件的信号抬出来。碎片结合弱、占据率低,PanDDA 几乎是必需的前置。
autoPanDDA / Pipedream:把 PanDDA 与后续的配体拟合自动化。Pipedream 在识别出结合事件之后,把化合物库里的分子拟合进密度并打分。两者的输出进入 XChemExplorer 人工复核。
XChemExplorer:Diamond 的碎片筛选数据管理与复核环境,把晶体、数据集、配体、事件记录串起来。
为什么不直接共结晶:碎片分子小、亲和力弱,共结晶往往拿不到复合物;浸泡能用同一批晶体试很多化合物,通量高得多。
附录 E:与 OpenADMET ExpansionRx 的对读指南
如果读者同时关心两个条目,建议按以下顺序读:
- 先读本条的 §1 与 §9,建立"两个挑战不是一回事"的基本判断;
- 再读 ExpansionRx 条目的 §3(九个端点)与 §4(挑战机制),理解"数值回归型盲挑战"的做法;
- 对照两者的评估口径:ExpansionRx 用 MA-RAE,本条用三指标成功率;
- 对照两者的时间切分:ExpansionRx 是"早期分子训练、晚期分子测试"的时间切分,本条是"结构公开、配体全新"的配体切分。
一句话:ExpansionRx 考"性质",OpenBind 考"结构";ExpansionRx 的时间切分防泄漏,OpenBind 的答案扣留防泄漏。
附录 F:数据文件清单(实抓存照)
| 文件 | 大小 | 内容 | 获取方式 |
|---|---|---|---|
README.md |
3,910 B | 数据集卡片,含字段说明、来源、致谢 | HF raw |
openbind-blind-challenge-1-TEST-BLINDED.csv |
24,204 B | 400 行化合物清单 | HF raw |
inputs/NS2B-NS3_protein_sequence.fasta |
335 B | 两条链序列 | GitHub 教程仓库 |
inputs/blind_challenge_001.yaml |
436 B | 单个化合物的 Boltz 输入示例 | GitHub 教程仓库 |
inputs/blind_challenge_001_model_0.cif |
131,589 B | 预生成的 Boltz-2 复合物示例 | GitHub 教程仓库 |
notebooks/structure_prediction.ipynb |
79,117 B | 教程 notebook | GitHub 教程仓库 |
outputs/example_structure_submission.zip |
12,064,960 B | 400 个 PDB 的示例提交包 | GitHub 教程仓库 |
evaluation/evaluate_predictions.py |
8,130 B | 官方评分脚本 | GitHub 教程仓库 |
validation/structure_validation.py |
5,512 B | 官方提交校验器 | GitHub 教程仓库 |
附录 G:挑战赛与库内其他"挑战赛数据集"的模式对照
| 数据集 | 模式 | 评测对象 | 与 OpenBind 的差异 |
|---|---|---|---|
| OpenBind(本条) | 结构预测盲测 | 三维姿态 | — |
| OpenADMET ExpansionRx(1110) | 性质回归盲测 | ADMET 端点数值 | 任务类型不同 |
| PLINDER(184) | 交互质量评测基准 | 界面接触与复合物质量 | 覆盖多靶点、非时间窗赛事 |
| DUD-E(144) | 虚拟筛选基准 | 富集因子 | 合成诱饵,非实验结构 |
| CrossDocked2020(164) | 对接训练/测试 | 对接姿态 | 合成参考结构 |
| PLINDER(184) | 交互质量评测 | 界面接触 | 覆盖多靶点 |
附录 H:读者角色阅读路径
如果你只有 5 分钟:读 INFOBOX + §0 + §6.4(总分怎么算)。
如果你要参赛:读 §4.3(提交格式)+ §6(三指标)+ §10(十个坑)+ 附录 C(公平对标)。
如果你要做基线:读 §7(三份官方基线)+ 附录 A(逐项数字)+ 附录 B(失败模式)。
如果你要选训练数据:读 §2.4(规模与分布)+ §11(DAIMS)+ §9.2(与结构类基准的互补关系)。
如果你是数据治理视角:读 §3(实验流水线)+ §9.1(与开放数据治理的关系)+ FACTS §6(许可口径冲突)。
附录 I:常见误解澄清
误解一:“OpenBind 是一个数据集。”
它是一个持续多年的联盟计划,本次是它的首届盲测挑战。400 个化合物是这个挑战的公开部分,不是联盟的全部产出。联盟在 2026-05 已经发布过 EV-A71 2A 蛋白酶的结构-亲和力数据集。
误解二:“HF 上 openadmet/openbind-blind-challenge-1 是 Space 还是 Dataset?”
两个都存在,同名:Dataset 放 CSV,Space 是提交门户。别搞混。
误解三:“400 个化合物都有参考结构,所以可以拿去训练。”
参考结构在挑战期内不公开。赛后释放的许可与范围也未声明。
误解四:“1.5 Å 就是所有配体的统一标准。”
是。挑战对所有化合物用同一个阈值,不按分子大小分级。这也是为什么碎片分子特别难。
误解五:“OpenBind-0 是专门为这个挑战训练的。”
从公开信息看不是:它的训练截止是 2025-06-30,早于挑战公告(2026-09-30),且报告称其为"fully open"的通用结构预测模型。但它是否在训练中见过相关复合物,报告未说明。
附录 J:时间线详表
| 日期 | 事件 |
|---|---|
| 2025-06-10 | Diamond 宣布将成为 OpenBind 基地 |
| 2025-07-18 | 英国部长访问 Diamond 背书 |
| 2026-03-02 | OpenBind 写入英国 AI for Science 战略 |
| 2026-05-05 | 首个数据发布:EV-A71 2A 结构-亲和力数据集(配套三篇博客) |
| 2026-08-18 | 盖茨基金会资助 |
| 2026-08-21 | OpenBind-0 模型发布(v0.5.0) |
| 2026-09-30 | 首届盲测挑战公告 |
| 2026-10-14 | 挑战正式启动 |
| 2026-11-11 | 中期榜单截止(23:59 UTC) |
| 2026-12-16 | 终稿提交截止(23:59 UTC) |
| 2026-12-16 后 | 结果、webinar、结题博客 |
附录 K:核心数字速查卡
| 数字 | 含义 |
|---|---|
| 400 | 化合物数 |
| 9–36 | 重原子范围 |
| 22.36 | 重原子均值 |
| 46 + 168 = 214 | 两条蛋白链氨基酸数 |
| 1.5 Å | BiSyRMSD 及格线 |
| 0.8 | lDDT-PLI 及格线 |
| 3 | 成功判定涉及的指标数 |
| 约 50% | 实时榜覆盖的化合物比例 |
| 8PN6 / 29HN | apo 结构 / 闭合构象构体 |
| I03 / I04-1 | 束线 |
| lb42888 | 束线申请号 |
| 2026-10-14 → 2026-12-16 | 赛程 |
附录 L:结语与免责说明
本条目依据 2026-10-17 可获取的公开材料撰写。挑战赛仍在进行中(终稿截止 2026-12-16),最终榜单、获奖方法与赛后参考结构的释放情况在本条目核验日尚未产生。文中所有"官方数字"均来自 OpenBind 官网公告、Hugging Face 数据集卡片、GitHub 教程仓库与 RCSB PDB REST API 的实抓;自算数字(重原子分布、SMILES 长度分布等)来自对 openbind-blind-challenge-1-TEST-BLINDED.csv 的本地统计,已与官方报告交叉核对。
本条目与 openadmet-expansionrx(rid=1110)为两个独立条目:前者考结构,后者考性质,共享主办方基础设施但不共享任务定义。任何将两者合并的表述均为误读。
附录 M:NS2B-NS3 蛋白酶靶点生物学深读
M.1 黄病毒多聚蛋白的一生
黄病毒科成员的基因组是一条正向单链 RNA,翻译出来是一条大的多聚蛋白(polyprotein),必须被切成十来个成熟蛋白才能各自工作。切割由两部分完成:宿主细胞的信号肽酶负责切结构蛋白端,病毒自己的 NS2B-NS3 丝氨酸蛋白酶负责切非结构蛋白端。
NS3 蛋白是双功能的:N 端约三分之一是丝氨酸蛋白酶域,C 端是 RNA 解旋酶域。NS2B 是 NS3 的辅因子,它的一小段(约 40 余个残基)必须环绕到 NS3 的活性位点上,与 NS3 共同构成底物结合的沟槽。没有 NS2B 的环绕,NS3 的活性位点是不完整的——这就是为什么药物设计几乎都针对"NS2B-NS3 复合物"而不是单独 NS3。
M.2 三种构象与"选哪个做靶点"
| 构象 | NS2B 状态 | 活性 | 能否用于碎片浸泡 |
|---|---|---|---|
| 闭合(closed) | NS2B 环绕 NS3,C 端有序参与底物结合 | 有 | 是,口袋完整 |
| 开放(open) | NS2B C 端部分无序 | 基本失活 | 否,口袋不完整 |
| 超开放(super-open) | NS2B C 端完全无序 | 失活 | 否 |
OpenBind 明确说明,正是因为这个原因,他们把研究对象锁定在闭合构象,并用双顺反子载体共表达两条链以获得稳定的闭合复合物。
值得注意的是:真实细胞里 NS2B-NS3 是在多种构象之间动态切换的。一个能完美对接闭合构象的分子,在细胞内未必有效,因为它可能先被开放构象"骗走"。这是本挑战数据的天然边界:它考的是"闭合构象下的结构预测",不是"细胞内的药效"。
M.3 为什么扁平的碎片口袋是对接方法的硬骨头
NS2B-NS3 的活性位点是一个相对浅、相对平坦的沟槽(S1–S4 亚位),而不是像激酶 ATP 口袋那样深而封闭。碎片分子(9–16 重原子)在这个沟槽里可能有多个能量接近的结合姿态,其中只有一个是晶体里看到的。
这带来两个后果:
- RMSD 的容差必须收紧:2 Å 的 RMSD 对一个 10 重原子的碎片来说,可能意味着它在沟槽里横移了一个亚位;
- lDDT-PLI 的价值被放大:位置相近但氢键网络不同的姿态,RMSD 看不出来,界面距离分布能看出来。
这也是本次挑战同时采用两把尺子的直接原因。
M.4 与登革病毒的关系:同源但不等价
寨卡与登革同属黄病毒属,NS2B-NS3 序列同源性较高,活性位点尤其保守。这带来两条重要推论:
- 交叉反应:针对寨卡 NS2B-NS3 设计的抑制剂,很可能对登革也有效,这是广谱抗黄病毒药物研究的基础;
- 选择性风险:正因活性位点保守,“只杀寨卡不伤登革”(或反之)的选择性设计非常困难。
本条目不做药物有效性判断,只指出:当研究者用这 400 个化合物训练出的模型去预测登革 NS2B-NS3 时,必须意识到这是同源迁移(homology transfer)而不是同靶点迁移。
附录 N:SMILES 与三维结构的"连接性陷阱"
N.1 一个具体的失败场景
假设一个化合物在 CSV 里的 SMILES 是中性的羧酸(...C(=O)O)。某个建模流程为了"更贴近生理",在生成三维结构前把羧酸去质子化成羧酸根(...C(=O)[O-])。
- 从化学直觉看,这一步是合理的;
- 从校验器看,RDKit 的
AssignBondOrdersFromTemplate会把提交的LIG与模板(给定 SMILES)对齐,电荷状态改变可能导致对齐失败或键级不匹配; - 结果:整份提交被判格式错误。
N.2 正确的处理顺序
- 先按 CSV 原样还原分子:不带任何质子化/互变异构体修改;
- 生成三维结构;
- 用官方校验器的逻辑自测:
Chem.MolFromPDBFile(..., removeHs=True, sanitize=False)+AssignBondOrdersFromTemplate; - 确认无误再批量生成 400 个。
N.3 立体化学的第二种陷阱
CSV 里有 84 个化合物带 @(手性标记)。建模工具在 3D 嵌入时可能:
- 生成正确的手性;
- 生成对映体(镜像);
- 生成非对映体(部分手性中心翻转)。
第二种情况在 PoseBusters 的 tetrahedral_chirality 检查里会直接失败,而 BiSyRMSD 可能仍然很好。三份基线报告显示这项是三模型共同短板,说明这不是个别实现的问题,而是共折叠范式在立体化学上的系统性弱点。
附录 O:评估脚本解剖
O.1 评测入口
evaluation/evaluate_predictions.py 提供四个函数:
| 函数 | 作用 |
|---|---|
score_single_structure |
对单个预测 PDB 与参考 PDB 打分 |
score_structure_predictions |
对整批预测打分,生成逐化合物表 |
bootstrap_structure_metrics |
对逐化合物表做 bootstrap 聚合 |
(配合 utils)bootstrap_sampling |
生成重采样索引 |
O.2 单结构评分的两步
- 用
PDBPrep(..., fault_tolerant=True)读入模型与参考,容错模式保证单个坏文件不会中断整批评分; - 提取
rname=LIG的配体,分别交给SCRMSDScorer(出 BiSyRMSD 与 lDDT-LP)和LDDTPLIScorer(出 lDDT-PLI)。
两条评分的链映射可能互为逆序,脚本做了兼容判断。
O.3 多个配体时的选优规则
如果模型与参考之间存在多组配体对应关系,脚本按 (-lDDT-PLI, BiSyRMSD) 排序取第一组。也就是先看界面相似度,界面相同再看位置偏差。
O.4 失败惩罚表
| 指标 | 失败时填入 | 原因 |
|---|---|---|
| lDDT-PLI | 0.0 | 越大越好,0 为最差 |
| lDDT-LP | 0.0 | 越大越好 |
| BiSyRMSD | 20.0 Å | 越小越好,20 Å 远超合理范围 |
这套填充保证 bootstrap 时每个化合物都被计入,不会因为 NaN 被剔除而虚高。
O.5 一个容易被忽略的细节
脚本只对 predicted_structures 里出现、且 ground_truth_structures 里也有的化合物打分。未提交的化合物不会出现在逐化合物表里。也就是说,"成功率"的分母如果在你自己写的分析脚本里按"表行数"算,会得到偏高的结果;官方口径是固定 400。
附录 P:教程仓库的使用路径
P.1 环境
# environment.yaml(教程仓库提供)
name: openbind_challenge_tutorial
# 主要依赖:rdkit、mdanalysis、jupyter、ost(OpenStructure)
conda env create -f environment.yaml
conda activate openbind_challenge_tutorial
jupyter lab notebooks/structure_prediction.ipynb
P.2 notebook 的六步
- 从 Hugging Face 加载盲测配体列表;
- 准备输入(SMILES 解析、蛋白 FASTA);
- 配体集探索性分析(骨架多样性、描述符分布);
- 检视一个预生成的 Boltz-2 复合物;
- 理解提交如何被评分;
- 构建并校验提交 zip。
P.3 三个示例文件的价值
inputs/blind_challenge_001.yaml:一个 Boltz 输入的标准写法,可直接改 SMILES 复用;inputs/blind_challenge_001_model_0.cif:一个真实生成的复合物,用来对照格式;outputs/example_structure_submission.zip:400 个 PDB 的完整示例包,拿来先跑一遍校验器是最快的格式自查方式。
附录 Q:如何设计一次有说服力的参赛方案
Q.1 三阶段策略
| 阶段 | 动作 | 目标 |
|---|---|---|
| 探索期(开赛 1–2 周) | 跑通三个基线,确认环境与校验器 | 排除工程问题 |
| 主攻期(10 月中–11 月初) | 选定 1–2 条主线(对接 / 共折叠 / 混合),做多采样与筛选 | 拿到中期榜全量反馈 |
| 收尾期(11 月中–12 月中) | 针对中期榜暴露的失败模式定向改进,补齐短板 | 提升成功率而非平均分 |
Q.2 三条主线各自的取舍
纯对接路线(如 Glide、Vina、gnina):
- 优势:快、可解释、对碎片口袋有一定经验;
- 劣势:打分函数对碎片态的处理弱,蛋白柔性基本忽略;
- 适配:适合作为"兜底方案",保证 400 个全覆盖。
共折叠路线(AF3 / Boltz-2 / OpenBind-0):
- 优势:能同时预测蛋白与配体,对诱导契合有一定能力;
- 劣势:立体化学与近接触是系统性弱点;
- 适配:多采样 + PoseBusters 筛选几乎是必需。
混合路线:
- 用对接生成候选姿态,用共折叠或物理精修筛选;
- 或者反过来:共折叠出初始姿态,用局部对接精修。
- 这是官方公告鼓励的方向(“workflows that combine different approaches”)。
Q.3 申报时的注意事项
官方明确要求进最终榜必须提交方法报告,并声明:
- 是否使用专有数据;
- 代码是否公开;
- 模型权重是否公开。
这不是形式要求。使用专有训练数据仍可参赛,但必须申报;不申报一旦被发现,成绩作废的风险很高。反过来,完全开源的方案即使分数不顶尖,也在"可复现"这一维度上有独立价值。
附录 R:与库内条目互链建议(供发布侧参考)
说明:以下 rid 均为本条目核验日(2026-10-17)DB 实查结果,链接请以主会话入库后回填的正式 URL 为准。
| 目标条目 | rid | 互链理由 | 建议链接位置 |
|---|---|---|---|
| openadmet-expansionrx | 1110 | 同主办方姊妹盲挑战,任务不同(性质 vs 结构) | 正文 §9.1、附录 E |
| pdb | 43 | 8PN6 / 29HN 与赛后复合物的归档地 | §9.2 |
| pdbbind | 134 | 亲和力基准,与本条共享复合物语言 | §9.2 |
| plinder | 184 | 交互质量评测,与本条 lDDT-PLI 维度最接近 | §9.2 |
| crossdocked2020 | 164 | 合成对接基准,构成"合成 vs 实验"对照 | §9.2 |
| dud-e | 144 | 虚拟筛选基准,合成诱饵 | §9.2 |
| plumber | 1113 | 未见靶点匹配基准,泛化命题的另一方向 | §9.2 |
| sinan-dengue | 1089 | 黄病毒科疾病背景,无数据重叠 | §9.3 |
附录 S:常见提问的深入回答
问:为什么 OpenBind 要自己设计化合物?
答:三个来源各有局限。EUbOpen 与 Enamine 的碎片数量大但化学型分散;ASAP 的后续化合物成系列但数量有限。OpenBind 自己设计碎片类似物,可以在已知有结合的位置上做系统的取代基扫描,增加"结构-活性"信息的密度。这也是为什么 400 个化合物里有明显的"系列感"(重原子 21–23 集中了 133 个)。
问:为什么不用 AlphaFold 3 直接解析结构?
答:AF3 预测的是结构,不是实验结构。本挑战的参考结构来自晶体学,AF3 只是基线之一。官方把 AF3 列为基线,是用它来衡量"当前最好的共折叠模型在盲测下能走到哪"。
问:OpenBind-0 的成绩是否说明"主办方模型有优势"?
答:不能直接下结论。OpenBind-0 的 dock18 选后 100% 通过,但它同样在 full22 上失分 23 个(手性),说明它不是"完美"。更关键的是:dock18 只是物理有效性,不是本挑战的总分;三份基线都没有报 BiSyRMSD 与 lDDT-PLI 的成功率,所以无法从公开报告推断三者在真正榜单上的相对位置。
问:这个挑战对临床有什么直接意义?
答:短期内没有。它考的是方法学,不是药物。长期看,如果结构预测方法能在盲测下稳定达到高成功率,抗病毒药物的早期发现周期可能缩短——这是 OpenBind 联盟"五年内显著增加公开蛋白-配体结构数量"的长期目标的一部分。
问:为什么数据集这么小还值得做成一个条目?
答:条目评价的不是"数据量",而是"这份数据在方法学上的独特位置"。400 个化合物 + 三指标硬卡 + 全流程可复现 + 实验来源可信,这在当前的结构预测评测里非常稀缺。库内 DAIMS 给它 19/25,扣分主要在规模,而不是质量。
附录 T:数据准备检查清单(参赛者视角)
- [ ] 已加入挑战 Discord 的
#openbind-challenge频道 - [ ] 已从 HF 下载 400 行 CSV,确认行数为 400
- [ ] 已确认 ID 是三位数字补零(
001不是1) - [ ] 已从教程仓库拿到 FASTA,确认两条链共 214 aa
- [ ] 已确认 apo 结构用 8PN6
- [ ] 已完成 400 个 SMILES 的 RDKit 解析,无解析失败
- [ ] 已统计带
@的化合物数量(应为 84),对手性做了专门处理 - [ ] 已本地跑通
validation/structure_validation.py,0 错误 - [ ] 已在 HF Space 的 Submissions 页试传一次,收到成功回执
- [ ] 已准备方法报告草稿(含数据来源、代码、权重可得性声明)
附录 U:本条目与其他"盲挑战"条目的读法差异
库内已有多个带"挑战/基准"字样的条目。读法上的关键差异在于评分对象:
| 评分对象 | 代表条目 | 读的时候重点看什么 |
|---|---|---|
| 数值预测精度 | openadmet-expansionrx(1110)、tdc(131) | 指标定义、切分方式、端点粒度 |
| 三维结构姿态 | OpenBind(本条) | 叠合方式、对称校正、物理校验 |
| 检索/富集能力 | dud-e(144) | 诱饵构造、EF 曲线 |
| 交互质量 | plinder(184) | 界面定义、复合物过滤 |
| 泛化到新靶点 | plumber(1113) | 未见靶点的划分方式 |
同一个模型在不同评分对象上的表现可以完全脱节:一个在 ADMET 回归上很强的模型,可能完全不会预测结构;一个对接很强的工具,可能连 SMILES 解析都不稳定。不要把跨条目的分数放在一起比较。
附录 V:原文表述存照(关键句)
以下为官方公告与 HF 卡片中的关键表述,保留英文原文以便核对:
- 规模:「predict protein–ligand complexes for 400 compounds, spanning small fragments to larger, lead-like molecules」。
- 赛程:「The challenge opens on 14 October 2026, with final submissions due on 16 December 2026」。
- 判定:「a prediction will be considered successful only if it achieves ligand BiSyRMSD < 1.5 Å, lDDT-PLI > 0.8, and passes all PoseBusters validity checks」。
- 总分:「The overall challenge score will be the fraction of complexes successfully predicted」。
- 实时榜:「report performance on approximately half of the compounds throughout the challenge」。
- 提交:「one protein–ligand complex for each of the 400 compounds」,「package these PDB files in a single ZIP archive」。
- 构体:「crystals in the P4322 space group with only one NS2B-NS3 complex in the asymmetric unit」(PDB 29HN)。
- 数据来源:「fragments from the EUbOpen DSiP extension and the Enamine Essential Fragments Libraries, follow-on compounds designed by the ASAP Discovery Consortium」。
- 束线:「beamlines I03 and I04-1 at Diamond Light Source」(proposal lb42888)。
- 软件:「autoPanDDA and Pipedream」,「refined in the XChemExplorer environment」。
附录 W:英文检索关键词组合
如需在外网检索本挑战的后续进展,可用以下组合:
"OpenBind" "Blind Challenge" "NS2B-NS3""blind_challenge_001" SMILES"openadmet/openbind-blind-challenge-1""BiSyRMSD" "lDDT-PLI" PoseBusters"Zika" "NS2B-NS3" "fragment screening" XChem"OpenBind-0" of3-ob"ASAP Discovery" "Zika" protease hit-to-lead
附录 X:易混概念辨析
| 概念 A | 概念 B | 区别 |
|---|---|---|
| RMSD | BiSyRMSD | 后者先做结合位点叠合 + 对称校正 |
| lDDT(蛋白) | lDDT-PLI | 后者只看蛋白-配体界面距离 |
| PoseBusters | 分子对接 | 前者是检查工具,不产生姿态 |
| 对接 | 共折叠 | 前者固定蛋白、搜配体;后者同时预测两者 |
| 共结晶 | 浸泡 | 前者一起长晶体;后者把化合物渗入已有晶体 |
| 亲和力 | 姿态 | 前者是结合强度,后者是三维构型;本挑战只考后者 |
| PDB 8PN6 | PDB 29HN | 前者 apo,后者闭合构象构体 |
| 实时榜 | 中期榜 | 前者约半数化合物持续更新;后者全量一次性 |
附录 Y:对"AI-Ready"的再评估
按本库的 AI-Ready 定义(可直接被模型消费、标注可靠、格式标准、许可清晰),本数据集的状态是:
| 条件 | 满足度 | 说明 |
|---|---|---|
| 可直接加载 | 是 | CSV 一行一化合物,SMILES 列可直接喂 RDKit |
| 标注可靠 | 是(但扣留) | 实验晶体学 + 人工复核;赛后才可得 |
| 格式标准 | 是 | CSV / PDB / FASTA / SMILES 全是通用格式 |
| 许可清晰 | 部分 | HF 卡片 Apache-2.0;参考结构待定 |
| 规模足够训练 | 否 | 400 个、单靶点 |
| 规模足够评测 | 是 | 400 个盲测配体已是同类赛事的正常规模 |
结论:它是"评测就绪"(benchmark-ready)的典范,不是"训练就绪"(train-ready)的数据集。把它放进 AI-Ready 序列时,应标注为评测型而非训练型。
附录 Z:致谢与资助链
| 角色 | 机构 | 贡献 |
|---|---|---|
| 主办 | OpenBind 联盟 | 出题、产数据、办赛 |
| 托管与评测 | OpenADMET | HF 组织、Space、Discord、bootstrap 方法学 |
| 化合物与化学 | ASAP Discovery Consortium | hit-to-lead 化合物 |
| 束线与实验 | Diamond Light Source | I03 / I04-1、XChem、autoPanDDA、Pipedream |
| 资助 | 英国 DSIT | grant G2-SCH-2025-06-16537 |
| 资助 | NIH NIAID AViDD | U19AI171399(ASAP 部分数据) |
| 资助 | Gates Foundation | 2026-08-18 公布 |
| 支持 | Radial(Astera Institute) | OpenADMET 盲挑战持续支持 |
附录 AA:一句话回答十个进阶问题
- 为什么是结构不是亲和力? 结构预测的可评测性更强,参考结构可从晶体学直接得到。
- 为什么是 400 不是 4,000? 每个化合物都要真的解析出复合物,实验通量决定上限。
- 为什么要三个指标? 分别接住位置错、界面错、几何错三类失败。
- 为什么实时榜只放一半? 防对着榜单过拟合。
- 为什么要求方法报告? 挡住不可复现的黑箱成绩。
- 为什么 apo 用 8PN6? 它是 2023 年发布的、与本构体匹配的无配体结构。
- 为什么 29HN 被误写成 apo? 官方公告把构体码与 apo 码写混了,见坑 1。
- 为什么基线都做五样本筛选? 首样本的物理有效性明显更差。
- 为什么碎片更难? 重原子少、口袋浅,同样 1.5 Å 对小分子更苛刻。
- 为什么和 ExpansionRx 不合并? 一个考性质、一个考结构,标注体系完全不同。
附录 AB:内容边界声明
本条目只描述数据与赛事机制,不提供:
- 任何参赛策略的分数承诺;
- 对特定商业软件或模型的优劣判定;
- 对寨卡疫苗或抗病毒药物有效性的临床判断;
- 对赛后参考结构许可的推测性结论。
所有数字均注明来源;自算数字与官方数字并列时已标注口径差异。
附录 AC:命令行一步步跑通(新手向)
本节假设你从零开始,机器上已有 conda 与英伟达 GPU(或有足够的 CPU 内存跑小批量)。
AC.1 拿数据
# 化合物清单
curl -L -o blind_challenge_1.csv \
https://huggingface.co/datasets/openadmet/openbind-blind-challenge-1/resolve/main/openbind-blind-challenge-1-TEST-BLINDED.csv
# 教程仓库(含 FASTA、校验器、评测脚本、基线报告)
git clone https://github.com/OpenADMET/OpenBind-Challenge-1-Tutorial.git
cd OpenBind-Challenge-1-Tutorial
AC.2 先验一遍"空提交"
最快的格式自查方法,不是先跑模型,而是先用官方示例包跑一遍校验器:
python - <<'PY'
from validation.structure_validation import validate_structure_submission
ok, errs = validate_structure_submission(
"outputs/example_structure_submission.zip"
)
print(ok, len(errs))
PY
如果这一步就报错,问题在环境(比如 MDAnalysis 版本),不在你的模型。先把环境跑通再谈建模。
AC.3 单化合物试跑(Boltz-2 示例)
boltz predict ./boltz_inputs \
--out_dir ./preds_boltz2 \
--diffusion_samples 5 \
--output_format pdb \
--seed 42
跑完先看输出的 PDB:是否有 LIG 残基、链数是否 ≤3、配体原子数是否与 SMILES 一致。单化合物不能通过这三条,批量跑 400 个必然是浪费。
AC.4 批量与打包
# 伪代码:逐化合物生成 blind_challenge_XXX.pdb
for i in $(seq -w 1 400); do
cp preds/${i}/model_0.pdb submission/blind_challenge_${i}.pdb
done
zip -r submission.zip submission/
注意 seq -w 的补零宽度是 2,需要改成 printf "blind_challenge_%03d.pdb" 才是三位补零。这是最容易出错的一行。
AC.5 提交前最后一公里
- 本地跑官方校验器,确认 0 错误;
- 在 HF Space 的 Submissions 页上传;
- 到 Discord
#openbind-challenge频道确认收到回执; - 记录提交时间戳——中期榜与终稿榜都按 UTC 23:59 截断。
附录 AD:数据质量观察
AD.1 一份"看不见"的数据集如何评价质量
参考结构不可见,质量只能从侧面推断:
| 侧面 | 观察 | 推断 |
|---|---|---|
| 实验方法 | X 射线晶体学,P4₃2₂,单复合物/不对称单元 | 结构解析歧义少,配体归属清晰 |
| 复核流程 | XChemExplorer 人工检查 | 结合事件经过人工确认 |
| 蛋白构体 | 双顺反子共表达闭合构象 | 活性口袋完整,适合碎片 |
| 配体来源 | 三个库混合 | 化学型多样,但分布不均 |
| 分辨率 | 29HN 1.774 Å;8PN6 1.61 Å | 属于碎片筛选常见分辨率,配体密度可辨 |
AD.2 已知的不确定性
- 弱结合碎片的占据率:碎片亲和力常在 mM 级,占据率低,姿态的可信度低于强结合配体;
- 水的角色:NS2B-NS3 活性位点有若干结构水,是否在参考结构中保留会影响 lDDT-PLI;
- 构象选择:闭合构象的晶体结构可能受晶格堆积影响,与溶液态有差异。
AD.3 对使用者的建议
不要把这 400 个结构当成"绝对真理"。它们是在特定实验条件下得到的高质量快照,用于评测方法时,应同时关注"方法在多大程度上能复现这类快照",而不是"方法是否发现了唯一的正确答案"。
附录 AE:为什么"成功率"比"平均分"更适合盲测
AE.1 平均分的问题
设甲方法 400 个里 300 个极准(RMSD 0.3 Å)、100 个完全错(RMSD 8 Å),平均 RMSD 约 2.2 Å;乙方法 400 个里 380 个中等(RMSD 1.4 Å)、20 个错,平均 RMSD 约 1.7 Å。按平均分乙胜,按"1.5 Å 内成功率"甲 300/400、乙 380/400 仍乙胜——这个例子还不够极端。
真正的问题出现在长尾:一个方法只要有少数几个灾难性错误(配体跑到蛋白另一侧,RMSD 30 Å),就会把平均分大幅拉低,掩盖它在绝大多数化合物上其实很好。反之,一个"全员平庸"的方法平均分可能更漂亮。
AE.2 成功率的优势
- 对长尾不敏感:错的都算 0,不会因为错得离谱而额外扣分(但也不会因为错得"接近"而得部分分);
- 可解释:0.62 的成功率意味着"62% 的化合物三关全过",任何人一看就懂;
- 与真实使用场景贴合:药物化学家不会用"平均 RMSD",只会问"这个分子预测得对不对"。
AE.3 代价
- 丢失了"接近成功"的信息:RMSD 1.6 Å 和 16 Å 都算失败;
- 对阈值敏感:1.5 Å 与 2.0 Å 会给出不同的排序。
官方用"额外报告平均 BiSyRMSD、lDDT-PLI、PoseBusters 通过率"来缓解第一点代价,这是很务实的设计。
附录 AF:从 2026 年的视角看结构预测评测的演进
AF.1 三阶段
| 阶段 | 代表 | 特征 | 局限 |
|---|---|---|---|
| 回顾性基准 | PDBbind、CrossDocked2020 | 参考结构在训练集里 | 泄漏导致虚高 |
| 时间切分 | 部分亲和力挑战 | 测试集晚于训练集 | 结构仍可能见过 |
| 前瞻盲测 | OpenBind、ExpansionRx | 答案在赛期内完全不可见 | 规模小、靶点少 |
AF.2 盲测的三条硬要求
- 参考结构必须在赛前就已确定且不可泄露——OpenBind 的 400 个复合物在开赛前就已完成实验;
- 评测脚本必须公开——GitHub 上的
evaluation/让参赛者能本地复现评分; - 必须有多指标——单一指标容易被针对性优化。
这三条在本次挑战里全部满足,是它区别于"营销型挑战赛"的关键。
AF.3 尚未解决的问题
- 规模:400 个化合物对统计显著性够不够?官方用 bootstrap 处理,但 400 个样本的置信区间仍然较宽;
- 靶点单一:结论能否推广到激酶、GPCR 等其他口袋类型,未知;
- 赛后基准化:参考结构释放后,这批数据会不会进入下一代模型的训练集,从而失去"盲测"价值?这是所有前瞻挑战共同的宿命。
附录 AG:给数据工程师的 schema 说明
如果把本挑战的数据接入内部管线,建议的最小 schema 如下:
-- 挑战定义表
CREATE TABLE challenge (
challenge_id TEXT PRIMARY KEY, -- 'openbind-blind-challenge-1'
target_name TEXT NOT NULL, -- 'Zika virus NS2B-NS3 protease'
target_pdb_apo TEXT, -- '8PN6'
target_pdb_holo TEXT, -- '29HN'
n_compounds INTEGER, -- 400
open_date DATE, -- 2026-10-14
interim_deadline TIMESTAMP, -- 2026-11-11 23:59 UTC
final_deadline TIMESTAMP, -- 2026-12-16 23:59 UTC
score_definition TEXT -- 'success rate under 3 criteria'
);
-- 化合物表
CREATE TABLE compound (
challenge_id TEXT REFERENCES challenge(challenge_id),
molecule_name TEXT, -- 'blind_challenge_001'
smiles TEXT NOT NULL,
heavy_atoms INTEGER,
has_stereo BOOLEAN,
PRIMARY KEY (challenge_id, molecule_name)
);
-- 提交表
CREATE TABLE submission (
submission_id BIGSERIAL PRIMARY KEY,
challenge_id TEXT,
team TEXT,
submitted_at TIMESTAMP,
n_files INTEGER, -- 必须 = 400
validator_ok BOOLEAN,
success_rate NUMERIC(5,4),
mean_bisyrmsd NUMERIC(6,3),
mean_lddt_pli NUMERIC(5,4),
posebusters_ok NUMERIC(5,4)
);
三个字段值得特别强调:
n_files必须与challenge.n_compounds一致,用于拦截不完整提交;validator_ok来自官方校验器的输出,不是自己写的检查;success_rate的分母固定为 400,不是实际提交数。
附录 AH:参赛者常问的十二个"细节问题"
Q1:文件名要不要包含路径?
不要。zip 内的路径无关紧要,但文件名必须是 blind_challenge_XXX.pdb,Path(name).stem 会被用来匹配 ID。
Q2:PDB 里能不能有多余的 HETATM(水、离子)?
校验器只要求"恰好一个 LIG 残基",并对链数设上限 3。多余的水分子一般不会让校验失败,但会增加评分时的噪声,建议清理。
Q3:氢原子要不要保留?
校验器用 removeHs=True 读取配体,重原子匹配为主。但保留氢有助于 PoseBusters 的键长键角检查。建议保留并正确命名元素。
Q4:蛋白侧链要不要全?
参考结构来自晶体学,部分残基可能缺失。预测时用 8PN6 的完整序列更稳。
Q5:能否用 AlphaFold 3 的服务器版?
AF3 参数非商用,商用场景需谨慎。官方基线用的是本地部署。
Q6:Boltz-2 的 MIT 许可允许商用吗?
允许。但训练数据来源与下游合规需自行评估。
Q7:多采样多少合适?
官方基线用 5 个。更多样本会提高物理有效性,但成本线性增长。
Q8:能不能只对"有把握"的化合物多采样?
可以。校验器只要求 400 个文件齐全,不要求采样数一致。资源有限的团队常这么做。
Q9:实时榜显示多少分?
约一半化合物。具体是哪一半,官方未公开。
Q10:中期榜用全量,会不会泄露全部答案?
不会。中期榜只发布聚合分数,不发布参考结构。
Q11:赛后参考结构会包含全部 400 个吗?
官方表述是释放挑战数据集,按常规应包含全部。具体范围待公告。
Q12:能不能用本挑战数据训练商业模型?
数据卡片标 Apache-2.0,但参考结构许可未定。建议等赛后官方条款明确后再做商用决定。
附录 AI:三份基线报告的推理成本对照
| 模型 | 硬件 | 单复合物耗时 | 400 个全量 | 5 样本总结构数 | 显存需求 |
|---|---|---|---|---|---|
| AlphaFold 3 | NVIDIA GB10(128 GB 统一内存) | ~14.2 s | ~1.6 h | 2,000 | 大(含 MSA 与模板) |
| Boltz-2 | NVIDIA GB10 | ~7.9 s | ~53 min | 2,000 | 中 |
| OpenBind-0 | NVIDIA GB10 | 未单列 | 未单列 | 2,000 | 中 |
这张表最实用的信息是:一个 400 化合物、214 残基靶点的结构预测任务,在单台工作站上数小时就能跑完全量。这意味着这场比赛的门槛不在算力,而在方法设计与工程细节(多采样筛选、格式校验、立体化学)。
附录 AJ:错误日志速查
| 报错 | 根因 | 处理 |
|---|---|---|
Zip file contains N .pdb files, expected 400 |
文件数不对 | 补齐或去重 |
Missing N expected structure(s) |
ID 命名不符 | 检查三位补零 |
Missing residue 'LIG' |
残基名不对 | 改 LIG |
Found N 'LIG' residues, expected 1 |
多个 LIG | 清理多余配体 |
Found N chains, expected 3 or fewer |
segment 划分异常 | 检查 TER / 链标识 |
Ligand connectivity does not match expected SMILES |
质子化/互变异构/键级 | 按原始 SMILES 还原 |
MDAnalysis failed to parse file |
PDB 格式损坏 | 用标准工具重写 |
File is not a valid zip archive |
压缩格式问题 | 用 zip -r 重新打包 |
附录 AK:结语补充——这份数据的三重身份
- 一份考卷:400 个化合物的 SMILES,加上一条明确的三关及格线;
- 一次实验:XChem 流水线在单一靶点上规模化产出的 400 个真实复合物;
- 一个方法学宣言:把结构预测评测从"回顾性刷分"推向"前瞻性盲测"。
三者叠加,才是 OpenBind 盲测挑战 1 的完整身份。只看其中任何一个,都会误判它的价值。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- meddra — 共享标签:药物发现与化学 / 公共卫生与流行病学
- openadmet-expansionrx — 共享标签:药物发现与化学 / 评测基准 / 挑战赛数据集
- interactbind — 共享标签:药物发现与化学 / 分子对接 / 评测基准
- kiba — 共享标签:药物发现与化学 / 分子对接 / 评测基准
- ppb-affinity — 共享标签:药物发现与化学 / 分子对接 / 评测基准
- csar — 共享标签:药物发现与化学 / 分子对接 / 评测基准
- pdbbind — 共享标签:药物发现与化学 / 分子对接
- dud-e — 共享标签:药物发现与化学 / 分子对接
- tus-rec — 共享标签:评测基准 / 挑战赛数据集
- qmugs — 共享标签:药物发现与化学 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

