信息速览
INFOBOX — PLUMBER 一屏速览
维度 内容 全称 PLUMBER = Protein–Ligand Unseen Matching Benchmark for Evaluating Robustness 本质 序列基蛋白-配体结合预测基准（curated benchmark，非新采集实验数据） 出品方 Bioptic（创建者 Vlad Vinogradov）；经 Valence Labs 的 Polaris Hub 发布 发布日 2024-11-15（官方博客 + Polaris 页面双源一致） 规模 约 180 万条（~1.8M）活性值，四源互证 源数据 ChEMBL + BindingDB + BioLip2 三源再加工 任务 结合事件分类（is_active，Ki/Kd < 1 μM）+ 亲和力回归（Ki/Kd/IC50/EC50 + 符号） split 策略 PLINDER 蛋白 split——测集靶点对训练集未见（unseen），压力测试泛化 预处理 仅单体 → ChEMBL 标准化 SMILES → BindingDB 优先 → PAINS 过滤 → val/test 二值化去重 许可 CC-BY-4.0 获取 Polaris Hub（polaris 包，immutable V2）｜GitHub 仓库（含预处理 notebooks） 认证 Polaris 标 Uncertified（官方自曝未经认证评审） 亮点 完全序列驱动，不依赖 3D 蛋白结构；训练集保留连续值 + 不等号符号 关联模型 Bioptic BiPELL（protein-agnostic language model）用其做鲁棒性验证 库内近邻 bindingdb(rid=91)｜pdbbind(rid=134)｜binding-moad(rid=174)——均结构基/实验库，非别名
§0 导读：这个数据集解决什么问题
药物发现领域的机器学习，长期被困在一个「结构依赖」的死结里：想预测一个小分子能不能和某个蛋白结合，主流方法是拿蛋白的三维结构（3D structure）去算。问题是，蛋白质这个群体本身很「乱」——有些蛋白极难结晶，有些天生就是无序蛋白（intrinsically disordered protein），有些在体外不稳定。对这些拿不到可靠 3D 结构的靶点，结构基方法直接失效。
PLUMBER 的出发点就是绕开这个死结：它把问题重构成「只给氨基酸序列（amino acid sequence）+ 小分子结构，预测结合」。序列是一级结构，任何蛋白只要有基因序列就能拿到，不受结晶难度制约。这条「序列优先」（sequence-first）的技术路线，正是 Bioptic 这家公司押注的方向。
但光有任务定义还不够。要评估一个序列基模型到底有没有用，需要一个能真正暴露弱点的测试集。当时的通用做法——时间切分（time-split）、随机切分（random-split）——有个致命缺陷：随机切分会让测试集里混进大量与训练集高度相似的蛋白，模型只要「记住」相似的靶点就能拿高分，刷出的是记忆能力而不是泛化能力。PLUMBER 想测的是后者。
于是 PLUMBER 的核心设计是：测集靶点必须是训练集没见过的（unseen）。它借用了 PLINDER（当时最先进的结构基分子基准）的复合相似度切分，把蛋白按相似度分到不同 split，让测集蛋白在序列/结构/口袋多个层面都与训练集拉开距离。再加上从 ChEMBL、BindingDB、BioLip2 三个公开库聚合来的约 180 万条活性记录，以及一整套激进的清洗（PAINS 过滤、SMILES 标准化、去重），PLUMBER 就成了「多靶点泛化压力测试集」——正如官方原文那句总结：It’s not just a dataset — it’s a stress test for AI（这不只是一个数据集，它是给 AI 的压力测试）。
一句话：PLUMBER 是给「不看结构、只看序列」的结合预测模型准备的、专测跨靶点泛化的规模化评测场。
§1 数据集速览：十问十答
Q1：PLUMBER 是什么的缩写？
Protein–Ligand Unseen Matching Benchmark for Evaluating Robustness（蛋白-配体未见靶点匹配基准——用于评估泛化鲁棒性）。官方 README 用注记形式给出，全称含尾缀 for Evaluating Robustness，检索时勿遗漏。
Q2：它和普通的「蛋白-配体活性数据集」有什么本质区别？
普通活性库（如 BindingDB、ChEMBL）是原始事实的汇总；PLUMBER 是为评测而设计的基准——它的价值不在「有多少条」，而在「测集怎么切分」。它把 PLINDER 的未见靶点 split 嫁接到序列基数据上，让「泛化」这个抽象目标变成可量化的分数。
Q3：数据从哪来？
三个公开库的聚合：ChEMBL（最大的生物活性化合物库）、BindingDB（专注实验测定的结合亲和力）、BioLip2（生物配体-蛋白复合物库）。三源合并后再做统一清洗。
Q4：到底多少条数据？
官方口径 约 180 万条（~1.8M）。这个数字在 Polaris 数据集页、Bioptic 博客、官方 LinkedIn 帖、以及 2026 年 MDPI 综述四处一致，是目前最可信的总量数字。
Q5：能干什么任务？
两类：(a) 结合事件分类——判断一个分子对某个靶点是 active 还是 inactive（val/test 集提供 is_active 二值标签）；(b) 结合亲和力回归——预测 Ki/Kd/IC50/EC50 的连续数值（train 集提供，并附 =/>/< 符号）。
Q6：为什么强调「序列基」？
因为它的蛋白侧只给氨基酸序列，不给 3D 结构。这让模型可以直接吃序列——不受结晶/无序蛋白限制，也让 PLUMBER 成为评估「蛋白语言模型」类方法的天然考场。
Q7：和 PLINDER 什么关系？
血统关系：PLUMBER 基于 PLINDER，借用其蛋白 split 分配，但把数据侧从「结构基」换成「序列基」，数据量也大得多。两者可配对使用（PLINDER 官方希望未来能做序列基 vs 结构基的对比）。
Q8：许可能商用吗？
CC-BY-4.0——允许商用、允许再分发，条件是署名（引用 GitHub 仓库/Polaris 条目）。这是相当宽松的开放许可。
Q9：去哪里下载？
两条路：(a) Polaris Hub（polarishub.io，用官方 polaris Python 包拉取，数据集 immutable 版本锁定）；(b) GitHub 仓库（github.com/optic-inc/plumber，最关键是它附带全套预处理源码，可自行复现）。
Q10：有什么坑要先知道？
三个：① Polaris 标注 Uncertified（官方自曝未经认证评审，可能含质量问题）；② 只有蛋白 split，没有配体 split（官方自曝），测集小分子可能与训练集相似；③ 没有正式论文，引用只能走仓库/数据页。详见 §10 避坑清单。
§2 数据构成与规格
2.1 规模、来源与机构构成
PLUMBER 的规模由官方口径锁定在 约 180 万条蛋白-配体活性值。这个数字的可靠性来自四源互证：
- Polaris Hub 数据集页：“Number of datapoints: ~1.8M”
- Bioptic 官方博客：“the largest multi-target benchmark of its kind, with 1.8 million data points spanning small molecules and amino acid sequences”
- 官方 LinkedIn 帖：“With 1.8M high-quality activity values curated from public datasets”
- MDPI 2026 综述（Artificial Intelligence Across the Drug Development Lifecycle）：“1.8 million binding affinity points”
四个独立来源给出同一量级数字，是本条目最硬的规模事实。需要提醒的是：~180 万是全数据集（train+val+test）的总量口径，官方从未公开三个子集各自的行数——这是检索者常踩的坑（见 §10 坑点 3）。
数据构成方面，PLUMBER 的每一「条」是一个蛋白-配体配对（protein-ligand pair）：
- 配体侧：一个小分子的标准化 SMILES 字符串（simplified molecular-input line-entry system，简化分子线性输入规范）
- 蛋白侧：一个单体靶蛋白的氨基酸序列，附 UniProt ID
- 来源标记：
source字段标明该条来自chembl/bdb/biolip三者之一
机构构成上，PLUMBER 由 Bioptic 出品，创建者为团队成员 Vlad Vinogradov，经由 Valence Labs 主导的 Polaris Hub 平台发布。这里有一处易混点需要廓清：GitHub 仓库挂在 optic-inc 这个组织名下，而公司品牌名为 Bioptic ——「Optic」是关联实体名，仓库归属与公司名不完全字面一致，检索时注意（见 §10 坑点 2）。
2.2 字段 schema：train 与 val/test 的分野
PLUMBER 最见设计巧思的地方，是训练集与验证/测试集用两套字段。这不是随意为之，而是服务于「回归 vs 分类」两种任务的分工。
val / test 集字段（用于评测）：
| 字段 | 含义 |
|---|---|
SMILES |
标准化后的分子 SMILES 表征 |
sequence |
单体靶蛋白的氨基酸序列 |
uniprot_id |
该蛋白的 UniProt ID |
source |
来源标记，取值 chembl / bdb / biolip |
split |
恒为 "test" |
is_active |
二值标签：分子对靶点的 Ki/Kd 是否 < 1 μM |
train 集字段（用于训练）：
| 字段 | 含义 |
|---|---|
ki / kd / ic50 / ec50 |
四种活性类型的连续数值 |
ki_sign / kd_sign / ic50_sign / ec50_sign |
对应数值的关系符号，取值 =（等于）/ >（大于）/ <（小于） |
关键差异有二：
第一，train 集没有 is_active。它不预先把数据二值化，而是把「连续值 + 不等号符号」原样交给用户，让建模者有充分的自由度——官方原文说明：“You can choose to use only Ki/Kd equality data, but alternative strategies can incorporate the other activity types as well”（你可以只用 Ki/Kd 的等值数据，也可以用其他活性类型）。这种「保留信息、不替用户做决定」的做法，比直接给一个二值标签要克制得多。
第二，val/test 集把 is_active 定死在 Ki/Kd < 1 μM。这是为了给不同模型一个统一的可比口径——官方原话是 “to have unified benchmark to compare models on”。把阈值锁死，是为了让所有人在同一条线上比。
2.3 三种活性类型的语义与取舍
PLUMBER 训练集同时携带 Ki、Kd、IC50、EC50 四种活性量，这在活性数据集里是相当完整的一套。理解它们的差别，是用好这个数据集的前提：
- Ki（inhibition constant，抑制常数）：平衡解离常数，衡量抑制剂与酶的亲和力，是最「干净」的亲和力度量，不依赖底物浓度。
- Kd（dissociation constant，解离常数）：直接的结合亲和力度量，最接近「结合强度」的本质。
- IC50（half maximal inhibitory concentration，半数抑制浓度）：抑制 50% 活性所需浓度，依赖实验条件（底物浓度等），跨实验可比性弱于 Ki/Kd。
- EC50（half maximal effective concentration，半数有效浓度）：产生 50% 最大效应所需浓度，多用于功能实验，与亲和力的距离最远。
正因为 Ki/Kd 是更纯粹的亲和力度量，PLUMBER 才把 val/test 的二值阈值限定在 Ki/Kd 上（而非 IC50/EC50）。训练集则保留全部四种，把「用哪种、怎么加权」的选择权交给建模者。这是「测集求统一、训练集求灵活」的典型分工。
2.4 数据集层面的规模定位
在「蛋白-配体结合预测」这个赛道上，PLUMBER 的规模宣称是 largest multi-target benchmark of its kind（同类中最大的多靶点基准，官方博客语）。支撑这个宣称的，不只是 180 万这个绝对数字，更是「多靶点 + 未见切分 + 序列基」这个组合——规模大且切分严的序列基基准，在当时确实稀缺。这一点也是它区别于库内既有结构基资源（见 §9）的核心身份标识。
2.5 与上游 PLINDER 的关系边界
必须反复厘清：PLUMBER ≠ PLINDER。两者定位相反：
- PLINDER（Protein–Ligand INteractions Dataset and Evaluation Resource）是结构基的蛋白-配体相互作用基准，覆盖数十万蛋白-配体复合物，附带口袋/配体/蛋白多层面的丰富注释与相似度感知切分，是结构预测与对接领域的评测资源。
- PLUMBER 是序列基的结合预测基准，它借用 PLINDER 的蛋白 split 分配，把切分方法学搬过来，但数据侧完全换成序列-配体对。
换句话说，PLINDER 贡献的是「怎么切才算公平」的方法学，PLUMBER 贡献的是「用序列怎么测」的数据与任务。PLINDER 官方在 2024 年终更新里明确了两者的互补关系：PLUMBER 因完全序列基而纳入更多数据点，但沿用 PLINDER 的 split，这为未来「序列基 vs 结构基亲和力预测器」的直接对照留下了接口。
2.6 与「三大源库」的血缘与差异
要真正理解 PLUMBER 的数据成分，需要看清它与三个来源库各自的继承关系与转化：
来自 ChEMBL 的部分：ChEMBL 是欧洲生物信息研究所（EMBL-EBI）维护的生物活性化合物库，收录海量化合物对靶点的活性测量（IC50/Ki/EC50 等），来源多为文献提取。PLUMBER 从 ChEMBL 取活性记录，并用 ChEMBL 自己的结构标准化工具清洗（这也解释了为何选它——源头与工具同属一家，兼容性最好）。
来自 BindingDB 的部分：BindingDB 是专注实验测定结合亲和力的数据库，收录 Ki/Kd/IC50/EC50 等，且溯源清晰。PLUMBER 不仅从它取数据，还把它设为多源冲突时的仲裁源（prioritized data from BindingDB）——这是 BindingDB 在 PLUMBER 里的双重角色。
来自 BioLip2 的部分：BioLip 是生物配体-蛋白复合物库，BioLip2 是其后续版本，提供配体-蛋白的复合物级信息。它补充了 ChEMBL/BindingDB 可能未覆盖的结合实例。
转化的三步：① 筛选（仅单体、剔除不可用记录）；② 规范化（SMILES 标准化 + 清洗）；③ 去重裁决（PAINS 过滤 + 冲突取 BindingDB + 二值化去重）。三步之后，三源异构记录被压成统一 schema 的蛋白-配体配对——这也是「数据集」而非「数据库集合」的关键：PLUMBER 输出的是一张口径统一的大表。
这里有个使用上的现实提醒：因为三源覆盖的靶点与测量类型各不相同，PLUMBER 的靶点覆盖分布是三源叠加的结果，并非均匀——某些在 ChEMBL 里数据丰富的靶点，可能在合并后占比更高；反之亦然。若你的任务关心特定靶点族（如某类激酶）的代表性，务必先统计 uniprot_id/sequence 的分布，别默认它「对每个靶点都均衡」。
2.7 配体侧与靶点侧的空间特征
PLUMBER 的两侧输入各有其信息特征，理解它们有助于预判建模难点：
配体侧（小分子 SMILES）：SMILES 是一维字符串，直接编码原子与键的连接关系。用它做输入意味着模型必须从图结构/字符串中学习化学性质，而非从 3D 构象。这对图神经网络（GNN）、分子语言模型是天然的输入格式，但也意味着构象柔性、立体化学等信息需要模型自己推断或编码。
靶点侧（氨基酸序列）：氨基酸序列同样是一维字符串（20 种氨基酸字母表），长度因蛋白而异。序列决定了 3D 折叠，但从序列到功能是间接的——这是序列基方法的根本难点，也是蛋白语言模型（如 ESM 系列）试图攻克的方向。PLUMBER 把靶点侧限定为单体（见 §3.1），保证了「一条序列 = 一个功能单元」的干净对应。
配对的不对称性：一个值得注意的结构特征是——靶点数量远少于配体数量。同一靶点会与大量分子配对，形成「多对一」的数据形态。这意味着：模型学到的可能更多是「某类分子偏好某种口袋」的规律，而非「某个分子专属某个靶点」。理解这一点，对设计评估（尤其在未见靶点场景）很重要——测集靶点虽新，但其口袋的化学特征可能落在训练集靶点的分布内。
2.8 规模宣称的解读边界
「约 180 万条」这个数字要被正确解读，需注意三条边界：
第一，它是「配对」而非「独立分子」或「独立靶点」。 180 万是蛋白-配体配对数，同一个分子可能出现在多条记录（与不同靶点配对），同一个靶点也会出现多次。独立分子数与独立靶点数都远少于 180 万——官方未分别披露这两个数（遗留疑点）。
第二，它是「清洗后」的数字，不是源库总量。 三源原始数据经单体筛选、PAINS 过滤、去重后缩水到 180 万。这意味着 PLUMBER 用「数据规范度」换掉了「数据总量」，是一种质量优先的取舍。
第三，它是「全数据集」口径。 180 万含 train/val/test 全部，不是单指训练集。若你的实验需要「训练集有多大」，官方未披露——需自行下载统计（见坑点 3）。
正确理解这三条，就能避免最常见的误读：把「180 万配对数」误当成「180 万个分子」或「180 万个训练样本」。
§3 预处理流水线：六步换来一份「敢用」的数据
数据集的公信力很大程度上不在「有多少」，而在「清得干不干净」。PLUMBER 的 README 列出六步预处理，每一步都对应一类已知的数据污染风险。逐条拆解如下。
3.1 步骤一：仅保留单体数据（monomer only）
第一步就把多聚体蛋白（multimeric protein）剔除。理由很实际：PLUMBER 的核心输入是单条氨基酸序列，而多聚体蛋白的功能依赖多条链的组装——用单链序列去代表一个多聚体靶点，语义是错的。这一步保证了「一条记录 = 一条序列 = 一个单体靶点」的干净对应。
3.2 步骤二：SMILES 标准化（ChEMBL Structure Pipeline）
原始库里的分子结构写法五花八门——同一分子可能有多种 SMILES 写法、盐型、电荷状态、互变异构体。PLUMBER 用 ChEMBL Structure Pipeline（ChEMBL 官方开源的结构标准化工具）统一处理。这一步的价值在于让「同一个分子」在数据里只有一个面孔，否则去重和相似度计算都会失真。
3.3 步骤三：SMILES 清洗（cleaning）
标准化之后还要「清洗」——剔除那些无法被 chemoinformatics 工具正确解析的畸形 SMILES。这是把「能读」和「读得对」分开的两步：标准化管「统一」，清洗管「有效」。
3.4 步骤四：BindingDB 优先（prioritized data from BindingDB）
当 ChEMBL、BindingDB、BioLip2 三源对同一个蛋白-配体配对给出不同活性值时，PLUMBER 选择以 BindingDB 为准。这是一个明确的来源优先级决策：BindingDB 专注实验测定的结合亲和力、数据溯源清晰，故被设为仲裁源。这一步消解了多源合并必然带来的冲突值问题。
但要注意——这是一个有偏决策。优先 BindingDB 意味着 ChEMBL/BioLip2 独有的测量在冲突时被覆盖，可能对某些靶点引入来源选择偏倚。这不是错误，而是需要在引用时知晓的取舍（见 §10 坑点 5）。
3.5 步骤五：PAINS 过滤（Pan-Assay Interference Compounds）
PAINS（Pan-Assay Interference Compounds，泛测定干扰化合物）是药物发现里的著名「数据污染源」——这类分子（如某些醌类、儿茶酚、Michael 受体等）会在多种不同测定中频繁「命中」，但它们的作用机制往往是化学干扰（聚集、荧光、反应性），而非真正的靶点结合。
如果不滤掉 PAINS，模型会学到「这些分子总是 active」的伪规律，在真实筛选中产生大量假阳性。PLUMBER 用 PAINS 过滤器剔除这类分子，是提升数据信噪比的关键一步——它让数据里的「活性」更可能是真的靶点结合。
3.6 步骤六：val/test 二值化 + 去重 + 一致性检查
最后一步专门针对 val/test 集：二值化（按 Ki/Kd < 1 μM 判 active）之后去重，并做一致性检查（inconsistency check）。去重针对的是「同一蛋白-配体配对在合并后出现多次」，一致性检查针对的则是「同一配对出现相互矛盾的活性值」——这类矛盾若不清理，测集会自相矛盾，评测就失去意义。
值得强调：这一步的二值化与去重只对 val/test 做，不对 train 做——train 保留连续值与符号，是刻意的设计（见 §2.2）。
3.7 预处理源码全部开源：可复现性的诚意
PLUMBER 一个被低估的优点：整套预处理源码都放在 GitHub 仓库的 notebooks/ 目录，任何人可自行复现。目录结构为：
01_chembl.ipynb—— 预处理 ChEMBL 库02_bindingdb.ipynb—— 预处理 BindingDB03_biolip.ipynb—— 预处理 BioLip204_merge.ipynb—— 三源聚合filter_pains.py—— PAINS 过滤函数（在 04_merge 中作为中间步骤调用）standardize.py—— 分子标准化源码（同上）publish_to_polaris.py—— 发布到 Polaris 平台的脚本
复现路径也已写清：conda create -n plumber -y python=3.11 → conda install -c conda-forge polaris=0.9.1（官方强调必须先装 polaris 再装其他依赖）→ pip install -r requirements.txt → 跑 notebooks。
对一个没有正式论文的基准来说，可运行的复现源码就是它的方法学凭证——它用「你能自己跑一遍」替代了「你信我论文写的」。这是 PLUMBER 在透明性上做得最好的一环。
3.8 六步清洗的「得」与「失」
把这六步放在一起看，可以读出 PLUMBER 的清洗哲学：宁可激进，也要保证「活性」信号的真实性。PAINS 过滤、去重、一致性检查，都是宁可损失数据量也要提升信噪比的选择。这套哲学的收益是：
- 假阳性更少：PAINS 过滤剔除了化学干扰型「假活性」，让 is_active 更可能反映真实结合；
- 可比性更好：SMILES 标准化 + 统一二值阈值，让跨模型的分数更可比；
- 冲突更少：BindingDB 优先 + 一致性检查，消解了多源合并的矛盾值。
但每一刀都有代价，必须如实记下「失」：
- 数据量损失：PAINS 过滤、去重、单体限定都减了数据，这也是为什么「约 180 万条」是清洗后的数字，而非三源原始总量（原始量更大）；
- 来源偏倚：BindingDB 优先是一个有偏决策，ChEMBL/BioLip2 独有的测量在冲突时被覆盖；
- 信息损失：val/test 二值化丢掉了连续值的梯度信息（train 侧保留了，算是补偿）；
- 覆盖不均：三源叠加的靶点分布天然不均，「大靶点更大、小靶点更小」的马太效应可能存在。
一句话：PLUMBER 的清洗是「为测量真实性付出数据量代价」的选择。对追求数据规模的场景，这个代价可能偏高；对追求评估可信度的场景，这个代价是值得的。
3.9 与「不清洗」的对照：为什么清洗决定基准成败
为了理解这六步的分量，不妨设想一份不做这些清洗的数据会长什么样：
- 不清单体 → 多聚体靶点用单链序列表示，标签语义错乱；
- 不标准化 SMILES → 同一分子多种写法，去重失效、相似度失真；
- 不清洗 SMILES → 畸形分子结构进入训练，模型学到噪声；
- 不做 PAINS 过滤 → 泛干扰化合物被当作「广谱活性」，模型学到假规律；
- 不做去重/一致性检查 → 测集自相矛盾，评估失去意义。
这五类污染，任何一类都足以让基准的结论崩塌。PLUMBER 的价值，一半在「未见切分」，另一半就在这六步清洗——前者保证「测得准」，后者保证「数据净」。两份合起来，才让「约 180 万条」这个数字有了意义：重要的不是它有多少条，而是这 180 万条有多干净、切得多严。
§4 泛化设计：为什么「未见靶点」是这份数据的灵魂
4.1 记忆 vs 泛化：一个被随机切分掩盖的真相
要理解 PLUMBER 的价值，必须先理解它针对的那个「病灶」。机器学习评估依赖切分（split）——把数据分成训练/测试，用测集表现来估计模型在新数据上的能力。问题在于：切分方式直接决定了你在测什么能力。
- 随机切分（random split）：随机把配对分到训练/测集。缺陷是——如果同一靶点的一批分子被随机分到两边，模型在测集遇到的是训练时见过的靶点，它只要学会「这个靶点喜欢什么样的分子」就能得分。这测的是记忆。
- 时间切分（time-split）：按数据公开时间切。缺陷是同一靶点的新旧数据仍可能被切开，靶点相似度不受控。
- PLINDER 复合相似度切分：不按单个维度，而是按系统级复合相似度（综合口袋、配体、蛋白多层面的相似度）来分。这让测集靶点在多个层面都与训练集拉开距离。
PLUMBER 官方对随机/时间切分的批评相当直白：标准技术 “often result in test sets containing many very similar proteins, which limits the ability to measure generalizability”（常常让测集含大量非常相似的蛋白，限制了测量泛化的能力）。这正是它选择 PLINDER split 的原因——测集靶点必须是「未见」（unseen）的，这样模型的高分才可能是真的泛化，而非记忆的回声。
4.2 未见靶点的实际含义
「Unseen」在 PLUMBER 里的准确语义是：测集蛋白与训练集蛋白在 PLINDER 的相似度度量下不重叠。这意味着——
- 模型在测集面对的靶点，训练时从未直接见过；
- 模型必须把学到的「结合规律」迁移到新靶点上，才能得分；
- 这正是药物发现最关心的能力：面对一个全新靶点（如一个全新激酶、一个新发现的受体），能不能先算一算哪些分子可能有效。
在真实药物发现中，绝大多数项目面对的就是「未见靶点」——如果基准只测「已知靶点的新分子」，那评测结果和实际需求严重脱节。PLUMBER 把测试条件对齐到了真实场景。
4.3 BIOPTIC 官方的自我定位：把数据集当压力测试
Bioptic 官方对 PLUMBER 的定位，从来不满足于「数据集」三个字。博客原文那句总结值得完整引用：It’s not just a dataset — it’s a stress test for AI（它不只是一个数据集，它是给 AI 的压力测试）。这个措辞透露了设计哲学：PLUMBER 不是用来「跑出漂亮分数」的，而是用来暴露模型弱点的。一个理想的评测集，应该让不够鲁棒的模型明显掉分——这正是「未见靶点切分」要达到的效果。
4.4 PLINDER 侧的背书：跨路线的接口
PLINDER 官方在 2024 年终更新里，专门提到了 PLUMBER，并给出了一句相当有价值的背书：
PLUMBER incorporates a lot more data points due to being entirely sequence-based, but still follows the PLINDER split, potentially allowing future comparisons between sequence-based and structure-based affinity predictors.
翻译：PLUMBER 因完全序列基而纳入更多数据点，但沿用 PLINDER 的 split，这为未来序列基 vs 结构基亲和力预测器的对比留下了可能。
这句话的分量在于——它来自 PLINDER 团队（第三方，非 Bioptic 自吹），且点出了 PLUMBER 的结构性价值：因为共享切分，两个原本平行的技术路线（看结构 vs 看序列）第一次有了同一把尺子。这对整个领域的方法学比较是有意义的。
4.5 自曝的局限：只有蛋白 split，没有配体 split
PLUMBER 在透明性上做得最好的一点，是主动说出自己的不足。README 在介绍 PLINDER split 时明确写道：
While it is not perfect (as we lack ligand split information), it should yield more challenging splits compared to standard techniques.
翻译：虽然它不完美（因为我们缺少配体 split 信息），但它应该能给出比标准技术更有挑战性的切分。
这个自曝很关键——它意味着 PLUMBER 的「未见」只在蛋白侧成立，在配体侧不成立。测集靶点虽新，但测集小分子仍可能与训练集分子高度相似。因此 PLUMBER 检验的是**「新靶点 + 可能已知的化学空间」，而不是「新靶点 + 全新化学空间」**。严格的「配体-未见」评估，PLUMBER 并不提供。检索者若需要完全的化学空间外推评估，必须自行补充配体相似度切分（见 §10 坑点 4）。
4.6 数据泄漏：一个普遍存在的隐性问题
PLUMBER 对切分的重视，指向了一个在机器学习评测中普遍存在却常被忽视的问题：数据泄漏（data leakage）。
数据泄漏指的是「训练信息以非预期方式渗入测集」，让测集分数虚高、无法反映真实泛化能力。在分子/蛋白领域，泄漏的常见形态有：
- 相似分子泄漏：测集分子与训练集分子结构高度相似（同一骨架、同一系列），模型靠「见过类似的」得分；
- 相似靶点泄漏：测集靶点与训练集靶点同源（同蛋白家族、高序列相似度），模型靠「见过类似口袋的」得分；
- 时间泄漏（time leakage）：测集样本实际早于训练集被测定，违背「预测未来」的设定；
- 重复泄漏：同一实验记录以不同形式同时出现在训练与测集。
PLUMBER 通过 PLINDER 的复合相似度切分主要缓解了「相似靶点泄漏」——这是它的设计重心。但对于「相似分子泄漏」，因缺乏配体 split（官方自曝），缓解力度有限。理解这一点，能帮助使用者准确界定 PLUMBER 评估的适用范围：它是一个靶点泛化的严格测试，但不是化学空间外推的严格测试。
4.7 三条切分策略的横向对比
为把 PLUMBER 的切分选择讲透，这里横向对比三种策略在「蛋白-配体」任务上的表现：
| 切分策略 | 测什么能力 | 优点 | 缺点 | 适合场景 |
|---|---|---|---|---|
| 随机切分 | 记忆 + 弱泛化 | 实现简单、数据利用率高 | 测集混入相似靶点/分子，分数虚高 | 快速原型、基线开发 |
| 时间切分 | 对未来数据的泛化 | 贴近「预测未来」的现实设定 | 同靶点新旧数据仍可能重叠，泄漏不彻底 | 时序性强、数据随时间增长的任务 |
| 未见靶点切分（PLINDER） | 对全新靶点的泛化 | 直击药物发现核心难点，泄漏控制好 | 切分复杂、测集更难、分数普遍偏低 | 泛化能力评测、新靶点预测 |
PLUMBER 选第三条，代价是分数会更「难看」——但「难看」恰恰是价值所在：一个在随机切分下 0.95、在未见切分下 0.70 的模型，其真实泛化能力更接近后者。用更难的切分测出更真的能力，是 PLUMBER 的方法学主张。
§5 评测怎么用：从任务定义到模型落地
5.1 两个任务的标准用法
任务一：结合事件分类（binding event classification）
在 train 集上训练模型学习「分子-靶点对是否结合」，在 val/test 集上用 is_active 评估。模型输出的通常是一个结合概率，评估指标为二分类指标（AUC、PR-AUC、MCC 等）。这是 PLUMBER 最直接的用法——把它当成一个「跨靶点二分类压力测试」。
任务二：结合亲和力回归（binding affinity regression）
用 train 集的 ki/kd/ic50/ec50 连续值训练回归模型，预测分子对靶点的亲和力数值。由于 train 集还带 _sign（=/>/<）符号，建模者可以选择：只用等值数据（=，最干净）、把不等号作为约束或软标签、或把数据当作排序任务。评估指标为回归指标（RMSE、MAE、Spearman 相关等）。
5.2 一个实操建议：先定「用哪些活性类型」
因为 train 集同时含 Ki/Kd/IC50/EC50 四种量，建模前必须先明确用哪些。经验上：
- 追求亲和力预测的纯度：只用 Ki/Kd 的等值数据（
=），牺牲数据量换测量可靠性； - 追求数据量：纳入 IC50/EC50，但要意识到它们受实验条件影响、跨实验可比性弱；
- 排序/虚拟筛选场景：可以把
. >/. <的不等号数据当弱监督或排序约束用。
官方对此的态度是开放的（“alternative strategies can incorporate the other activity types”），没有强推单一方案——这既是自由，也意味着评鉴的方式必须自己定义。
5.3 官方未提供基线榜：一把双刃剑
必须明确指出：PLUMBER 官方没有发布基线模型榜单（leaderboard）。既没有 SOTA 数字表，也没有官方基线 AUC/RMSE。这与 Polaris 平台上一些带完整评测指标的基准不同。
这把「双刃剑」的两面是：
- 好处：没有榜单锚定，研究者可以自由定义任务口径与指标，适合开放式探索；
- 代价：跨报告不可直接比较——两个人说「我在 PLUMBER 上做了 X」，若任务定义（用哪些活性类型）、切分使用（用 val 还是 test）、指标口径不同，分数根本不可比。若要横向比较，必须自行建立基线并在论文中明确口径。
5.4 应用实证：BiPELL 与「digital employees」
PLUMBER 已经在实际研发中被使用。Bioptic 官方明确：PLUMBER 已在驱动其下一代模型开发，包括其 BiPELL（protein-agnostic language model，蛋白无关语言模型）——用 PLUMBER 来测跨靶点鲁棒性、验证泛化、加速预测改进。
2026 年一篇 MDPI 综述（Artificial Intelligence Across the Drug Development Lifecycle）把 PLUMBER 描述为 Bioptic「数字员工」（digital employees）科学准确性的锚点，用 180 万条结合亲和力点来「确保其操作达到可与人类科学家比肩的科学准确性」（原文意）。这说明 PLUMBER 不只是纸面基准，而是已进入真实研发闭环的评测工具。
5.5 一个具体的使用场景走查
为了把「怎么用」讲实，这里走查一个典型场景：你要评估一个自研的序列基结合预测模型，想知道它在全新靶点上到底行不行。
第一步，下载与拆分。从 Polaris 用 polaris 包拉取 V2 数据，按官方 split 拿到 train/val/test——注意不要自行重新切分，否则就丢掉了 PLUMBER 最核心的价值（未见靶点设计）。
第二步，确定任务口径。三选一：(a) 只做二分类——用 train 集（把 Ki/Kd < 1 μM 也二值化）训练，val 调参，test 报 AUC；(b) 做回归——用 train 的连续值训练，在 test 上算 RMSE/Spearman（但 test 是二值标签，回归评估需自己在 train 里另划验证或改用 test 的 is_active 做排序评估）；© 混合——用连续值 + 符号做软监督。口径一旦选定，必须在报告中写明，因为 PLUMBER 无官方基线，口径不定则分数无意义。
第三步，对照与诊断。因为测集靶点未见，模型在 test 上的分数就是它的跨靶点泛化能力。若分数远低于在随机切分下的表现，说明模型主要靠「记忆相似靶点」，泛化能力不足——这正是 PLUMBER 要暴露的问题。
第四步，归因分析。按 source 分组看表现（在 chembl/bdb/biolip 三源上是否一致）、按靶点族分组看（是否对某类蛋白尤其差）、按配体性质看（是否对大分子/高疏水分子失灵）。PLUMBER 的字段设计支持这些切片分析。
第五步，报告。由于无 leaderboard，你的报告需自建基线（如用简单的 ECFP+随机森林、或用公开序列模型），并明确任务口径、切分使用、指标定义——让结果可被他人复现比较。
这个走查揭示了 PLUMBER 的正确打开方式：它不是「下载即刷分」的玩具，而是「需要你自己定义口径、自己做基线」的严肃考场。对愿意投入定义成本的研究者，它给出的是最接近真实药物发现场景的泛化评估。
5.6 与「结构基评估」的互补使用
如果你的研究同时涉及结构基与序列基方法，PLUMBER 提供了一个难得的同尺对照机会：因 PLUMBER 沿用 PLINDER 的 split，理论上可以在同一批未见靶点上比较两条路线的表现。操作要点是：确保结构基方法在 PLINDER 侧、序列基方法在 PLUMBER 侧使用的是同一套蛋白 split，然后对比二者在重叠靶点上的表现差异。
这个对照的价值在于：它回答「不看结构到底损失多少精度」这个关键问题。若序列基方法在未见靶点上只比结构基低一点点，那对大量拿不到结构的靶点，序列基路线就是可行的现实方案——这正是 Bioptic 押注序列优先路线的底气所在。
5.7 指标选择：分类与回归各自的注意点
PLUMBER 无官方指标，故使用者需自选。给两个任务各一份指标建议：
结合事件分类（分类任务）：
- AUC-ROC：最常用的排序指标，但对类别不平衡不敏感（PLUMBER 的 active/inactive 比例未知，可能失衡）；
- PR-AUC（AUPRC）：对类别不平衡更稳健，当 active 是少数类时优先用（药物筛选中真活性通常稀少）；
- MCC（Matthews correlation coefficient）：综合四格表，适合不平衡数据；
- 注意阈值影响：PLUMBER 的标签由 Ki/Kd < 1 μM 定义，模型输出概率时需说明用什么阈值算二分类——阈值不同，F1/精确率/召回率都不同。
结合亲和力回归（回归任务）：
- RMSE / MAE：绝对误差度量，注意活性值常取对数（pKi/pKd），跨研究比 RMSE 前需确认是否同尺度；
- Spearman / Pearson 相关：排序相关性，药物筛选更关心「相对排序对不对」；
- R²：需谨慎，对分布外测集容易失真。
通用提醒：因 PLUMBER 无基线，任何指标数字都应在报告里配套说明任务口径（用哪些活性类型）、切分使用（val 还是 test）、预处理（是否对数变换）。缺了这些说明的分数，无法被复核。
5.8 一个诚实的能力边界声明
使用 PLUMBER 时应清楚它的评估能说什么、不能说什么：
- 能说：模型在「未见靶点 + 已知化学空间」条件下的结合预测能力；
- 不能说：模型在「全新化学空间」的外推能力（缺配体 split）；
- 能说：模型跨靶点的相对排序能力；
- 不能说：模型在真实湿实验中的命中率（回顾性基准，非前瞻验证）；
- 能说：与同样使用 PLUMBER 口径的其他方法做相对比较（需口径一致）；
- 不能说：绝对意义上的「SOTA」（无官方基线，无 leaderboard）。
把这份边界声明写进实验报告，能显著提升研究结论的可信度与可复现性——这也是严肃使用基准的应有态度。
§6 获取与许可：CC-BY-4.0 下的两条路
6.1 许可：宽松但要求署名
PLUMBER 的许可是 CC-BY-4.0（Creative Commons Attribution 4.0 International）。这是 Creative Commons 家族里相当宽松的一档：
| 权利 | CC-BY-4.0 |
|---|---|
| 商用 | ✅ 允许 |
| 再分发 | ✅ 允许 |
| 修改/再加工 | ✅ 允许 |
| 署名 | ⚠️ 必须（Attribution） |
| 相同方式共享 | ❌ 不要求 |
| 非商用限制 | ❌ 无 |
许可的确认来自两源：Polaris 数据集页明确标注 “License: CC-BY-4.0” 并链向 creativecommons.org/licenses/by/4.0/；Bioptic 官方博客写 “public accessibility under CC-BY-4.0”。两源一致，可放心使用，只要按要求署名。
署名义务的具体指向是 GitHub 仓库（github.com/optic-inc/plumber）和/或 Polaris 数据集条目。由于没有正式论文，署名时应引用这两者而非虚构论文引用（见 §10 坑点 6）。
6.2 获取路径一：Polaris Hub（推荐，保证版本一致）
Polaris Hub 是 Valence Labs / Recursion 主导的 MLDD 基准平台，其设计哲学是「单一可信来源」（single source of truth）——数据集上传后即 immutable（不可变），任何人任何时刻下载到的都是逐字节相同的版本。这一设计直接针对药物发现 ML 的老问题：不同团队声称用了「同一个数据集」，实际过滤、版本、切分各不相同，导致结果不可比。
Polaris 上 PLUMBER 的入口是 polarishub.io/datasets/optic/plumber，当前版本标 V2。官方指定的获取姿势是用 polaris Python 包（conda install -c conda-forge polaris=0.9.1），通过 API 拉取——Polaris 把各格式统一为 Zarr 存储，API 返回「下载即可训练」的 ML-ready 表征，无需自行解析格式。
优点：版本锁定、口径统一、跨团队可比。
注意：Polaris 的数据集不可直接在平台上改——若你想改预处理，必须拿源数据重上传为新版本。这是刻意的设计，用来堵住「静默改数据」的漏洞。
6.3 获取路径二：GitHub 仓库（要复现走这条）
github.com/optic-inc/plumber 是 PLUMBER 的官方仓库。它未必托管完整数据集本身（数据主战场在 Polaris），核心价值在于全套预处理源码（notebooks/ 目录，见 §3.7）。
如果你要：
- 复现 PLUMBER 的构建过程 → 走 GitHub（跑 notebooks）；
- 核验 预处理每一步到底做了什么 → 走 GitHub（读源码，这是最硬的凭证）；
- 扩展/改造 PLUMBER → 走 GitHub（改造 notebook 后重传 Polaris 新版本）。
仓库提交历史显示主要活动集中在 2024-11 月发布前后（Init 2024-11-11、发布 2024-11-15、README 修订至 2024-11-19），此后无公开大更新。这说明 PLUMBER 是一个相对稳定的发布版，而非持续滚动更新的数据集。
6.4 认证状态：Uncertified 的事实
一个必须如实记录的事实：Polaris 页面将 PLUMBER 标注为 Uncertified（未认证）。平台原话大意是：该数据集尚未经认证评审员认证，可能包含与数据质量相关的问题。
这与 PLUMBER 自我宣传的「high-quality、aggressive filtering」存在张力——「高质量」是作者的自评，而平台层面的认证评审尚未完成。检索者应当把这一点纳入考量：PLUMBER 的清洗步骤有源码可查（可信度高），但未经过独立的第三方认证评审（可信度未加冕）。这不是说数据有问题，而是说「质量保证」的来源是作者自证 + 源码可复现，而非平台认证。
6.5 一句话获取决策
- 想快速用数据做实验 → Polaris（
polaris包，V2） - 想搞懂/复现预处理 → GitHub（
notebooks/） - 想署名合规 → 引用 GitHub 仓库 + Polaris 条目，注明 CC-BY-4.0
- 想独立验证质量 → 自己跑一遍 notebooks，别只信「high-quality」的自我描述
6.6 许可与「源数据许可」的区分
一个常被忽略的合规细节：PLUMBER 的 CC-BY-4.0，管的是 PLUMBER 这个加工产物本身，而它仰赖的三源原始库各有自己的许可（ChEMBL、BindingDB、BioLip2 各有条款）。这意味着——
- 用 PLUMBER（加工数据）→ 遵循 CC-BY-4.0，署名即可；
- 若你要回到三源原始数据做别的加工 → 需另行核对各源许可；
- PLUMBER 的一次性许可，不自动等同于三源的许可。
所幸 PLUMBER 的加工深度较大（标准化、过滤、去重、重切分），产物已是「新数据集」，按 CC-BY-4.0 使用其产物是清晰的。但若你的下游用途对原始测量溯源有硬要求（如监管申报），请务必回溯到源库核对许可与出处。
6.7 数据可引性的现实提醒
由于 PLUMBER 无正式论文，它的「可引性」弱于有论文的基准——没有统一的 citation 字符串，不同人会写出不同的引用格式。这在实际学术写作中会造成小麻烦：审稿人或读者可能难以核对「你引的 PLUMBER 是不是我理解的 PLUMBER」。
缓解办法有三：① 引用时同时给出 GitHub URL 与 Polaris URL（两条路径都写上，最大化可定位性）；② 注明版本（V2）与发布日（2024-11-15），锁定确定性；③ 若期刊允许，在方法部分简要描述其来源与切分（一两句话），让审稿人无需外链也能理解。这三点能显著提升一个「无论文基准」的引用清晰度。
§7 生态与影响：一个「无论文基准」如何立住
7.1 没有论文，靠什么建立信誉
PLUMBER 最反常规的一点：它没有正式论文，也不是 arXiv 预印本。在一个「数据集通常靠论文发家」的领域，这是个不小的短板——没有同行评议、没有标准 BibTeX、没有期刊 DOI。截至 2026-10 多轮检索，未见 PLUMBER 期刊论文或预印本。
那么它靠什么立住？靠三件「可验证的实物」：
- 可运行的预处理源码（GitHub
notebooks/）——方法学可复现，比一篇写得再漂亮的论文更硬； - 平台化的分发（Polaris Hub）——借成熟平台的版本锁定与 API，保证「大家用的是同一份数据」；
- 官方与第三方的引用背书——Bioptic 自己的模型开发在用，PLINDER 官方博客正面提及，2026 年 MDPI 综述引用。
这种「代码 + 平台 + 实际使用」的组合，是「无论文基准」的一条可行信誉路径。但它也有代价：缺乏同行评议的独立审视，且引用时没有统一格式（见 §10 坑点 6）。检索者应当明白：PLUMBER 的可信度建立在「可复现 + 被使用」上，而非「经过评议」。
7.2 出品方 Bioptic 与它的模型谱系
PLUMBER 不是孤立的产物，它是 Bioptic 整个技术栈的一环。Bioptic 是一家走「序列优先」路线的药物发现 AI 公司，官方产品叙事围绕「数字员工」（digital employees）展开——用 AI 智能体做靶点发现、分子设计、ADMET 预测等药物发现工作。
PLUMBER 在其中的角色是**「考卷」**：
- 它是 Bioptic 验证自身模型泛化能力的内部标准；
- 它被用于驱动 BiPELL（protein-agnostic language model）的开发与鲁棒性测试；
- 它作为公开基准发布，让社区也能用同样的考卷。
从「公司自建内部基准 → 公开发布 → 成为社区资源」这条路径看，PLUMBER 是一个企业开源基准的典型案例——公司用公开数据+公开方法做了一个自用工具，顺手开源出去，既是回馈也是品牌。
7.3 Polaris Hub：定位与分化
PLUMBER 选择的发布平台 Polaris Hub 本身值得了解，因为它决定了 PLUMBER 的几个关键属性（版本锁定、API 分发、认证体系）。
Polaris 由 Valence Labs / Recursion 主导，联合 Chan Zuckerberg Initiative 及多家药企，针对的正是旧基准（MoleculeNet、TDC）积累的质量问题：重复记录、切分泄漏、在不该用随机切分的地方用随机切分、工业相关性不足等。Polaris 强调时间切分、匹配分子对分析、工业伙伴捐赠数据，并设计为通过 polaris-lib 消费。
Polaris 上有两类数据：普通数据集与认证数据集（certified datasets，经平台与领域专家联合审核，确保无重复/无效/歧义数据）。PLUMBER 属于前者（Uncertified）——它上线了，但没过认证关。理解这一点，才能准确评价 PLUMBER 的质量水位（见 §6.4）。
7.4 在「蛋白-配体基准」版图中的位置
把 PLUMBER 放进领域坐标系，它与几个相邻资源的关系如下：
- PLINDER（plinder.sh）：结构基蛋白-配体相互作用基准，PLUMBER 的方法学上游（提供 split）。两者互补而非替代——一个测结构，一个测序列。
- MoleculeNet / TDC：通用分子性质预测基准套件。PLUMBER 的序列基结合预测是更垂直的场景，且其未见靶点切分比 MoleculeNet 的 scaffold split 更针对泛化。
- PoseBusters：聚焦 3D 对接位姿物理有效性的基准，与 PLUMBER 任务不同（一个管「位姿对不对」，一个管「结合不结合」）。
- 库内 bindingdb(91)/pdbbind(134)/binding-moad(174)：见 §9 详述。
PLUMBER 的差异化定位可以概括为一句：「完全序列驱动 + 未见靶点切分 + 大规模多靶点」的泛化压力测试集。
7.5 「序列优先」路线的行业意义
把视野拉高一层：PLUMBER 背后是**「序列优先」vs「结构优先」两条技术路线的分野**。
结构优先路线（主流）依赖 3D 结构，优势是信息丰富（能算结合位姿、相互作用几何），劣势是受结构可得性制约——据经验，相当比例的潜在药靶缺乏可靠实验结构。序列优先路线（Bioptic 押注）只用一级序列，优势是几乎不受靶点结构可得性限制（只要有基因序列），劣势是信息量少于 3D 结构。
PLUMBER 在这条分野中的角色是**「序列优先路线的体检仪」：它证明序列优先方法可以在大规模、跨靶点的严格切分下被公平评估。若评估显示序列基方法在未见靶点上足够强，那对结构难获得的靶点**（无序蛋白、难结晶蛋白），序列优先就是唯一的可行路线——这正是 Bioptic 博客「unlocks new territory for AI in drug discovery」的行业含义。
换句话说，PLUMBER 不只是一个数据集，它是**「不看结构能走多远」这个问题的一个可量化答案的载体**。
7.6 生态位小结：被三种人需要
综合来看，PLUMBER 在生态中同时服务三类角色：
- 模型开发者：需要一个严格、大规模、可复现的跨靶点考场来检验泛化；
- 方法论研究者：需要研究「切分方式如何影响评估结论」的样本；
- 应用团队：需要一个低成本、可商用的大规模蛋白-配体训练数据源。
它的独特之处在于同时满足这三者——这也是一个「企业开源基准」能立住的原因：它既服务发布方自己的研发（第一类），又以开放许可回馈社区（第二、三类）。
7.7 与通用分子基准（MoleculeNet / TDC）的定位差异
把 PLUMBER 与更广为人知的分子基准对照，能更清楚它的独特价值：
| 维度 | MoleculeNet / TDC | PLUMBER |
|---|---|---|
| 任务类型 | 通用分子性质预测（ADMET、毒性、溶解度等） | 聚焦蛋白-配体结合（分类 + 亲和力回归） |
| 输入 | 多为「单分子」性质 | 蛋白-配体配对（序列 + SMILES） |
| 切分 | 随机/scaffold split 为主，泄漏问题被广泛记录 | 未见靶点切分（PLINDER），泄漏控制更严 |
| 规模 | 数十数据集各数千至数十万 | 单一大表约 180 万条 |
| 数据来源 | 多源历史数据 | ChEMBL/BindingDB/BioLip2 三源 + 激进清洗 |
差异的核心在任务垂直度与切分严格度：MoleculeNet/TDC 覆盖面广但偏「单分子性质」，且其部分数据集（如 HIV、BACE）的切分泄漏问题已被文献记录；PLUMBER 则只做蛋白-配体结合这一件事，但把切分做到未见靶点级。
对使用者的启示：若任务是「分子本身的性质」（如某化合物的水溶性），用 TDC；若任务是「分子能否结合某靶点、尤其是全新靶点」，PLUMBER 更对口。两者不是替代关系，而是覆盖不同问题面。
7.8 一个「企业开源基准」的样本意义
PLUMBER 的存在方式本身有案例价值：它展示了一条企业如何使用开源策略的路径——
- 自建：为满足自身研发需求（验证 BiPELL 泛化）而构建内部基准；
- 开源：以宽松许可（CC-BY-4.0）公开发布，附带完整源码；
- 平台化：借 Polaris 做版本锁定与分发，保证可比性；
- 品牌化：通过发布基准，展示公司在「序列优先」路线上的技术判断与数据能力。
这套组合，让一个本可能只存在于公司内部的评测工具，变成了社区可用、可引用、可对标的公共资源。对其他拥有内部数据资产的企业，这是一个可借鉴的范式——开源基准既是回馈，也是一种技术品牌建设。
§8 方法学启示：三条可迁移的经验
8.1 切分方式就是评测的「隐藏定义」
PLUMBER 最大的方法学贡献，不是数据本身，而是它把「切分」摆到了台面上。同一个数据集，随机切分和未见靶点切分，测出来的是两种能力。「我用了数据集 X」远不如「我用了数据集 X 的什么切分」重要。
可迁移经验：任何涉及泛化评估的任务（不限于药物发现），都必须明确测集相对训练集的「新」在哪里——是新样本？新类别？新分布？切分定义含糊的评测，其结论不可信。
8.2 「保留信息、不替用户决定」的接口设计
PLUMBER 训练集保留连续值与不等号符号、只对 val/test 二值化，是一种克制的接口设计：把「归一化/二值化」这类下游决策留给使用者，而非在上游一刀切。这提升了数据集的复用弹性——同一份数据可支持回归、排序、分类多种任务。
可迁移经验：设计数据集时，把「不该由数据提供方替用户做的决定」保留下来，用带符号的原始值替代拍脑袋的二值标签，往往能显著扩大数据的适用面。
8.3 透明地暴露自身局限，反而是可信度的来源
PLUMBER 两处自曝——「lack ligand split information」和平台标注的「Uncertified」——表面上是减分项，实质上增加了可信度：它让使用者准确知道边界在哪，避免误用。相比之下，一个宣称「完美」却不公开局限的基准，风险更高。
可迁移经验：评估数据集的「质量」，不只看它宣称多干净，更要看它是否说清了自己的不干净之处。有源码、有自曝局限的基准，通常比只有漂亮描述的更值得信赖。
8.4 无论文基准的存续之道
PLUMBER 证明了一条路径：当方法学可以用代码完整复现时，「论文」不是数据集被采信的唯一凭证。GitHub + 平台 + 实际使用，可以构成一套替代性的信誉机制。但这条路径要求极高的透明度（源码全开、步骤写清），因为缺少了同行评议这道外部审视，透明就是唯一的信任来源。
8.5 平台化分发对「可复现性」的贡献
PLUMBER 的另一个可迁移点，是它借助平台实现版本不可变。传统数据集的发布方式是「挂个下载链接」，风一吹链接就变、文件就换成新版，后来者再也拿不到「当时那份数据」。Polaris 的 immutable 设计堵住了这个漏洞：数据集一旦上传即锁定，任何人都拿得到逐字节相同的版本。
这对基准评测尤其关键——评测的前提是「大家在比同一份卷子」。若卷子本身会变，分数就永远无法公平比较。PLUMBER 选择 Polaris 而非简单挂载，正是看中了这一点。
可迁移经验：如果一个数据集要被用于长期、跨团队的评测，务必让它的版本不可变（内容寻址、平台锁定、或至少发布带哈希的快照）。可变的「最新版链接」是评测公平性的隐形杀手。
§9 与库内条目的关系
9.1 家族图谱：三类「蛋白-配体」资源的定位分野
千方病案医数集库内已有的蛋白-配体相关条目，与 PLUMBER 同域但定位各异：
| 条目 | rid | 本质 | 数据形态 | 与 PLUMBER 的关系 |
|---|---|---|---|---|
| bindingdb | 91 | BindingDB 实验结合亲和力库 | 结构基/实验测量，含具体靶点与化合物 | PLUMBER 的源数据之一（README 明列 BindingDB 为三源之一） |
| pdbbind | 134 | PDBbind 蛋白-配体复合物亲和力集 | 结构基（含 3D 复合物），金标准对接/打分数据集 | 同域互补：PdbBind 结构基，PLUMBER 序列基 |
| binding-moad | 174 | Binding MOAD 蛋白-配体结合库 | 结构基，从 PDB 提取的复合物 | 同域互补，结构与序列两条路线 |
关键区分（务必写入检索认知）：PLUMBER 与上述三者不是别名、不是版本、不是合并视图，而是方法论上的平行路线：
- bindingdb/pdbbind/binding-moad 都是结构基（依赖 3D 复合物结构）；
- PLUMBER 是序列基（只需氨基酸序列 + 小分子 SMILES）；
- 更关键的是，PLUMBER 含评测切分设计（未见靶点 split），而上述三库主要是数据集合而非评测基准。
因此 PLUMBER 在库内是独一份的「序列基 + 泛化基准」身份，与既有结构基资源互补共存，不构成撞库（已在 §1 查重环节确认 url_name ILIKE '%plumb%' 命中 0）。
9.2 检索路径建议
- 想要大规模、序列驱动、跨靶点泛化的结合预测训练/评测数据 → PLUMBER（本条）
- 想要结构基的复合物 3D 信息做对接/打分 → pdbbind(134) / binding-moad(174)
- 想要原始实验结合亲和力事实库（含 IC50 等原始测量） → bindingdb(91)
- 想要结构基的多层面相似度切分基准（PLUMBER 的上游方法学） → PLINDER（库内若未收录，为潜在补充方向）
9.3 建议互链点（供主会话入库后回填 rid）
- bindingdb（rid=91）：PLUMBER 的源数据之一，最直接的血缘关系，建议双向互链
- pdbbind（rid=134）：结构基 vs 序列基的同域对照，建议互链
- binding-moad（rid=174）：同域互补，建议互链
- 注：本条目自身 rid 待入库后确定；正文互链一律以实际 rid 为准，避免按「预计 rid」填写（R018 教训）
9.4 库内「药物发现与化学」域的整体图景
PLUMBER 的入库，填补了库内「序列基 + 泛化基准」这一生态位。综合看，千方病案医数集在「药物发现与化学」域已聚集起一组互补资源：
- PLUMBER（本条）：序列基、多靶点、未见切分、约 180 万活性值——泛化基准 + 大规模训练数据；
- bindingdb（91）：实验结合亲和力事实库——原始测量来源；
- pdbbind（134）：结构基复合物亲和力集——对接/打分金标准；
- binding-moad（174）：PDB 提取的复合物库——结构基数据补充。
这四条构成一条完整的「事实 → 结构 → 序列 → 基准」链条：BindingDB 提供原始事实，PdbBind/Binding MOAD 提供结构，PLUMBER 提供序列基的大规模评测。对做药物发现 ML 的检索者，这组资源基本覆盖了从数据到评测的主要需求面。
PLUMBER 在其中是不可替代的一环——因为它是唯一一个「以真实泛化为目标设计切分」的条目。其余三者本质是数据集合，而 PLUMBER 是带评测设计的基准。这个差异，是它在库内最清晰的身份标识。
§10 避坑清单：十六个已踩过的坑
以下坑点编号为「坑 1」至「坑 16」，均为检索与使用 PLUMBER 时的高频误区，逐条给出症状与对策。
坑 1：把 PLUMBER 当成「原始实验数据库」。
症状：以为 PLUMBER 里的每条活性值都是 Bioptic 亲自测的。
对策：PLUMBER 是再加工数据——它整合 ChEMBL/BindingDB/BioLip2 三家公开数据，价值在「清洗 + 切分」，不在「新测量」。要原始事实库请用 bindingdb(91)。
坑 2：GitHub 组织名写成 bioptic/plumber。
症状：访问 github.com/bioptic/plumber 报 404。
对策：官方仓库的 org 是 optic-inc，正确地址为 github.com/optic-inc/plumber。「Optic」是公司关联实体名，与品牌名 Bioptic 不完全一致——curl/WebFetch 时地址写错会误判为「仓库不存在」。
坑 3：以为能查到 train/val/test 的精确行数。
症状：翻遍 README 与 Polaris 页都找不到三个子集各自多少条。
对策：官方只公开总量约 180 万条，各集精确行数与 split 索引从未披露。需要精确比例时只能自己下载数据后 value_counts 统计——不要从文档臆测数字。
坑 4：以为 PLUMBER 提供了「完全未见」的评估。
症状：默认测集在蛋白和配体两个维度都与训练集不相交。
对策：PLUMBER 只有蛋白 split，没有配体 split（官方自曝）。测集小分子仍可能与训练集相似。若任务要求「配体-未见」评估，必须自行补做配体相似度切分。
坑 5：忽略多源合并的来源优先级偏倚。
症状：跨 ChEMBL/BioLip2 独有的靶点评估时结果异常。
对策：PLUMBER 在多源冲突时优先 BindingDB。若你的研究对象是 ChEMBL/BioLip2 独有测量覆盖的靶点，需意识到存在来源选择偏倚，必要时回到原始库核对。
坑 6：引用时虚构论文 DOI 或 BibTeX。
症状：引用格式里写了一个不存在的期刊 DOI。
对策：PLUMBER 没有正式论文（截至 2026-10）。署名应引用 GitHub 仓库 + Polaris 数据集条目，或按 Polaris 平台生成引用——切勿编造论文引用。
坑 7：以为数据「high-quality」是第三方认证的结论。
症状：把官方自我描述的「high-quality」当作客观认证。
对策：Polaris 明确标注 PLUMBER 为 Uncertified。质量保证来源是「作者自证 + 源码可复现」，非平台认证。要用得安心，就自己跑一遍 notebooks 验证。
坑 8：下载时用错工具/版本导致数据不一致。
症状：不同人下载的 PLUMBER 版本不同、结果无法对齐。
对策：官方指定用 polaris 包（conda-forge，示例版本 0.9.1） 从 Polaris 拉取，且必须先装 polaris 再装其他依赖。Polaris 数据集 immutable（版本锁定），这才是「大家用同一份数据」的保证。
坑 9：把二值化阈值当成普适定义。
症状：把 PLUMBER 的 is_active（Ki/Kd < 1 μM）当成领域通用的「活性」定义。
对策：1 μM 是 PLUMBER 为统一口径而选定的阈值，并非领域标准。不同场景的「活性」阈值不同（有些场景用 10 μM，有些用 100 nM）。跨研究比较时务必核对阈值。
坑 10：混淆 PLUMBER 与 PLINDER。
症状：把两者的数据规模、任务、许可混为一谈。
对策：PLINDER 是结构基基准（数十万复合物），PLUMBER 是序列基基准（约 180 万活性值）；PLUMBER 借用 PLINDER 的 split 方法学。两者的数据、任务、规模、发布方都不同——它们互补，不可互换。
坑 11：把「180 万条」当成「180 万个分子」或「180 万训练样本」。
症状：按 180 万估算训练集规模或分子多样性，结果偏差巨大。
对策：180 万是蛋白-配体「配对数」，同一分子/同一靶点会重复出现。独立分子数与独立靶点数官方未披露，且远小于 180 万；train 集具体行数也未公开。做规模估计前必须下载后实际统计。
坑 12：用 PLUMBER 的分数直接宣称「超越 SOTA」。
症状：在论文中写「本方法在 PLUMBER 上达到 SOTA」。
对策：PLUMBER 无官方 leaderboard、无基线分数，「SOTA」无从定义。正确表述是「在统一口径下优于我们所建的基线」——并公开你的任务口径（用哪些活性类型）、切分（val 还是 test）、指标定义，让结论可复核。
坑 13：忽略 PAINS 过滤对「特定化学类」的剔除。
症状：研究某类含特定官能团的分子（如醌类、儿茶酚）时，发现数据里样本异常稀少。
对策：PLUMBER 经 PAINS 过滤，会剔除泛测定干扰化合物——若你的研究对象恰属 PAINS 类，数据将系统性缺失。这不是数据缺陷，而是清洗的有意选择。需要这类分子时，请回到未经 PAINS 过滤的源库（如 BindingDB）。
坑 14：假设 val 与 test 可互换使用。
症状：随意用 val 或 test 报分，未说明用了哪个。
对策：PLUMBER 的 val 与 test 字段相同、均为未见靶点，但它们对应不同的靶点 split。报告中必须明确用的是 val 还是 test，且调参应用 val、最终报分用 test——若在 test 上调参，即为泄漏。官方未公开两集大小，使用前应确认自身流程未跨集泄漏。
坑 15：把「Uncertified」等同于「数据有问题」。
症状：因看到 Uncertified 就断定数据不可用。
对策：Uncertified ≠ 质量差，它只表示「未经平台认证评审」。PLUMBER 的清洗步骤有完整源码可查，质量是作者自证 + 可复现。正确态度是：把它当作「需自行验证」的信号，跑一遍 notebooks 确认，而非直接否定或直接采信。
坑 16：忽视「多对一」配对结构对评估的影响。
症状：在未见靶点评估中，因测集某靶点配对数很多而被其主导整体指标。
对策：PLUMBER 是「一个靶点对多个配体」的多对一结构。若按记录数做宏平均，配对数多的靶点会主导结果。建议同时报按靶点分组的指标（per-target 平均），以看清模型在不同靶点上的真实表现。
§11 总结
11.1 三句话总结
- PLUMBER 是 Bioptic 出品、在 Polaris Hub 发布的「序列基蛋白-配体结合预测基准」——整合 ChEMBL/BindingDB/BioLip2 三源，经单体筛选、SMILES 标准化、PAINS 过滤、去重等六步清洗，得约 180 万条活性值。
- 它的灵魂是「未见靶点切分」——借用 PLINDER 的复合相似度 split，让测集蛋白对训练集未见，把评测从「测记忆」转向「测泛化」，故官方称其为「给 AI 的压力测试」。
- 它的身世是「无论文基准」——没有 arXiv/期刊论文，靠可复现源码 + 平台分发 + 实际使用立信誉；许可宽松（CC-BY-4.0），但平台标注 Uncertified，且只有蛋白 split、无配体 split。
11.2 适合谁
- 序列基结合预测模型的开发者：需要一个严苛的跨靶点泛化考场；
- 蛋白语言模型 / 分子表征学习研究者：PLUMBER 的序列-配体任务是天然下游评测；
- 虚拟筛选团队：想测「面对全新靶点能否优先筛出真活性分子」；
- 基准方法学研究者：PLUMBER 的「未见切分」设计是可研究、可对标的样本；
- 想以低成本获得大尺度蛋白-配体训练数据的人：CC-BY-4.0 + 约 180 万条，门槛低。
11.3 不适合谁
- 需要原始实验测量事实的人：请用 BindingDB(91) 等原始库；
- 需要 3D 结构做对接/打分的人：PLUMBER 不给结构，请用 PdbBind(134)/Binding MOAD(174)；
- 需要「配体-未见」严格外推评估的人：PLUMBER 缺配体 split，需自建；
- 需要官方基线分数以直接攀比的人：PLUMBER 无 leaderboard，跨报告不可比；
- 需要权威认证背书以便合规审计的人：Polaris 标 Uncertified，认证背书缺位。
11.4 30 秒决策卡
- 我要做什么？ → 判断是否需要「序列基 + 跨靶点泛化」的结合预测数据
- 规模够吗？ → 约 180 万条，同类多靶点基准里最大级
- 许可能用吗？ → CC-BY-4.0，商用可，须署名
- 怎么下载？ → Polaris（
polaris包，V2）或 GitHub（notebooks/） - 最大的坑？ → 只有蛋白 split、无配体 split；Uncertified；无论文
- 一句话 → 要测「不看结构、只看序列」的模型在全新靶点上行不行，就用 PLUMBER。
11.5 一页纸速记（给赶时间的人）
- 是什么：Bioptic 的序列基蛋白-配体结合预测基准，180 万条，CC-BY-4.0
- 在哪：Polaris Hub（polarishub.io，V2）｜GitHub（optic-inc/plumber）
- 关键词：序列驱动、未见靶点 split、PLINDER 血统、PAINS 过滤、Ki/Kd < 1 μM
- 三个硬事实：四源互证 180 万｜双源确认 CC-BY-4.0｜双源确认 2024-11-15 发布
- 三个必须知道的局限：无配体 split｜Uncertified｜无正式论文
- 和谁像：像 PLINDER 的序列版（共享 split，不同数据模态）
- 和谁不一样：不同于 bindingdb/pdbbind/binding-moad（它们是结构基数据集合，它是序列基基准）
11.6 写这条目的方法与可核验性
本条目所有硬数字均遵循「三源互证」原则，核心事实来源与性质如下：
| 事实 | 来源 | 性质 |
|---|---|---|
| 约 180 万条 | Polaris 页 / Bioptic 博客 / 官方 LinkedIn / MDPI 综述 | 四源一致 |
| CC-BY-4.0 | Polaris 页 / Bioptic 博客 | 双源一致 |
| 2024-11-15 发布 | Bioptic 博客 / Polaris 页 | 双源一致 |
| 全称含 for Evaluating Robustness | GitHub README / Polaris 页 | 双源一致 |
| 六步预处理 | GitHub README / Polaris 页 | 双源一致（原文照录） |
| 字段 schema | GitHub README / Polaris 页 | 双源一致 |
| 缺 ligand split 自曝 | GitHub README | 单源（官方一手） |
| Uncertified | Polaris 页 | 单源（平台一手） |
| 发布日 2024-11-15 | 官方博客 + Polaris | 双源 |
未核实项（遗留疑点）：train/val/test 各集精确行数、作者完整名单、V1→V2 变更内容、官方基线分数——这些官方从未公开，本条目如实标注为「未披露」，未做任何推测性填充。凡本文出现「约」「未披露」「自曝」等字样处，均为严谨表述，非含糊其辞。
核验时点：2026-10-16。网络来源随时间可能变动，若需引用请以官方现页为准。
11.7 版本与更新历史
PLUMBER 的版本线索梳理如下（供需要锁定版本的检索者参考）：
| 时点 | 事件 | 来源 |
|---|---|---|
| 2024-11-11 | GitHub 仓库 Init（首次提交） | GitHub 提交历史 |
| 2024-11-15 | 正式发布（博客 + Polaris 创建） | Bioptic 博客 / Polaris 页 |
| 2024-11-18 | README 更新 overview 图、EDA notebook 整理 | GitHub 提交历史 |
| 2024-11-19 | README 修正数据格式说明 | GitHub 提交历史 |
| 2025-02-20 | （PLINDER 侧）数据集更新的计划，非 PLUMBER 迭代 | PLINDER 博客 |
| 当前 | Polaris 标 V2 | Polaris 页 |
关键提醒：Polaris 显示 V2，但V1→V2 的具体变更内容未公开（无 changelog）——这是遗留疑点。若你的研究对版本敏感，建议在报告中明确标注「PLUMBER V2，2026-10 抓取」，避免未来版本变动导致比对困难。
11.8 互链决策说明（供主会话参考）
本条目在库内的互链建议及理由（rid 待入库后按 DB 实际值回填，勿按预计填写）：
- bindingdb（rid=91） —— 强互链。BindingDB 是 PLUMBER 的三源之一，且是冲突仲裁源，血缘最直接。读者从 BindingDB 条目应能跳到「由此派生的序列基基准 PLUMBER」，反之亦然。
- pdbbind（rid=134） —— 中互链。同为蛋白-配体亲和力资源，但 pdbbind 是结构基。互链的价值在于呈现「结构基 vs 序列基」的路线对照。
- binding-moad（rid=174） —— 中互链。同域结构基资源，与 pdbbind 类似，作为「同域谱系」罗列。
- PLINDER（若库内收录） —— 强互链（若存在）。PLUMBER 的方法学上游，最应互链的对象。若库内暂无 PLINDER 条目，可记为「潜在补充方向」。
消歧说明（写入正文，不进 frontmatter）：PLUMBER 与上述三者非别名、非版本、非合并视图——它是序列基 + 评测基准的独立身份，与三者互补共存。此判断已通过 DB url_name ILIKE '%plumb%' 查重（命中 0）与逐一内容比对确认。
§12 数据字典（字段速查）
为便于工程使用，此处汇总 PLUMBER 的字段定义（依据官方 README，原文照录语义）：
12.1 val / test 集字段
| 字段名 | 类型 | 含义 | 备注 |
|---|---|---|---|
SMILES |
string | 标准化 SMILES 表征的分子 | 经 ChEMBL Structure Pipeline 标准化 |
sequence |
string | 单体靶蛋白的氨基酸序列 | 对应一个单体功能单元 |
uniprot_id |
string | 该蛋白的 UniProt ID | 可用于关联外部蛋白注释 |
source |
string | 来源标记 | 取值 chembl / bdb / biolip |
split |
string | 集标记 | 恒为 "test"（val 集同结构） |
is_active |
binary | 是否活性 | 分子对靶点 Ki/Kd < 1 μM 判 1 |
12.2 train 集字段
| 字段名 | 类型 | 含义 |
|---|---|---|
SMILES |
string | 标准化 SMILES 表征的分子 |
sequence |
string | 单体靶蛋白的氨基酸序列 |
uniprot_id |
string | 该蛋白的 UniProt ID |
source |
string | 来源标记（chembl/bdb/biolip） |
ki |
float | 抑制常数（Ki）数值 |
kd |
float | 解离常数（Kd）数值 |
ic50 |
float | 半数抑制浓度数值 |
ec50 |
float | 半数有效浓度数值 |
ki_sign |
string | Ki 的关系符号（=/>/<） |
kd_sign |
string | Kd 的关系符号（=/>/<） |
ic50_sign |
string | IC50 的关系符号（=/>/<） |
ec50_sign |
string | EC50 的关系符号（=/>/<） |
注意：train 集无 is_active；val/test 集无 ki/kd/ic50/ec50 及符号（仅二值标签）。两套 schema 是刻意的任务分工（见 §2.2）。
12.3 取数小贴士
- 想要二分类任务：用 val/test 的
is_active，或自行在 train 上按 Ki/Kd < 1 μM 二值化； - 想要回归任务：用 train 的 ki/kd/ic50/ec50，注意结合
*_sign处理不等号数据； - 想要按靶点分组评估：用
uniprot_id或sequence分组（后者的「多对一」结构见坑点 16）； - 想要按来源做鲁棒性分析：用
source字段分 chembl/bdb/biolip 三组对比模型表现。
12.4 一个最小的加载示例（示意）
以下为从 Polaris 拉取 PLUMBER 的示意性流程（版本以官方当前为准，此处仅为帮助理解取数方式）：
# 示意：从 Polaris Hub 拉取 PLUMBER（具体 API 以 polaris 官方文档为准）
# 环境准备（官方 README 指定）：
# conda create -n plumber -y python=3.11
# conda activate plumber
# conda install -c conda-forge polaris=0.9.1 # 必须先于其他依赖安装
# pip install -r requirements.txt
#
# 拉取后按官方 split 使用 val/test，切勿自行重新切分
# （自行切分会丢失「未见靶点」这一核心设计价值，见 §4）
#
# 字段使用示例（伪代码）：
# train_df -> 含 ki/kd/ic50/ec50 + *_sign，用于回归或自建分类
# test_df -> 含 SMILES/sequence/uniprot_id/source/is_active
# # 分类任务：用 test_df[['sequence','SMILES']] 预测 is_active
# # 回归任务：用 train_df 训练，注意结合 *_sign 处理不等号
提醒：上方为示意性伪代码，非可直接运行的完整脚本——实际 API 调用请以 Polaris 官方文档与仓库 notebooks/ 为准（本文不臆造 API 细节，以免误导）。
12.5 与上游表格的对照：一张表看懂 PLUMBER
| 你关心的 | 答案 |
|---|---|
| 多少条 | 约 180 万（配对） |
| 什么任务 | 结合事件分类 + 亲和力回归 |
| 输入是什么 | 氨基酸序列 + 小分子 SMILES |
| 输出/标签 | is_active（val/test）或 ki/kd/ic50/ec50 + 符号（train） |
| 怎么切分 | PLINDER 未见靶点 split |
| 许可是什么 | CC-BY-4.0 |
| 哪里下载 | Polaris Hub（V2）/ GitHub |
| 有论文吗 | 无 |
| 认证了吗 | 未认证（Uncertified） |
| 最大局限 | 无配体 split、无论文、无认证 |
DAIMS 数据成熟度评估
DAIMS（Data Asset Maturity & Impact Scoring）从数据资产的可获得性、质量、文档、治理、影响力五个维度做成熟度打分（每维 0-5 分，总分 25）。
| 维度 | 得分 | 评据 |
|---|---|---|
| 可获得性（Availability） | 5.0 | CC-BY-4.0 完全开放；Polaris API 一行拉取（版本锁定）；GitHub 源码全开；无 gated、无申请门槛 |
| 数据质量（Quality） | 3.5 | 六步激进清洗（PAINS 过滤/标准化/去重/一致性检查）有源码可查；但平台标 Uncertified，缺独立第三方认证；无配体 split 是结构性局限 |
| 文档完备（Documentation） | 4.0 | README 字段说明清晰、预处理六步列全、复现路径完整；扣分项：train/val/test 精确行数未披露、作者名单/版本 changelog 缺失、无正式论文/技术报告 |
| 治理与许可（Governance） | 4.0 | CC-BY-4.0 明确且双源确认；Polaris immutable 保证版本一致性；扣分项：无独立 DOI、无 CITATION.cff、署名格式未标准化 |
| 影响力（Impact） | 3.5 | 已驱动 Bioptic 自身模型（BiPELL）开发；PLINDER 官方博客正面背书；2026 MDPI 综述引用；但发布至今无大规模第三方 leaderboard，社区采用度尚在成长 |
| 总分 | 20.0 / 25 | 等级：成熟（Established） —— 可获得性与治理是强项，数据质量因未认证与配体 split 缺失留有缺口，影响力处于早期上升期 |
一句话解读：PLUMBER 是一份**「开门极低、质量自证、认证待补」的开放基准——好用、好拿、源码透明，但它的「高质量」目前是作者背书 + 可复现**，而非第三方认证。使用者应把「自己跑一遍 notebooks」作为采纳前的标准动作。
FAQ（高频问答 51 问）
A. 基础认知
A1. PLUMBER 全称是什么？
Protein–Ligand Unseen Matching Benchmark for Evaluating Robustness（蛋白-配体未见靶点匹配基准——用于评估泛化鲁棒性）。
A2. 它是数据集还是基准？
两者都是。数据层面是约 180 万条蛋白-配体活性值；评测层面它提供 val/test 的 is_active 标签与未见靶点 split，构成一个泛化评测基准。
A3. 谁做的？
Bioptic（药物发现 AI 公司），创建者为团队成员 Vlad Vinogradov，经 Valence Labs 的 Polaris Hub 发布。
A4. 什么时候发布的？
2024-11-15（Bioptic 官方博客与 Polaris 页面双源一致）。
A5. 有论文吗？
没有正式期刊论文，也没有 arXiv 预印本。发布载体是 GitHub 仓库 + 官方博客 + Polaris 页。
A6. 数据从哪来？
ChEMBL、BindingDB、BioLip2 三个公开库的整合再加工。
A7. 有多少条数据？
官方口径约 180 万条（~1.8M），四源互证。
A8. 「序列基」是什么意思？
蛋白侧只提供氨基酸序列（一级结构），不提供 3D 结构。模型必须从序列直接预测结合。
B. 数据与字段
B1. val/test 集有哪些字段？
SMILES、sequence、uniprot_id、source、split、is_active。
B2. train 集有哪些字段？
ki/kd/ic50/ec50 连续值 + ki_sign/kd_sign/ic50_sign/ec50_sign 符号（=/</>）。无 is_active。
B3. 为什么 train 不二值化？
为保留信息、给建模者自由——可用连续值做回归、用符号做约束/排序，官方不替用户做归一化决策。
B4. is_active 的判定标准？
Ki/Kd < 1 μM 判为 active。这是为统一分类口径而设的阈值，非领域通用标准。
B5. source 字段有哪些取值？
chembl、bdb、biolip 三种。
B6. 多源冲突时以谁为准？
BindingDB（preprocessing 步骤四：prioritized data from BindingDB）。
C. 切分与泛化
C1. 用什么切分？
PLINDER 的蛋白 split 分配（基于系统级复合相似度）。
C2. 「未见靶点」是什么意思？
测集蛋白与训练集蛋白在 PLINDER 相似度度量下不重叠，模型必须泛化到新靶点。
C3. 为什么要这么做？
随机/时间切分会让测集混入相似蛋白，测的是记忆而非泛化。未见切分才能真测泛化。
C4. 它测的「未见」是全方位的吗？
不是。只有蛋白侧未见，配体侧未见缺失（README 自曝 lack ligand split information）。
C5. 能不能和结构基方法对比？
可以——因沿用 PLINDER 的 split，PLINDER 官方称未来可做序列基 vs 结构基的对照。
D. 预处理与质量
D1. 预处理有几步？
六步：仅单体 → SMILES 标准化 → SMILES 清洗 → BindingDB 优先 → PAINS 过滤 → val/test 二值化去重一致性检查。
D2. PAINS 过滤是干什么的？
剔除泛测定干扰化合物（假阳性来源），提升数据信噪比。
D3. 用的什么标准化工具？
ChEMBL Structure Pipeline。
D4. 预处理源码在哪？
GitHub 仓库 notebooks/ 目录（01-04 notebooks + filter_pains.py + standardize.py + publish_to_polaris.py）。
D5. 数据质量有保证吗？
清洗步骤有源码可查（可信度高），但 Polaris 标注 Uncertified（无独立认证评审）。
E. 获取与许可
E1. 许可是什么？
CC-BY-4.0（可商用、可分发、可修改，须署名）。
E2. 怎么下载？
两条路：Polaris Hub（polaris 包拉取，V2 版本锁定）或 GitHub 仓库（预处理源码）。
E3. Polaris 上的安装要求？
官方指定 polaris=0.9.1（conda-forge），且必须先装 polaris 再装其他依赖。
E4. 需要申请吗？
不需要。无 gated、无申请门槛，直接公开可取。
E5. 引用怎么写？
引用 GitHub 仓库（github.com/optic-inc/plumber）与/或 Polaris 数据集条目——无正式论文引用。
E6. 能改数据吗？
可以（CC-BY-4.0 允许修改）。但 Polaris 上的版本 immutable——要改需拿源数据重上传为新版本。
F. 生态与库内
F1. 和 PLINDER 什么关系？
PLUMBER 基于 PLINDER 的 split 方法学，但数据侧是序列基（PLINDER 是结构基）。两者互补。
F2. 和 BindingDB 什么关系？
BindingDB 是 PLUMBER 的三个源数据之一，且是多源冲突时的优先源。
F3. 库内有同类条目吗？
有：bindingdb(rid=91)、pdbbind(rid=134)、binding-moad(rid=174)——均为结构基/实验库，与 PLUMBER 的序列基+基准身份互补，非撞库。
F4. 为什么说它是「无论文基准」？
因为它没有论文/预印本，靠源码 + 平台 + 实际使用建立信誉。
F5. 有什么已知局限？
只蛋白 split 无配体 split、Uncertified、无正式论文、多源冲突优先 BindingDB 可能引入偏倚、二值阈值固定。
F6. 谁在用？
Bioptic 自己的 BiPELL 模型开发；PLINDER 官方博客背书；2026 MDPI 综述引用。
G. 复现与工程
G1. 复现环境怎么配？
conda create -n plumber python=3.11 → conda install -c conda-forge polaris=0.9.1 → pip install -r requirements.txt。
G2. notebooks 各管什么？
01_chembl 处理 ChEMBL、02_bindingdb 处理 BindingDB、03_biolip 处理 BioLip2、04_merge 聚合。
G3. 能只用 Ki/Kd 等值数据吗？
可以。官方明确支持只用 Ki/Kd equality data，也可纳入其他活性类型。
G4. 有官方基线分数吗？
没有。PLUMBER 无 leaderboard，跨报告比较需自行统一口径。
G5. 数据格式是什么？
Polaris 侧统一为 Zarr 存储，API 返回 ML-ready 表征；GitHub 侧是预处理 notebook 与源码。
H. 进阶与疑难
H1. 我能不能只用 PLUMBER 的 train 集，忽略 val/test？
可以。train 集（连续值 + 符号）本身是一份可用的蛋白-配体训练数据。但若忽略官方 val/test，你就放弃了「未见靶点评估」这个核心价值，测出来的分数无法与他人比较。
H2. train 集的 IC50/EC50 能用吗？
能用，但要知道 IC50/EC50 受实验条件影响、跨实验可比性弱于 Ki/Kd。追求纯度建议只用 Ki/Kd，追求数据量可纳入。
H3. 不等号（>/<）数据怎么用？
三种常见用法：(a) 丢弃，只用等值数据；(b) 当软标签/约束（如 >10 μM 视为弱活性）；© 当排序约束（known to be weaker than X）。官方支持这些做法。
H4. 怎么判断我的模型是不是靠「记忆」拿高分？
对比两类评估：随机切分下的分数 vs PLUMBER 未见靶点切分下的分数。若差距巨大，说明模型主要靠记忆相似靶点，泛化不足。
H5. 能用 PLUMBER 做预训练吗？
可以，CC-BY-4.0 允许任何用途（含预训练）。约 180 万条序列-配体配对是不错的预训练语料。注意署名义务。
H6. PLUMBER 的靶点覆盖均衡吗？
不一定。三源叠加的分布天然不均，某些靶点族占比更高。若关心特定靶点族，务必先统计 sequence/uniprot_id 分布。
H7. 官方会更新数据吗？
Polaris 页面显示 V2（已更新过一次），但无公开 changelog。数据集 immutable，故「更新」= 发新版本。未来是否继续迭代未知。
H8. 我能在论文里说「在 PLUMBER 上达到 SOTA」吗？
要谨慎——PLUMBER 无官方 leaderboard，你的「SOTA」需自建基线并明确口径，否则不可验证。建议表述为「在统一口径下，本方法优于我们所建的基线」。
H9. PLUMBER 与 plinder 的库内关系？
PLUMBER 是 PLINDER 的序列基衍生（共享 split）。库内若收录 PLINDER，两者应互链；若未收录，PLINDER 是潜在的补充方向。
H10. 这份数据和「真实药物发现」有多近？
较近——它测的「新靶点泛化」正是真实项目的核心难点。但它仍是回顾性（retrospective）基准，活性值来自历史实验，不能替代前瞻性湿实验验证。评估结果是「提示性」的，落地仍需实验确认。
事实清单（硬事实 50 条）
- PLUMBER 全称：Protein–Ligand Unseen Matching Benchmark for Evaluating Robustness。
- 出品方：Bioptic。
- 创建者：Bioptic 团队成员 Vlad Vinogradov。
- 发布平台：Polaris Hub（Valence Labs / Recursion 主导）。
- GitHub 仓库：github.com/optic-inc/plumber。
- 发布日：2024-11-15。
- Polaris 页面标注版本：V2。
- 数据规模：约 180 万条（~1.8M）活性值。
- 规模四源互证：Polaris 页 / Bioptic 博客 / 官方 LinkedIn / MDPI 2026 综述。
- 源数据三库：ChEMBL、BindingDB、BioLip2。
- 上游方法学：PLINDER（提供蛋白 split）。
- 许可：CC-BY-4.0。
- 平台认证状态：Uncertified（未认证）。
- 任务类型一：结合事件分类。
- 任务类型二：结合亲和力回归。
- val/test 二值阈值：Ki/Kd < 1 μM。
- val/test 字段：SMILES、sequence、uniprot_id、source、split、is_active。
- train 字段：ki/kd/ic50/ec50 + 对应 sign（=/</>）。
- train 集无 is_active 字段。
- source 取值：chembl、bdb、biolip。
- 预处理步骤一：仅选单体数据。
- 预处理步骤二：ChEMBL Structure Pipeline 标准化 SMILES。
- 预处理步骤三：SMILES 清洗。
- 预处理步骤四：BindingDB 优先。
- 预处理步骤五：PAINS 过滤。
- 预处理步骤六：val/test 二值化 + 去重 + 一致性检查。
- 官方自曝局限一：缺 ligand split 信息。
- 官方自曝局限二：split「not perfect」。
- 官方定位语：It’s not just a dataset — it’s a stress test for AI。
- PLINDER 官方背书：PLUMBER 沿用 PLINDER split，未来可做序列基 vs 结构基对照。
- 应用模型：BiPELL（protein-agnostic language model）。
- 复现要求：conda 环境 python=3.11，polaris=0.9.1（须先装）。
- 预处理源码目录：notebooks/（01_chembl、02_bindingdb、03_biolip、04_merge、filter_pains.py、standardize.py、publish_to_polaris.py）。
- 无正式论文/预印本（截至 2026-10）。
- Polaris 数据集为 immutable（上传后版本锁定）。
- Polaris 数据集下载方式：polaris Python 包（API）。
- 库内近邻一：bindingdb（rid=91）——PLUMBER 源数据之一。
- 库内近邻二：pdbbind（rid=134）——结构基对照。
- 库内近邻三：binding-moad（rid=174）——同域互补。
- 查重结论：DB url_name ILIKE ‘%plumb%’ 命中 0；与库内既有条目非别名/非版本/非合并视图。
- Polaris 平台由 Valence Labs / Recursion 主导，联合 Chan Zuckerberg Initiative 及多家药企。
- Polaris 数据集不可变（immutable），上传后版本锁定。
- Polaris 分普通数据集与认证数据集两类；PLUMBER 属普通（Uncertified）。
- 官方定位：同类中最大的多靶点基准（largest multi-target benchmark of its kind）。
- 训练集保留 Ki/Kd/IC50/EC50 连续值，val/test 仅保留 is_active 二值。
- 预处理用 ChEMBL Structure Pipeline 做 SMILES 标准化。
- 数据集由 Bioptic 团队创建者 Vlad Vinogradov 主导。
- BiPELL = Bioptic 的 protein-agnostic language model。
- PLINDER 官方博客（2024 年终更新）正面提及 PLUMBER 的 split 兼容性。
- MDPI 2026 综述《Artificial Intelligence Across the Drug Development Lifecycle》引用 PLUMBER。
来源清单（可核验 URL）
以下为本条目一手来源，均为写作时（2026-10-16）实抓/实检，供检索者复核。
- GitHub 仓库：https://github.com/optic-inc/plumber （README 全文、notebooks 目录、提交历史）
- Polaris Hub 数据集页：https://polarishub.io/datasets/optic/plumber （规模 ~1.8M、V2、Uncertified、CC-BY-4.0、创建日 2024-11-15、字段说明）
- Bioptic 官方博客：http://bioptic.io/blog/bioptic-releases-plumber-a-new-benchmark-for-ai-driven-binding-prediction （发布日、1.8M、CC-BY-4.0、创建者 Vlad Vinogradov、stress test 定位、BiPELL 应用）
- PLINDER 官方博客：https://www.plinder.sh/blog/updates （2024 年终更新，PLUMBER 沿用 PLINDER split 的互补性说明）
- MDPI 综述：https://www.mdpi.com/2076-3271/14/2/248/htm （PLUMBER 被引用为 Bioptic 数字员工准确性锚点，1.8M binding affinity points）
- 官方 LinkedIn 帖（OPTIC）：https://www.linkedin.com/posts/optic-inc_bioptic-shares-ml-benchmark-for-small-molecules-activity-7264385665637740546-d8VN （1.8M high-quality activity values）
核验方式说明：全部核心数字均经≥2 个独立来源比对；规模（180 万）经 4 源比对；许可（CC-BY-4.0）与发布日（2024-11-15）经 2 源比对。未能核实的项已在正文标注「未披露」或「遗留疑点」，未作推测填充。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- chembl — 共享标签：药物发现与化学 / 化学信息学 / 药物-靶点相互作用 / 分子性质预测 / 虚拟筛选
- bace — 共享标签：药物发现与化学 / 化学信息学 / 分子性质预测 / 虚拟筛选 / 评测基准
- csar — 共享标签：药物发现与化学 / 化学信息学 / 药物-靶点相互作用 / 虚拟筛选 / 评测基准
- chembl — 共享标签：药物发现与化学 / 化学信息学 / 药物-靶点相互作用 / 虚拟筛选
- aqsoldb — 共享标签：药物发现与化学 / 化学信息学 / 分子性质预测 / 评测基准
- drugtargetcommons — 共享标签：药物发现与化学 / 化学信息学 / 药物-靶点相互作用 / 虚拟筛选
- moleculenet — 共享标签：药物发现与化学 / 化学信息学 / 分子性质预测 / 评测基准
- lit-pcba — 共享标签：药物发现与化学 / 化学信息学 / 虚拟筛选 / 评测基准
- openadmet-expansionrx — 共享标签：药物发现与化学 / 化学信息学 / 分子性质预测 / 评测基准
- interactbind — 共享标签：药物发现与化学 / 药物-靶点相互作用 / 虚拟筛选 / 评测基准
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
