DALPHIN 数字病理 AI 助手基准

六个国家六家机构的 300 例病理病例、1,236 张图像与 1,757 道问题——面向视觉语言模型的开放基准,答案封存在评测平台里只打分不外发

来源 Zenodo record 18609450:images.zip(低分辨率 WSI 概览 + 高分辨率 ROI,PNG)+ dalphin_metadata.csv(case-id、question-id、preamble、question、overviews、rois 六列);参考答案封存于 dalphin.grand-challenge.org,提交经平台自动评分并进入公开榜单发布时间: 2026-10-18最后更新: 2026-10-18 阅读 17
DALPHIN 数字病理 AI 助手基准

信息速览

数据集名称DALPHIN 数字病理 AI 助手基准
数据类型影像数据,人工标注,多模态
规模300 例匿名病例(六家机构、六国);其中 115 例有人工阅读答案,60 例另有半专家复核
接入方式Zenodo record 18609450:images.zip(低分辨率 WSI 概览 + 高分辨率 ROI,PNG)+ dalphin_metadata.csv(case-id、question-id、preamble、question、overviews、rois 六列);参考答案封存于 dalphin.grand-challenge.org,提交经平台自动评分并进入公开榜单
AI 就绪度

DALPHIN 全称数字病理 AI 助手基准(Digital Pathology AI Copilot Benchmark),由荷兰拉德堡德大学医学中心(Radboud University Medical Center)计算病理组牵头,联合六个国家六家机构采集,2026 年 5 月同时以论文、Zenodo 数据包与 Grand Challenge 评测平台三种形态公开。规模为 300 例病例、1,236 张组织病理图像、1,757 道问题,覆盖 130 种诊断与 14 个病理亚专科。

它要补的缺口不在数据量,而在评什么、怎么评。病理 AI 的公开评测长期集中在切片级分类与分割,题目是「这张切片属于哪一类」;而临床真正需要助手做的事,是回答问题——这块组织是什么器官、有没有肿瘤、是良性还是恶性、最可能是什么诊断。这类问题的答案无法用单标签表示,只能用自然语言,于是评测需要新的题面和新的防作弊设计。

使用时先建立两个预期。第一,本地只有图像与问题,参考答案不在包里,任何离线自评都只是近似,官方分数必须走平台提交。第二,它是评测集不是训练集,Zenodo 条款明文禁止用于训练、微调或任何形式的模型开发,把图像喂进预训练语料就已经越界。

§1 它是什么

1.1 定义与定位

DALPHIN 是一个面向病理视觉问答的基准(benchmark)。它给每个被测模型同一批图像、同一批问题、同一套评分代码,让不同模型与不同资历的病理医生在同一坐标系里比较。被评对象是「病理 AI 助手」,即能用自然语言读图作答的视觉语言模型(vision-language model,VLM),不是切片级分类器,也不是分割网络。

官方把它定位为长期基准而非传统挑战赛(challenge)。平台首页的免责声明写明:没有提交截止日期,没有奖金,没有正式发表机会,也不打算另发一篇汇总榜单结果的论文。这个定位决定了它的用法——不是赛一场定胜负,而是长期挂着一把尺子,谁有新模型随时来量。

1.2 名称的构造

DALPHIN 这个名字本身是一个缩略拼接。论文标题《Towards a multicentric open DigitAL PatHology assIstaNt beNchmark》把大小写做了标记,取 Digital 的 AL、Pathology 的 P、H,Assistant 的 I、N,拼成 DALPHIN。中文语境里没有通行译名,直译为「数字病理 AI 助手基准」比较贴近,本文用原名。

这个名字还有一层来源上的张力值得知道:它由两篇文献共同支撑,一篇是 2025 年会议增刊上的初期结果,一篇是 2026 年的完整预印本。前者给出缩写与研究方向,后者给出完整设计与全部结果表。检索时若只命中前者,会得到一份只有概述、没有具体数字的材料,容易误判为「文档很少的小数据集」。正确的路径是先看预印本,再看增刊论文。

第二层张力在于「助手」这个词。它在论文里指的不是一个具体的产品,而是一类模型形态:能读图、能被提问、能用自然语言回答。这类形态在放射与病理领域都刚出现不久,评测方法还在形成期。DALPHIN 的贡献有一半在数据,另一半在把「怎么评这类模型」说清楚——用哪几类题、每类用什么指标、医生基线怎么分层、答案怎么封存。这些设计选择本身就是可引用的方法学内容。

1.3 谁做的、在哪

牵头方是 Radboud 大学医学中心计算病理组,代码托管在该组的 GitHub 组织下。数据来自六家机构:

缩写 机构 所在
RUMC Radboud University Medical Center 荷兰 奈梅亨
VPC Vilnius University 与国家病理中心 立陶宛 维尔纽斯
HUGTiP Hospital Universitari Germans Trias i Pujol 西班牙 巴达洛纳
— Biopticka Laboratory Ltd. 捷克 比尔森
AUMC / Lunit Ajou University Medical Center(数据由 Lunit 提供) 韩国 水原
IMP D. IMP Diagnostics 葡萄牙 波尔图

1.4 版本与标识符

三个入口各有自己的标识符,互不替代,引用时容易混。

形态 标识符 发布 内容
会议增刊论文 DOI 10.1016/j.labinv.2024.103609 Laboratory Investigation 2025 年第 105 卷第 3 期增刊 初期结果与方法概述
预印本主文 arXiv:2605.03544 2026-05-05 完整设计、人工基线、六任务结果
数据包 Zenodo record 18609450 2026-05-06,v1 images.zip + dalphin_metadata.csv
评测平台 dalphin.grand-challenge.org 持续开放 提交与榜单

两个 DOI 指向同一项工作的不同阶段:增刊论文是会议摘要级,预印本是完整稿。引用方法学细节时应引后者,引「首次提出」类说法可引前者。

1.5 与皮肤病理、淋巴瘤的关系

派发简报曾把这条归为皮肤病理或淋巴瘤方向,核实后两者都不成立。

十四亚专科中确实包含皮肤病理与血液病理(hematopathology),但主文的结果只按亚专科分层报告了病例数不少于 10 例的八个:泌尿、胃肠、软组织、乳腺、胸部、肾、肝胆胰、皮肤。血液病理不在其中,说明其病例数较少或未单独分析,官方也没给出具体数目。全文没有淋巴瘤的专门讨论,唯一出现 lymphoma 字样的地方是一段诊断文本清洗示例,原文写出完整病名 “diffuse large B-cell lymphoma (DLBCL), NOS” 作为格式示范。

所以这里真正的边界是:DALPHIN 是跨亚专科的通用基准,它的价值在于覆盖广,而不在于把某一种血液系统肿瘤做深。要研究淋巴瘤的形态学判读,需要另找专门的血液病理数据集。

1.6 病例的构成逻辑

300 例不是随机抽样的产物。从公开材料能读出的分层逻辑有三条:一是亚专科覆盖,十四个亚专科中每一个都要有代表,这决定了不能只从一两个科室集中取病例;二是诊断稀有度,130 种诊断里含 41 种非肿瘤实体与多类罕见肿瘤,说明选病例时有意向「不常见但临床上必须认得」的方向倾斜;三是行为谱系完整,良性、不确定、原位、恶性四类都要有,否则行为分级任务无法设计。

第三条是最容易被忽略的设计。多数公开病理数据集只收肿瘤,因为肿瘤的标签清楚、研究价值直观。但诊断工作的难处恰恰在于「这是不是肿瘤」「如果是,到什么程度」,而这两个判断需要反面样本——良性病变、反应性增生、原位病变。缺了它们,模型学到的只是「在已知有病的切片里挑病」,到了真实场景面对大量非肿瘤样本就会过诊。

代价也在这里。罕见病种分摊到 300 例后,每类往往只剩两三例,行为谱系中的不确定与原位两类更是稀少,稀少到模型在这两类上的表现无法形成统计结论。覆盖广度与单类深度在这类基准里是一对固有的张力,DALPHIN 选择了前者。

1.7 为什么要做这个基准

论文给出的理由有三层。第一层是能力层:具备视觉语言能力的病理基础模型正在快速出现,被期待充当病理医生的虚拟助手,但它们在这类任务上究竟能做什么,缺乏独立评估。第二层是证据层:现有的病理基准通常不公开,或者公开了却容易被泄漏——测试集一旦进入预训练语料,分数就失去意义。第三层是临床层:诊断任务的评分不是「分类对不对」,而是「回答对不对」,需要纳入了专家间差异的人工基线才有参照意义。

这三层共同决定了设计上的几个硬选择:多中心采集以对抗单中心偏倚,答案封存以对抗泄漏,医生分层阅读以给出可比的专家区间,六类题型分层以看清能力边界落在哪一层。

§2 数据构成

2.1 规模:三个数字各指什么

DALPHIN 对外公布的核心数字有三个,分别数的是三样东西,不能互换,也不能相互推算。

数字 计数单位 含义 核验强度
300 例(case) 匿名病例数,每例对应一位患者的若干张切片 A:官网、Zenodo、预印本三处一致
1,236 张(image) 组织病理图像文件数,含低分辨率切片概览与高分辨率感兴趣区域两类 A:同上三处一致
1,757 道(question) 问题条数,六类任务合计 B:官网与 Zenodo 一致,预印本摘要未列此数

三者之间没有简单倍数关系。一例可以有多张切片,也可以只有一张;每例最多出六道题,但不是每例六道题都适用——器官识别对 28 例不成立,因为那些病例本就缺少可判读的残余正常组织,行为分级只在 224 例肿瘤病例上提问。这就是为什么 300 乘以 6 得 1,800,而实际题数是 1,757。

一个流传的数字需要就地澄清:把「1,236 张图像」记成「236 张图像」。1,236 的末三位恰好是 236,抽取时截断就会得到后者。官方材料中没有任何以 236 计数的量。遇到这个数,按 1,236 处理。

2.2 规格表

维度 取值 字段可靠性
病例数 300 三源互证
图像数 1,236 三源互证
问题数 1,757 官网与 Zenodo 互证
诊断类别数 130,其中 41 种为非肿瘤实体 官网有此拆分,预印本只给 130
亚专科数 14 三源互证
机构与国家 6 家 / 6 国 三源互证
扫描仪型号 5 种:3DHistech Pannoramic 1000 与 250、Hamamatsu NanoZoomer S360、Leica Aperio GT450 与 AT2 见预印本正文
图像格式 PNG 见 Zenodo 技术说明
概览分辨率 4.0–124 微米/像素,单边最大 1000 像素 见预印本
ROI 分辨率 0.10–34 微米/像素 见预印本
染色 H&E 为主,部分 PAS 依惯例推定(预印本局限段写明「H&E/PAS」,未给各染色占比)
人工基线阅读者 31 人:24 名执业病理医生与 7 名住院医师,来自 10 国 三源互证
有人工答案的子集 reader 115 例;semi 60 例 见预印本表格
磁盘体积 官方文档未披露 语义存疑(抓取窗口内未见字节数)
采集时间跨度 官方文档未披露 语义存疑

2.3 六类问题

六类任务在能力上是一条由浅入深的链:先认出什么组织,再看有没有异常,然后判断异常的性质,最后落到具体诊断名与病例特异提问。

编号 任务 作答形式 可评估病例 评分指标 考的是什么
Q_tissue 器官与残余正常组织识别 自由回答 272 分层组织分类学评分(1.0 / 0.75 / 0.5 / 0) 组织学基础识别
Q_neoplasm 是否为肿瘤 二分类 300 F1、MCC、精确率、召回率、特异度 有没有异常增生
Q_behavior 肿瘤行为 四分类:良性、不确定、原位、恶性 224 Cohen κ、MCC、按类 F1 异常的性质与侵袭性
Q_diagnosis 最可能诊断 自由回答(病名) 300 BLEU-1、ROUGE-L、CIDEr、METEOR、BERTScore、BioBERT 具体病种的命名能力
Q_mc 病例特异多选题 单选,3 至 6 个选项 300 准确率 在给定候选中判别
Q_open 病例特异开放式提问 自由回答 285 自然语言生成指标 病例级推理与表述

这里有一个设计上的取舍值得指出:器官识别用的是分层评分而非对错判定。回答「肺」而标准答案是「肺腺癌旁正常肺组织」时,扣多少分有讲究——完全正确 1.0,同器官但组织类型更宽泛 0.75,同器官系统但偏离 0.5,答错器官 0。这一层缓释了自由回答的表述自由度,代价是评分本身引入了主观性。

2.4 元数据表

Zenodo 包内只有一个压缩包和一份 CSV。CSV 一题一行,六列:

列名 含义 使用要点
case-id 匿名病例编号 从 1 起递增,与文件名前缀一致
question-id 问题编号,形如 case001_tissue 唯一主键,一题一行;同病例不同任务各占一行
preamble 问题前置文本 给模型的上下文说明与免责声明,评测时必须原样喂入,否则与官方口径不一致
question 问题正文 六类任务的表述各不相同,解析时按 question-id 后缀区分任务类型
overviews 该题可用的切片概览文件名,逗号分隔 一题可引用多张
rois 该题可用的感兴趣区域文件名,逗号分隔 一题可引用多张,也可为空

problem 出在 question-id 的后缀命名上:CSV 里肿瘤判别任务的后缀写 neoplasm,而论文表格里的任务名写作 Q_neoplasm。两者指同一任务,但字符串不等,写解析脚本时不要用论文表名去匹配置元数据。

2.5 文件命名

图像文件按「病例号、切片号、区域号」三段式命名,以下划线连接,全部为 PNG。

类型 规则 示例
感兴趣区域 病例号_切片号_区域号.png case001_wsi1_roi1.png
切片概览 病例号_切片号_overview.png case001_wsi1_overview.png

病例号补零到三位,切片号与区域号从 1 起。同一病例若有多张切片,切片号递增;同一张切片上的多个区域,区域号递增。这个规则的好处是可以直接从文件名重建「哪几张 ROI 属于同一张切片、哪几张切片属于同一病例」的层级,不需要额外的映射表。代价是文件名里不携带器官或诊断信息,别想从文件名猜标签。

2.6 图像的两级分辨率

这是 DALPHIN 与常见病理数据集最大的形态差异:它不提供完整分辨率的全切片图像,只给两级。

第一级是切片概览,把一整张切片压成一张小图,单边最多 1000 像素。原切片在 40 倍物镜下约十几万像素见方,压到 1000 像素意味着每个像素代表几十到上百微米,单个细胞的轮廓已不可辨,但组织结构、器官类型、病变的大致分布仍然可读。这对应病理医生在低倍镜下扫视整张切片的动作。

第二级是感兴趣区域,从切片上裁出的局部大图,分辨率 0.10 至 34 微米每像素。下限亚微米级足够看清细胞核的染色质纹理,上限则接近概览的模糊程度,说明不同来源的 ROI 放大倍数差异很大。

两级之间是断裂的,缺少中间的倍率与金字塔层级。这带来一个实际后果:任何需要在切片级建立坐标系的算法(例如先定位病变再放大细看的两阶段策略)都做不了,因为概览与 ROI 之间没有可换算的坐标映射。

2.7 图像的构成推断与其边界

从 300 例、1,236 张图反推,平均每例约 4.1 张图,但这个平均值不能用于规划。一例若只有单张切片,可能就是一张概览加一张 ROI;若有多张切片、每张多个 ROI,则可到十几张。官方没有公布「每例切片数」「每例 ROI 数」的分布,也没有公布概览与 ROI 各自的张数拆分。

这类分布对训练与评测都有影响:如果 ROI 集中在少数病例,那么按图计的平均分会被这些病例主导,按例计的平均分则更均衡。官方榜单用的是哪种聚合方式,文档未写明,提交时需在平台说明里确认。

2.8 从图像到问题:题目是怎么长出来的

这里需要说明一个容易被忽略的环节:问题不是凭空写的,而是从病例原始报告与临床信息出发反向构造的。

一位患者在六家机构中的某一家做了活检,病理报告里写着标本部位、镜下所见与最终诊断。这些文字是临床工作的实际产物,不是为机器准备的。构造题目时要做的,是把报告里的信息拆成几个层级的问题:这份组织取自哪个器官(部位信息)、镜下有没有肿瘤(所见信息中是否出现恶性描述)、如果是肿瘤,行为是良性、原位还是恶性(诊断行文中的定性用语)、最可能是什么病(诊断名称)、以及若干围绕这个病例的具体追问(报告中的鉴别要点与特殊所见)。

这样构造出来的题目有一个特点:它是从真实报告出发的,而不是从教科书分类体系出发的。差别在于前者带着真实工作里的模糊与冗余——同一病种在不同机构可能有不同的写法习惯,某些报告会写出鉴别诊断而某些只给结论。题目继承了这些特点,因此比标准化的考试题更接近真实提问,也更难在措辞上做完全统一的控制。

元数据里的 preamble 列正是这个环节的产物。它承载题目之前要交代给模型的内容,包括上下文说明与免责声明。这一列的存在说明构造者意识到:同一道题在有无前置说明的情况下,模型的表现会不同,所以必须把这一层固定下来,才能保证不同团队的提交在同一条件下比较。

从 300 例、1,236 张图反推,平均每例约 4.1 张图,但这个平均值不能用于规划。一例若只有单张切片,可能就是一张概览加一张 ROI;若有多张切片、每张多个 ROI,则可到十几张。官方没有公布「每例切片数」「每例 ROI 数」的分布,也没有公布概览与 ROI 各自的张数拆分。

这类分布对训练与评测都有影响:如果 ROI 集中在少数病例,那么按图计的平均分会被这些病例主导,按例计的平均分则更均衡。官方榜单用的是哪种聚合方式,文档未写明,提交时需在平台说明里确认。

§3 怎么拿到

3.0 为什么病理视觉语言模型必须先解决分辨率

在讲获取流程之前,需要先补一段工程背景,否则下面的「两级图像」设计看起来像是省事。

一张全切片图像在 40 倍物镜下通常有数十亿像素,单边可达十万量级。把它整张送进任何一个视觉语言模型都不现实:模型的输入通常是固定尺寸的方块,常见上限是几百到一千像素见方;即使把模型输入做大,注意力机制的计算量随像素数近似平方增长,显存会在几秒内耗尽。于是「整张切片输入」这条路在工程上是断的,不是算力不够的问题,是复杂度量级不对。

围绕这个约束演化出的主流范式是多示例学习(multiple instance learning,MIL)。做法是把切片切成几千到几万个图块(patch),每个图块经编码器变成一个向量,再把这一袋向量聚合成一个切片级表示用于分类。MIL 的取舍很明确:代价是模型从不真正「看整张切片」,它看到的是被编码器压扁后的图块向量之和,图块之间的空间关系大部分丢失;收益是训练可行、显存可控、可以处理任意大小的切片。切片级分类任务在这套范式下已经相当成熟。

对话式助手是另一条路。它不做切片级分类,而是像人一样「看几张图、回答一个问题」。这条路绕开了 MIL 的聚合问题,却撞上另一个约束:模型一次只能看几张固定尺寸的图。DALPHIN 的两级图像设计正是对这个约束的直接回应——用一张概览代替低倍扫视,用若干张 ROI 代替高倍观察,把「一张切片」拆成模型能吃的几块。

理解了这一层,就能理解为什么数据包里没有完整切片:给了也送不进模型。也能理解为什么概览最大只有 1000 像素:再大,模型的输入窗口放不下,而缩到 1000 像素时组织结构仍可辨认,是一个工程上的折中点。

3.1 访问级别:公开下载,但用途受限

这一条要说得准确:数据文件本身可直接从 Zenodo 下载,无需注册、无需申请、无需签署单独的数据使用协议。但它不是「随便用」的开放数据,而是「可自由下载、只可用于评测」的受限开放。限制写在两处:CC BY-NC-ND 4.0 许可禁止商用与演绎,Zenodo 的使用条款进一步禁止训练与任何形式的模型开发。

区分这两层很关键。许可管的是复制、分发与改编;使用条款管的是把数据喂给模型这件事。即便某团队的研究完全非商用,只要用这批图像做了微调,就同时违反了两条。

3.2 四条获取路径

目的 路径 说明
拿数据 Zenodo record 18609450 下载 images.zip 与 dalphin_metadata.csv,无需申请
跑推理 GitHub computationalpathologygroup/DALPHIN 示例代码,含构造提示词与生成回答的流程
拿分数 dalphin.grand-challenge.org 提交页 按任务分别提交,成功提交后进入对应榜单
读方法 arXiv:2605.03544 与 Laboratory Investigation 增刊论文 设计、人工基线、结果表

三条路径不能互相替代。下载了数据不等于有分数,跑了示例代码也不等于拿到了官方分数,因为打分用的是封存的参考答案,只在平台侧。

3.2.1 本地能做什么、不能做什么

拿到包之后,本地能做与不能做的事需要先分清,否则很容易在错误的方向上花时间。

能做 不能做
解析元数据,统计题量分布与引图分布 计算官方分数(没有答案)
跑模型推理,生成回答文本 逐例核对对错
按官方提交格式整理答案 用答案做错误类型的归因分析
在有人工答案的子集上与医生答案对照 与专家的分数做同口径的显著性检验(样本不足)
复现论文的模型调用流程 复现论文的具体分数(模型版本会变)

第二列里的第一项值得展开:没有答案不等于完全没有参照。元数据里有 case-id,可以把模型在两个子集上的表现分开看;如果模型在有人工答案的 115 例上表现明显不同于其余病例,说明子集不是随机划分的,或者模型对某些亚专科有系统性偏差。这是一种间接的、不依赖答案的审计方式。

3.3 提交的实际流程

平台按任务分设提交页,也就是说一个模型要拿全六项成绩,需要分别提交六次。这一设计让团队可以只关心其中一项,例如只报诊断命名,但也意味着榜单上的总分并非一次提交产出,汇总时要人工拼。

作答场景有两种,论文明确区分:

场景 含义 影响
顺序 / 带上下文 同一病例的多道题按顺序连续作答,后题可见前题的对话历史 更接近真实会诊,模型可借前题结论;分数通常更高
独立 每道题在全新会话中作答,不携带病例内其他题的答案 更接近单题能力测试,分数通常更低

同一个模型在两种场景下的分数不可混用。看到榜单数字时应先确认它属于哪种场景,论文的榜单正是按这两种场景并列呈现的。

3.4 许可与署名的边界

CC BY-NC-ND 的四个字母各有分量:BY 要求署名,NC 禁止商业使用,ND 禁止发布改编作品。对使用者最实际的两条是:引用时必须给出署名与许可链接;不得把数据加工后再次分发,包括把图像重新打包、格式转换后作为新数据集发布。

使用条款另起一句,措辞比许可更硬:本数据集仅供评测,用户不得将其中任何部分(包括图像、问题与相关元数据)用于训练、预训练、微调或以其他方式开发机器学习模型。这句话把「问题文本」也纳入了禁止范围,不只是图像。

3.5 为什么答案要封存

封存(sequestration)在这类基准里不是保密偏好,而是测度有效性的前提。理由很直接:一个公开的、带答案的测试集,只要出现在网上,就会在下一次训练时被爬进语料。模型团队未必有意作弊,但训练数据管线不做区分。结果是模型在测试集上分数很高,换一批数据就掉下来,而分数的虚高无法从数字本身看出来。

DALPHIN 的处理是把答案留在平台侧:使用者提交答案,平台返回分数,答案文本不外泄。这样即使有人反复提交试探,也只能通过分数逐步逼近而不能直接拿到标准答案。代价是研究者失去了本地逐例分析的能力——想知道模型在哪一类病例上错了,得靠自己在两个子集上的人工对比来反推。

§4 质量与已知问题

4.1 图像形态带来的三个结构性限制

第一是切片级推理无法进行。概览最大 1000×1000 像素,细胞级细节全部丢失;ROI 细节够但范围小,看不到病变与周围组织的关系。真实的病理判读是在「低倍定范围、高倍看细节」之间反复移动,而这批数据把两个动作切成两张互不连通的图。

第二是倍率不一致。ROI 的分辨率跨越 0.10 至 34 微米每像素,相差两个数量级以上。同一个模型面对同一道题,可能拿到一张清晰的核分裂像,也可能拿到一张模糊到看不清细胞边界的图。除非评测时控制变量,否则模型表现的波动里有多少来自图像质量、多少来自能力,分不开。

第三是来源异质。六家机构五种扫描仪,染色方案、切片厚度、扫描色彩校准各不相同。这对「跨中心鲁棒」是优点——模型必须在真实的多中心变异下工作;对「单一变量对比」是干扰,需要额外的批次效应分析。

4.2 形态学之外的证据缺失

这是 DALPHIN 最需要使用者预先接受的一条:它只有 H&E 与 PAS。

现代病理诊断,尤其肿瘤的分型分级,几乎从不只看 H&E。免疫组化用来确认细胞来源与分化方向,分子检测用来确定驱动基因与预后分层。以淋巴系统肿瘤为例,一张 H&E 切片能看出「小圆蓝细胞弥漫浸润、结构破坏」,但要定到具体亚型,通常必须结合一组免疫表型标记与分子重排检测。没有这些,专家也只能给出鉴别诊断列表而非唯一答案。

这里值得把困难说得更细,因为它解释了为什么「病理问答」比一般医学问答难。第一,上皮性肿瘤有清晰的架构线索:腺体、巢团、角化、间质反应,都是可以用文字描述、可以教给模型的形态学信号。淋巴组织没有这样一条分界——淋巴结的结构是滤泡、生发中心、套区、髓索,正常与异常的区别常常落在细胞密度的分布模式与细胞核的细微差异上,而这些差异在低倍下看不出、在高倍下又缺乏上下文。第二,血液系统肿瘤的细胞形态高度重叠:同样是「小到中等大小的淋巴细胞弥漫增生」,可能对应反应性增生、惰性淋巴瘤或侵袭性淋巴瘤,形态学上的区分度远低于上皮性肿瘤的腺癌与鳞癌之分。第三,诊断层级越往下降,依赖的证据模态就越多,而 H&E 只占其中最基础的一层。

由此可以推出一个对使用者最有用的判断:在这套数据上,模型的错误不应简单读作「能力不如人」。有些不一致恰恰反映形态学信息本身的不充分——医生答对可能借了亚专科经验里的先验分布,模型没有这份先验,只能凭形态硬判。这也是论文在局限段承认「常规诊断依赖完整切片、临床信息与免疫组化」的原因。

DALPHIN 的设计接受了这个限制:它评的是「在只给形态学图像时,模型能达到什么水平」,而不是「模型能否替代完整诊断流程」。这个设定合理,因为它把变量控制在图像侧,但也意味着任何把它当作诊断能力上限的解读都过头了——模型答错,可能是因为它缺少免疫组化,也可能是因为它读图能力不足,两者在这套数据上无法分离。

同理,没有临床背景。真实会诊中,年龄、部位、既往史、影像所见会大幅收窄鉴别诊断范围。DALPHIN 只给组织类型,论文自己也承认,文献中已有证据表明加入临床背景能提升视觉问答表现。

4.3 假设、支持与反对

假设 支持证据 反对证据
六类任务构成由浅入深的能力阶梯,浅层接近人类即意味着有临床价值 肿瘤判别的 F1 已接近专家(0.968 对 0.969),器官识别在常见器官上也有 0.9 以上 二分类接近不代表诊断可用;诊断命名与行为分级才是决定治疗的那一步,而这两项差距仍大;论文自述不确定与原位两类几乎没有模型答对
封存答案能有效防止泄漏 答案不外发,提交只回分数;这是目前防泄漏最直接的手段 图像与问题本身是公开的,模型团队可能已经把公开图像的视觉模式纳入训练;封存只挡住了答案文本,挡不住图像
六国六中心保证了多样性 机构遍布欧亚,扫描仪五种,亚专科 14 个,诊断 130 种 每中心病例数未披露,若分布高度不均,实际多样性由少数大中心主导;罕见病种每类可能仅一例,无法形成统计
31 名医生的人工基线可以代表专家水平 分了专家、半专家、非专家三层,每例由 1 名专家加 3 名非专家复核,60 例另加 2 名半专家 每名医生只读 3 至 55 例,个体工作量差异大;只覆盖 115 例,其余 185 例无人工答案,模型在这些病例上的表现无法与人对标
长期开放、不设截止,能让基准保持生命力 模型迭代快,固定截止会让基准迅速过时;平台持续接收提交 榜单随时间累积,早期提交与后期提交的模型版本、提示词策略、场景设定都可能不同,跨时点比较的可比性依赖提交者自行披露

4.4 已知的能力短板

论文披露的几处失败模式,对理解基准的判别力比总分更有用。

现象 具体表现 说明什么
不确定与原位两类几乎全错 PathChat+ 未能正确分类任何一例「不确定 / 原位」行为病例 这两类恰恰是临床上最需要第二意见的灰区,模型在此处最弱
系统性的过诊与漏诊倾向 Gemini 倾向把非肿瘤判成肿瘤,GPT 倾向把肿瘤判成非肿瘤 两类错误在临床上的代价不同,但基准的 F1 与 MCC 未按代价加权
软组织最难 PathChat+ 在软组织亚专科的器官识别仅 0.33 至 0.43,而乳腺 0.931、肾 0.938 软组织肿瘤形态重叠严重,恰是形态学证据最不够用的领域
答得越长越吃亏 PathChat+ 回答更长,导致 BERTScore 的精确率分项被压低 自然语言指标对回答风格敏感,分数不完全反映正确性

最后这一条是方法学上的真问题:基于语义相似度的 NLP 指标无法捕捉病理表述的细微差别,同一诊断的不同写法可能得分差异很大,而风格差异(详尽 vs 简短)会系统性地影响某些分项。用这类指标排名次时,需要同时看多项指标而非单项。

4.5 文档完备度的实际缺口

以下几项在官方三处材料里都没有给全,使用时只能按「未披露」处理,不能推测填充。

项 状态
血液病理亚专科的病例数与诊断构成 未披露(未进入 ≥10 例的分层表)
每例的切片数、每例的 ROI 数分布 未披露
概览与 ROI 各自的张数拆分 未披露,仅知两者合计即图像总数
各染色(H&E 与 PAS)的占比 未披露
各中心贡献的病例数 未披露
专家间一致性系数(如 κ)的汇总值 未披露,仅按任务给出模型与医生分层的对照
数据包字节数 抓取窗口内未取得
患者年龄与性别构成 未披露(去标识化后未随包提供人口学表)

4.6 质量结论的分级

结论 等级 依据
300 例 / 1,236 图 / 1,757 题三个规模数字成立 A 官网、Zenodo、预印本三处互证
基准确实防泄漏(答案封存、只回分数) A 官网、Zenodo 技术说明、预印本一致,且有平台机制佐证
视觉语言模型在肿瘤判别上已接近专家 A 预印本表格给出 F1 与 MCC 双指标同向
视觉语言模型在诊断命名与行为分级上仍未达专家水平 B 预印本文字结论与部分表格,但诊断命名只在补充材料给绝对分数
淋巴瘤不应作为这条的代表病种 B 预印本未设专项,血液病理未进分层表;属据材料推断
六国数据在多中心变异上足够有代表性 C 只有机构数量与国别,缺各中心病例数与分布
本地可复现官方分数 D 答案封存,架构上不可能

§5 能做什么

5.1 最适合的任务:给对话式病理模型排座次

这是它的本职。一个团队做出能读病理图的视觉语言模型,想知道它在真实诊断问题上处于什么水平,最直接的做法是按六类任务分别提交,看与专家区间的距离。论文已经给出三条参照线:PathChat+ 在六类任务中的四类与专家无统计显著差异,Gemini 2.5 Pro 两类,GPT-5 一类。新模型报成绩时对着这三条线说,比单说「准确率百分之多少」有信息量。

5.2 次适合:测提示词与作答策略

同一模型在不同提示词、不同上下文组织下的分数差异,往往比模型之间的差异更大。DALPHIN 的两种作答场景(顺序带上下文、逐题独立)正好提供了一个受控的比较框架。做提示工程时,固定场景、只改提示词,就能看出策略收益。

5.3 可用作方法学研究的题材

这类研究不追求分数,而是研究基准本身。可做的方向包括:封存机制对长期可比性的实际效果,跨时点榜单的可比性如何量化,NLP 指标对回答风格的敏感度,二分类指标在临床代价不对称时的失真。DALPHIN 的公开材料(含提交页面与榜单结构)足以支撑这类分析。

5.4 最小可执行示例

以下流程只用官方提供的两个文件,不涉及任何模型,目的是在动手跑模型前先把数据结构吃透。

import csv, os

with open("dalphin_metadata.csv", encoding="utf-8") as f:
    rows = list(csv.DictReader(f))

#-- 第一步:每个任务有多少题
from collections import Counter
task = Counter(r["question-id"].split("_", 1)[1] for r in rows)
print(task)

#-- 第二步:每题引用了多少张图
n_img = Counter()
for r in rows:
    n = len([x for x in r["overviews"].split(",") if x.strip()])
    n += len([x for x in r["rois"].split(",") if x.strip()])
    n_img[n] += 1
print(n_img)

#-- 第三步:哪些病例没有 ROI(只能靠概览作答)
no_roi = {r["case-id"] for r in rows if not r["rois"].strip()}
print(len(no_roi))

三段代码对应三个必须先答的问题:六类任务的题量分布、单题引图数分布、以及有多少题只能靠低分辨率概览。第三项尤其关键——若某类任务大量依赖概览,那么该类任务的低分可能来自分辨率而非能力。

5.5 该拿它做什么、不该拿它做什么

适合 不适合
对话式病理模型的相对排名与能力画像 训练、微调、蒸馏或任何形式的模型开发
跨中心鲁棒性的压力测试 判定某模型是否可临床部署
提示策略与上下文设计的对照实验 替代免疫组化与分子检测的判读
基准方法学研究(泄漏、可比性、指标) 单病种深入(如淋巴瘤亚型判定)
病理住院医师培训中的 AI 辅助评估 商业产品的对外宣传背书

§6 常见误读与引用陷阱

6.1 误读表

常见说法 实际口径 证据位置
DALPHIN 的图像只有几百张 官方口径是四位数,236 只是末三位被截断的结果,官方没有任何以 236 计数的量 官网、Zenodo、预印本三处图像数一致
用总量除以病例数就得到每例的图数 相除得到的均值约 4.1,但官方未公布每例的图像数分布,这个均值不能用来规划存储与推理批量 元数据表只逐题列文件名,未给每例统计
DALPHIN 是皮肤病理或淋巴瘤数据集 它是跨 14 个亚专科的通用基准。皮肤病理只是其中一个亚专科,血液病理未进入分层结果,全文无淋巴瘤专项 预印本亚专科分层只列 ≥10 例的八项
这是一个挑战赛,有截止日期和奖金 官方明确写的是长期基准:无截止日期、无奖金、无正式发表机会,也不打算发汇总论文 平台首页免责声明
排行榜第一就是最好的诊断模型 榜单按任务与作答场景分设,总分要多次提交拼合;不同时点的提交模型版本不同,不宜直接横比 平台按任务分设提交页;预印本区分两种场景
模型在肿瘤判别上已追平医生,说明可以辅助诊断 二分类只是「有没有肿瘤」,诊断命名与行为分级的差距仍大,且不确定与原位两类几乎全错 预印本表与讨论段
既然公开下载,就可以拿去训练 使用条款明文禁止训练、预训练、微调或任何模型开发;CC BY-NC-ND 也禁止商用与演绎 Zenodo 使用条款与许可
答案在 Zenodo 包里,只是没标出来 答案根本不在包里。本地只有图像与问题,参考答案封存在平台侧 Zenodo 技术说明、平台流程
数据里有完整全切片图像,可以做切片级推理 只有低分辨率概览(单边最多 1000 像素)与局部 ROI,两者之间无坐标映射,也无可重建的金字塔层级 预印本分辨率描述与局限段
六国六中心,覆盖必然均衡 官方未给各中心的病例数,罕见病种可能每类仅一例,实际代表性由少数大中心主导 未披露项,见 §4.5
人工基线覆盖全部 300 例 只有 115 例有人工答案,60 例另有半专家复核 预印本表格的 reader 与 semi 子集
两个 DOI 指同一篇论文 一个是 2025 年会议增刊的摘要级论文,一个是 2026 年的完整预印本,方法细节以后者为准 两份文献的题录信息

6.2 技术陷阱

陷阱一:preamble 必须原样喂入。 元数据表里每道题都有一列前置文本,包含给模型的上下文说明与免责声明。为省 token 把它删掉,模型的作答风格与官方口径就不同,分数不可比。有些团队直接把 question 拼上系统提示词,结果与官方基线不在同一条件下。

陷阱二:任务后缀在两张表里写法不同。 元数据 CSV 用 neoplasm 作肿瘤判别的后缀,论文表格写 Q_neoplasm。按论文表名去匹配 CSV 会全部落空,而 neoplasm 这个词既指任务名又指「肿瘤」这个医学概念,容易误判为字段缺失。

陷阱三:overviews 与 rois 是逗号分隔的多值字段。 一题可以引用多张概览与多张 ROI,直接按单值读取会丢掉后续文件名。必须先按逗号切开再逐项去空白,空字符串代表该项没有可用图像——「没有 ROI」与「ROI 字段解析失败」在代码里必须区分开,否则会把本就没有 ROI 的题误判为数据缺失。

陷阱四:概览与 ROI 之间没有坐标对应。 想实现「先看概览定位、再放大看 ROI」的两阶段推理,需要两者的空间映射关系,而数据里没有。文件名只说明同属哪个病例、哪张切片,不提供 ROI 在原切片上的位置。两阶段策略只能退化为并列喂图。

陷阱五:子集划分不是官方给定的训练/测试切分。 300、115、60 三个子集是「全量、有人工答案、另有半专家复核」的嵌套关系,不是训练集与测试集的划分。任何把它当作训练/测试切分的用法都误解了设计意图。

陷阱六:两个会话场景的分数不可混比。 顺序带上下文时,后题可见前题答案,模型可以借力;独立作答时不能。同一模型在两种场景下的分数差距往往大于模型之间的差距。看榜单一律先确认场景标签。

陷阱七:本地自评分与官方分数不可能一致。 没有答案就没有真分。用 NLP 指标在本地自建参考答案,得到的只是与自建标准的相似度,既非官方口径,也无法跨团队比较。要在论文里报分,只能走平台提交。

§7 在生态中的位置

7.1 病理问答数据的三代

病理领域的视觉问答数据可以按题型粗略分成三代,DALPHIN 站在第三代。

代际 代表 形态 被测对象
第一代 PathVQA 一类 单张图配一到两道短问答题,答案多为词或短句 看图问答的小模型
第二代 医学通用 VQA 的大规模合集 数十万道题,跨影像模态,答案封闭 通用多模态模型
第三代 DALPHIN 一类 病例级多题、病例特异提问、专业医生分层基线、答案封存 对话式病理助手

差别的核心不在题量,而在评测对象变了。第一代与第二代假设模型输出一个词或一个选项,可以用准确率一刀切;第三代面对的是输出整段自然语言回答的模型,评分必须同时处理语义正确性、表述自由度与风格差异,这正是 DALPHIN 用六类指标而非单一准确率的原因。

7.2 与病理基础模型的关系

需要把两类东西分清。一类是以 Prov-GigaPath、UNI 系列为代表的病理基础模型,它们是编码器,吃切片出向量,本身不回答问题;另一类是以 PathChat 为代表的对话式助手,在编码器之上接了语言模型,能吃图答话。

DALPHIN 评的是后一类。这不意味着前者无关——对话式助手的视觉侧往往就是某个病理编码器,编码器的能力会传导到助手身上。但两者的评测方式完全不同:编码器的常用评测是线性探针与切片级分类,考的是特征质量;助手的评测是问答,考的是综合判断与表述。把 DALPHIN 的分数当作编码器能力的证明,是常见的误推。

7.3 与病理切片语料的关系

另一类相邻资源是开放的全切片语料,例如以十万张量级计的 WSI 集合与按器官划分的 H&E 数据集。它们提供的是原料,服务的是训练;DALPHIN 提供的是考卷,服务的是评测。两者的规模差着两到三个数量级,这个差距不是缺陷,是分工——训练语料要的是量与多样性,评测集要的是难度控制与答案保密。

还有一类是带像素级专家标注的切片数据集,例如对前列腺穿刺切片做像素级分级重标注的集合。这类资源的价值在监督信号的精度,适合训练与验证分割、分级模型;DALPHIN 没有像素级标注,也不需要,因为它的答案单位是「一道题的回答」。

7.4 在基准谱系里的独特之处

把 DALPHIN 与同期的医学基准放在一起,它的独特设计有三条。

第一,答案封存但不封闭数据。多数封存式基准要么不给数据(只能在平台上跑),要么给了数据也给了答案(等于没封存)。DALPHIN 给数据、封答案,两端各取所需。

第二,人工基线按亚专科资历分层。这一点比「找几个医生标一下」严格得多:专家、半专家、非专家的定义有明确门槛(经验年限、同行认可、是否常规从事该亚专科),每例的复核结构固定为一名专家加三名非专家,部分病例再加两名半专家。这让「模型与专家无显著差异」这句话有了可检验的含义。

第三,不设截止日期。这与绝大多数挑战赛的做法相反。好处是模型迭代不会让基准失效,坏处是榜单的可比性要靠在提交记录里自行标注版本。

7.5 为什么要混用六种自然语言指标

诊断命名与开放式提问的答案是一段自由文本,没有唯一的正确写法,这使评分成了一个独立的难题。DALPHIN 用了六个指标并列,各有各的盲点,组合起来才能大致定位回答的质量。

指标 主要捕捉什么 主要盲点
BLEU-1 单词层面的重合度 只看词是否出现,不看语序与语义
ROUGE-L 最长公共子序列,衡量句子结构的相似 对同义改写不敏感
CIDEr 加权 n-gram,弱化高频词的影响 为图像描述设计,专业术语的权重未必合适
METEOR 引入同义词与词干匹配 同义词表是通用的,病理术语覆盖有限
BERTScore 上下文词向量的相似度 对长回答的精确率分项不利
BioBERT 生物医学领域预训练向量的相似度 领域更贴近,但仍不判语义正确性

这六个指标共同的问题是:它们衡量的都是「与参考回答有多像」,而不是「这个判断对不对」。一段把「弥漫大 B 细胞淋巴瘤」写成「DLBCL」的回答,语义正确但可能与参考答案的措辞相似度很低;反过来,一段流畅复述题干、没给出诊断的回答,可能与参考的用词高度重叠。论文自己指出了这一点:基于语义相似度的指标无法捕捉病理表述的细微差别,回答风格还会系统性影响某些分项。

所以读诊断命名与开放式提问的分数时,一条有用的经验是:分数差距很大时可信,差距很小时不可信。前者说明表述与参考明显不同,多半对应真正的判断差异;后者可能只是换了一种写法。

7.6 可与之对照的库内条目

条目 关系
PathVQA 第一代病理问答的代表,可用于说明题型演进
PMC-VQA 医学通用视觉问答的大规模合集,规模远大于 DALPHIN 但非病理专用
VQA-RAD 放射影像问答,可对照「影像问答」与「病理问答」的评分差异
Prov-GigaPath 病理基础模型,对应上文所说的编码器一侧
HISTAI(histai-wsi) 开放 WSI 语料,对应训练原料一侧
BoneMarrowWSI-PediatricLeukemia 骨髓涂片全片检测,属血液病理侧的数据资源,可作「血液病理为何需要专门数据」的例证
CoMPAS GI Histopathology 胃肠 H&E 全切片与患者元数据,属器官限定的切片级资源
PANDA 与 PANDA-PLUS 前列腺穿刺切片的分级与像素级重标注,代表切片级监督精度的一条路线
UniToPatho 胃肠切片分类,第一代到第二代之间的形态

7.7 榜单的读法

榜单是这类基准的主要对外接口,但它能回答的问题比想象中窄。读榜时至少需要区分四层信息。

第一层是任务。六类任务各自独立排名,一个模型可能在肿瘤判别上名列前茅,在诊断命名上落后。只看某一栏就下总评,是最常见的误读。

第二层是场景。顺序带上下文与逐题独立是两套不同的条件,同一模型的分数差可能大于模型间的差距。跨场景横比没有意义。

第三层是时间。没有截止日期意味着榜单会一直增长。一个 2026 年中的提交与一年后的提交,模型版本、提示词、平台评分代码都可能变过。引用分数时写清提交日期是基本礼节,也是技术上的必要条件。

第四层是可见性。榜单只显示提交者选择公开的条目。团队可以不公开自己的分数,这意味着榜单是「愿意公开的成绩单」,不是全体参与者的普查。排行榜首未必是天下第一,只是公开者中最好的。

把四层叠起来看,榜单的正确用法是:在同一任务、同一场景、相近时间窗内,看自己的模型离医生区间有多远,而不是看自己排第几。

7.8 为什么答案封存会改变研究方式

封存让传统的研究流程多了一道绕行。以往拿到一个公开测试集,研究者可以逐例看错误、按错误类型归类、定位薄弱环节,然后针对性改进。现在拿不到答案,逐例分析不可能。

可行的替代有三条。第一条是借助有人工答案的子集:115 例有医生作答,虽然医生答案不等于标准答案,但可以作为参照,看模型与人的分歧集中在哪些病例。第二条是用公开的同类材料自建一个小的对照集,在自己构造的集上做错误分析,再回到官方集验证改进是否转移。第三条是看总分的变化模式:在六类任务上同时提交,观察哪一类随改动上升最快,间接定位能力来源。

这三条都不如直接看答案精确,这是防泄漏必须付的成本。理解这一点,就不会把「本地分数」当成官方分数来报告。

§8 总结

8.1 三句话

DALPHIN 是首个覆盖六个国家、十四个亚专科、一百三十种诊断的开放病理视觉问答基准,规模为三百例病例、千余张图像、上千道问题,评的是对话式病理助手而非切片分类器。

它的核心设计不是数据量,而是把答案封存在平台侧、把医生基线按资历分层,用一套六类任务的能力阶梯去回答「模型究竟能做到哪一步」。

它的边界同样清楚:只有形态学图像、只有两级分辨率、禁止训练,因此适合排名与能力画像,不适合当作临床可用性的证明。

8.2 适合谁

角色 用它做什么 第一步
视觉语言模型团队 给病理问答能力定位,与三条参照线比较 先决定只报一项还是报全六项,再按场景固定提示词
病理科与临床研究组 了解当前模型在诊断命名上的真实水位 读人工基线那一节,看清专家的分数区间
基准方法学研究者 研究封存机制、跨时点可比性、NLP 指标失真 先复现三个子集的嵌套关系,再看榜单结构
病理住院医师培训 用公开题面做 AI 辅助的自我评估 只看有专家答案的 115 例,其余无对标

8.3 不适合谁

不适合想找训练数据的人:使用条款明文禁止训练与微调,这是最硬的一条。

不适合想研究单病种深度的人:130 种诊断摊在 300 例上,平均每种不到三例,做不了任何一种病的系统研究。

不适合想端到端部署的人:没有完整切片、没有免疫组化、没有临床背景,任何据此宣称「可临床使用」的结论都缺证据。

8.4 三十秒决策卡

问题 答案
我能不能免费下载 能,Zenodo 直接下,不需申请
我能不能拿去训练 不能,条款禁止
我能不能本地评估自己的模型 只能近似,官方分必须走平台
一张图够不够看清细胞 概览不够,ROI 够,但两者不连通
有没有淋巴瘤专项 没有
有没有完整全切片 没有,只有概览与 ROI
有没有截止日期 没有,长期开放
有没有奖金或发表机会 都没有,官方明确不设
人工基线覆盖多少例 一百一十五例,另有六十例加半专家
榜单第一名是否等于最强模型 不等于,只是公开提交者中最好

§9 使用流程

9.1 第一天:把数据结构吃透

先下载 CSV,不下载图像。用 §5.4 的三段代码确认三件事:六类任务各有多少题、一题平均引几张图、多少题只能靠概览作答。这三件事决定了后续的推理批量与显存预算。

此时应能回答:哪些任务只需单图、哪些需要多图;多图题里概览与 ROI 的配比如何;有没有题引用的图像在压缩包里找不到——最后这一项要在解压后核对,文件名清单与压缩包内容不一致是常见的小事故。

9.2 第二天:跑通一条最小链路

选一类任务(建议从肿瘤判别开始,因为它是二分类、答案空间封闭、指标明确),按示例代码构造提示词,把 preamble 与 question 原样拼接,逐题推理,把回答写成平台要求的提交格式。不要试图在这个时候做任何优化,目标只是产出一次可提交的答案。

提交后会拿到一个分数。这个分数的意义是建立一个基线,而不是评价模型好坏。

9.3 第三天起:按需扩展与对照

有基线之后才谈得上对照。建议的对照顺序是:先固定场景(顺序或独立),只改提示词;再固定提示词,只改模型;最后固定模型与提示词,换场景。每一步只动一个变量,否则分数变化无法归因。

9.4 报告成绩时的最低要求

一篇报告 DALPHIN 成绩的论文,至少应写明:提交日期、被评模型的确切版本、作答场景、六类任务是否全报、若只报部分是哪几类、提示词是否与官方示例一致。缺任一项,读者无法判断这个分数与榜单上其他分数是否可比。

9.5 常见的落地阻碍与处理

阻碍 处理
图像太多,单次推理超显存 按 question-id 分批,一题一题推,不要按病例整批送
回答太长导致指标分低 在提示词里限定回答长度,并在报告中说明是否做了长度约束
概览模糊,模型答不出器官 把这道题的低分与分辨率一起报告,不要笼统归因于模型能力
榜单分数与本地自评差距大 先检查 preamble 是否原样喂入、任务后缀是否匹配错误
想复现论文数字 论文数字是特定模型在特定时间点的结果,复现需同版本模型与同场景

§10 十个常见问题

Q1:DALPHIN 具体是做什么的?
一个病理视觉问答基准。给模型若干张病理图像和几道临床问题,看它答得对不对、答得好不好,并与不同资历病理医生的答案比较。

Q2:它和普通的图像分类数据集有什么不同?
分类数据集一张图一个标签,评测是「预测类别是否等于标签」。这里的答案是一句话或一个病名,同一诊断有无数种合法写法,评测必须处理语义等价性,因此用了 BLEU、ROUGE、BERTScore 与 BioBERT 等多套指标。

Q3:为什么强调多中心?
单中心数据里藏着该机构的染色习惯、扫描仪色彩与病例构成,模型可能学到的是这些偶然特征而非病理规律。六个国家六家机构五种扫描仪,至少在表面上打散了这种相关。

Q4:130 种诊断分散在 300 例里,每类只有两三例,这够吗?
作为覆盖面足够的广度测试是够的,作为任何一种病的深度评估不够。这也是它不设单病种专项的原因——样本量撑不起。血液病理未进入分层分析,与此有关。

Q5:医生的分数是怎么算的?
每例由一名亚专科专家加三名非专家作答,部分病例另加两名半专家。专家的门槛是亚专科经验超过十年且有同行认可。模型的分数与这些分层医生的分数在同一套指标下比较,用统计检验判断差异是否显著。

Q6:模型在四类任务上与专家无显著差异,是否说明可以放心用了?
不能这样推。无显著差异是在这批特定题目、这个特定指标下得出的,且只在 115 例子集上有医生答案。更重要的是,题目本身缺免疫组化与临床背景,模型与医生都在这条信息不全的赛道上跑,两者接近不代表接近真实诊断。

Q7:为什么说不确定与原位这两类最难?
这两类处在良性与恶性之间的灰区,形态学证据本身就不充分,临床上正是需要免疫组化与分子检测来定性的地方。PathChat+ 在这两类上一例都没答对,说明模型在最有临床价值的灰区上没有能力。

Q8:封存答案会不会妨碍研究?
会带来代价。研究者无法逐例审计模型错在哪,只能用有人工答案的子集做替代分析。官方选择了防泄漏优先,这是一次明确的取舍,不是疏漏。

Q9:能不能拿它做训练,反正没人查?
条款禁止是明确的,是否被查是另一回事。更实际的问题是:一旦用它训练,模型在这批题上的分数就不再反映泛化能力,基准对你自己也失去了意义。

Q10:如果要研究淋巴瘤的 AI 判读,该从哪找数据?
DALPHIN 不合适。需要专门的血液病理数据集,且必须带免疫组化与分子结果,因为淋巴系统肿瘤的定型高度依赖这两类证据。库内的骨髓涂片全片数据可以作为血液病理侧的一个起点,但它评的是细胞形态检测,不是淋巴瘤分型。

Q11:为什么题目里要有开放式的病例特异提问?
因为真实会诊中的问题不是标准化的。医生会问「这个区域是不是浸润」「边缘清不清」「有没有坏死」,这些问题无法预先穷举,只能用自由回答加语义指标来评。加入这一类题,是为了让评测环境接近真实提问的不确定性,而不是把临床问题规约成多选题。

Q12:六类任务中,哪一类对使用者最有参考价值?
取决于目的。想判断模型能不能做初筛,看肿瘤判别,这一层已经接近人类;想判断能不能写进报告,看诊断命名,这一层差距最大;想判断能不能回答医生的追问,看开放式提问。三类指标指向三种不同的用例,没有一类能单独代表整体能力。

附录 A:关键数字速查

项 数值 备注
病例 三百 匿名编号,从 1 起
图像 千余张 概览与 ROI 合计,各自张数未披露
问题 一千七百余 六类任务合计
诊断类别 一百三十 含四十一非肿瘤实体
亚专科 十四 血液病理未进入分层结果
机构 / 国家 六 / 六 荷兰、立陶宛、西班牙、捷克、韩国、葡萄牙
扫描仪型号 五 3DHistech 两款、Hamamatsu 一款、Leica 两款
人工阅读者 三十一 二十四执业 + 七住院医师,来自十国
有人工答案病例 一百一十五 有医生作答的子集
另有半专家复核病例 六十 在上一子集内叠加半专家
可评估病例:器官识别 二百七十二 二十八例不适用
可评估病例:行为分级 二百二十四 仅肿瘤病例
可评估病例:开放式提问 二百八十五 十五例无此题型
概览分辨率 4.0–124 微米/像素 单边最多一千像素
ROI 分辨率 0.10–34 微米/像素 跨两个数量级
许可 CC BY-NC-ND 4.0 另附禁止训练的使用条款

附录 B:缩写表

缩写 全称 中文
DALPHIN Digital Pathology AI Copilot Benchmark 数字病理 AI 助手基准
VQA Visual Question Answering 视觉问答
VLM Vision-Language Model 视觉语言模型
WSI Whole Slide Image 全切片图像
ROI Region of Interest 感兴趣区域
MIL Multiple Instance Learning 多示例学习
H&E Hematoxylin and Eosin 苏木精-伊红染色
PAS Periodic Acid-Schiff 过碘酸-雪夫染色
IHC Immunohistochemistry 免疫组织化学
MCC Matthews Correlation Coefficient 马修斯相关系数
BLEU Bilingual Evaluation Understudy 双语评估替补(机器翻译指标,此处借用于自由回答)
ROUGE Recall-Oriented Understudy for Gisting Evaluation 面向摘要召回的评估指标
CIDEr Consensus-based Image Description Evaluation 基于共识的图像描述评估
METEOR Metric for Evaluation of Translation with Explicit ORding 显式排序的翻译评估指标
BERTScore — 基于上下文词向量的文本相似度
RUMC Radboud University Medical Center 拉德堡德大学医学中心
USCAP United States and Canadian Academy of Pathology 美国与加拿大病理学会

附录 C:使用前检查清单

检查项 通过标准
用途是否合规 只做评测,不做训练、微调、蒸馏
许可是否遵守 引用含署名与许可链接,未加工后二次分发
元数据是否解析正确 按逗号切分多值字段,空值与非空值分开处理
preamble 是否原样喂入 提示词中保留了完整的前置文本
任务后缀是否对齐 用 neoplasm 而非 Q_neoplasm 匹配 CSV
作答场景是否固定 全程只用顺序或只用独立,未混用
图像分辨率是否记录 逐题记录了所用图像的来源与分辨率级别
报告要素是否完整 提交日期、模型版本、场景、覆盖任务均已写明
结论边界是否清楚 未把分数表述为临床可用性证据
无答案子集是否处理 未与医生基线比较的部分已明确标注

附录 D:未覆盖内容

官方材料未提供、本文未作推测的内容:

项 状态
血液病理亚专科的病例数 未披露
淋巴瘤各亚型的样本量 未披露
每例切片数与 ROI 数分布 未披露
概览与 ROI 各自张数 未披露
各染色占比 未披露
各中心病例数 未披露
专家间一致性系数汇总 未披露
患者年龄性别构成 未披露
数据包字节数 未取得
各任务的逐题得分 只在平台侧,且不公开
榜单当前提交总数与参与团队数 未在抓取窗口内取得
各亚专科的病例数(含血液病理) 只披露 ≥10 例的八项进入分层,具体计数未列表
每例的切片数上限 未披露
患者来源国家与机构的具体对应关系 仅给机构清单,未给逐例归属
评分代码的版本历史 代码仓库有版本控制,但论文未说明评分口径是否随版本变动

附录 E:常见错误的代价分级

同样答错一道题,在临床上的分量并不相同。这张表把六类任务的错误代价按「信息不足以定性」与「定性错误导致治疗偏差」两个维度粗排,用于解释为什么二分类的高分不等于临床价值。

任务 典型错误 代价
器官识别 把淋巴结认成扁桃体 低。后续判读会自行纠正
肿瘤判别 良性增生判成恶性 高。可能导致不必要的切除
肿瘤判别 恶性判成良性 更高。可能延误治疗
行为分级 原位判成良性 高。原位病变处理与良性不同
行为分级 不确定判成明确 中。发生在最需要第二意见的灰区
诊断命名 惰性亚型与侵袭性亚型混淆 极高。两者治疗强度与预后差异巨大
多选题 选错选项 低。给出了候选,错误已被限定
开放式提问 表述不准确 中。影响可读性与后续沟通

表里最关键的一行是诊断命名中的亚型混淆。同一大类肿瘤下,惰性与侵袭性亚型的治疗路径可能完全不同:一类以观察随访为主,另一类需要立即的强化治疗。这类错误的分量远大于「把肿瘤判成非肿瘤」之外的任何二分类错误。DALPHIN 的诊断命名任务正是落在这个层级上,而它恰恰是模型与专家差距最大的一层。

附录 F:DAIMS 评估

DAIMS 从数据与人工智能管理的多个维度对资源分级,字母越高越好。

维度 评分 依据
可获得性 A Zenodo 直接下载,无需申请;代码与文档同源发布
文档完备度 B 任务定义、评分口径、人工基线结构清楚;每例图像数、各中心病例数、染色占比缺失
字段可解释性 A 元数据六列作用明确,命名规则可重建层级
模态丰富度 B 图像加文本问题,形态学为主;无免疫组化、无分子、无临床表
标注权威性 A 亚专科专家复核,专家与半专家门槛可检验,分层基线设计严谨
防泄漏设计 A 答案封存、平台打分、提交不外发答案
临床真实性 C 无免疫组化与临床背景,离真实诊断流程有明确距离
规模 B 300 例足以做广度评测,不足以支撑训练或单病种分析
人群与地域多样性 B 六国六中心,但各中心病例数未披露,代表性无法量化
复现支撑 B 代码开源、评分口径公开;但答案不在本地,逐例复现不可能
许可清晰度 A 许可与使用条款分开写明,边界明确
长期可用性 A 无截止日期,榜单持续接收提交

编辑说明

核验时间与方式。 2026 年 10 月 18 日核对。来源四处:Grand Challenge 平台首页(全称、规模、任务清单、医生基线构成、免责声明、参考文献),Zenodo record 18609450(数据构成、文件命名规则、元数据列释义、使用条款),arXiv:2605.03544(完整方法、六任务指标、各模型与医生分层结果、局限段、分辨率与机构信息),以及 Laboratory Investigation 增刊论文的题录信息(DOI 与卷期)。四方在 300 例、1,236 张图像、1,757 道问题、130 种诊断、14 个亚专科、6 国 6 机构这几项上一致。

具体来源清单。

口径对照与处理。

  1. 「236」:三处官方材料均无以 236 计数的统计量。1,236 的末三位恰为 236,判断为抽取时截断。正文按 1,236 处理,并在误读表中列为一条,不并列存照。
  2. 「300 / 1,236 / 1,757 三数并存」:三个数分别数病例、图像、问题,非并列的两种规模口径。正文按各自的计数单位分列,并说明三者不能相互推算。
  3. 作者人数:arXiv 元数据列 52 人,Zenodo 记 27 位 creators(页面标注「显示全部 27 位」)。两处口径不一致,正文不引用具体人数,只按机构与牵头方叙述。
  4. 亚专科分层:预印本只报告病例数不少于 10 例的八个亚专科结果。血液病理虽在 14 个亚专科之列,但未进入分层表,其病例数官方未披露。正文按「未披露」处理,未据推测补数。
  5. 淋巴瘤:全文唯一出现 lymphoma 字样的位置是诊断文本清洗示例。派发简报的「皮肤病理 / 淋巴瘤」定位据此判定不成立,正文在 1.5 节说明校正依据,不保留原假设。
  6. 采集时间跨度:三处材料均未给出采集年份区间。正文记为未披露,未按论文发表年份倒推。
  7. 数据包体积:抓取窗口内未见 Zenodo 页面的字节数,记为未取得,未以图像张数乘单图体积估算。

未覆盖内容。 血液病理与淋巴瘤的病例数、每例切片数与 ROI 数分布、概览与 ROI 各自张数、各染色占比、各中心病例数、专家间一致性系数汇总、患者年龄性别构成、数据包字节数、榜单当前提交规模,官方均未提供,正文未作推测。

本次未做的事。 未下载 images.zip,未对 1,236 张图像做文件级清点,所有规模数字取自官方文档自述。未实际提交任何模型,所有分数均为引用预印本表格,未做独立复现。未取得 Laboratory Investigation 增刊论文全文,该文仅用于确认 DOI 与卷期。

下次复核建议。 若 Zenodo 发布 v2 或平台更新评分口径,需重新核对:是否补充完整切片或金字塔层级、是否新增亚专科分层(尤其血液病理)、是否公开各中心病例数、评分代码版本是否变动、榜单是否引入时间戳与场景标签。这五项直接影响本文关于分辨率限制、代表性判断与跨时点可比性的结论。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • herlev-pap — 共享标签:医学影像 / 病理图像 / 医学问答与基准 / 评测基准 / 肿瘤学
  • sipakmed — 共享标签:医学影像 / 病理图像 / 医学问答与基准 / 评测基准 / 肿瘤学
  • panda — 共享标签:医学影像 / 病理图像 / 医学问答与基准 / 肿瘤学
  • monuseg — 共享标签:医学影像 / 病理图像 / 医学问答与基准 / 评测基准
  • paip — 共享标签:医学影像 / 病理图像 / 医学问答与基准 / 肿瘤学
  • camelyon17 — 共享标签:医学影像 / 病理图像 / 评测基准 / 肿瘤学
  • unitopatho — 共享标签:医学影像 / 病理图像 / 评测基准 / 肿瘤学
  • nuinsseg — 共享标签:医学影像 / 病理图像 / 评测基准 / 肿瘤学
  • cdetector — 共享标签:医学影像 / 病理图像 / 评测基准 / 肿瘤学
  • mendeley-lbc — 共享标签:医学影像 / 病理图像 / 评测基准 / 肿瘤学

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集