信息速览
INFOBOX — CURVAS-PDACVI 一屏速览
维度 内容 本质 首个逐例 5 位专家独立标注、且以标注分歧为一等评价对象的 PDAC 血管侵犯(VI)开放基准 归属 CURVAS 挑战赛第 2 届(第 1 届为肾/肝/胰腺三器官不确定性分割),MICCAI 2025 韩国大田收官 主办 CURVAS consortium:Universitat Pompeu Fabra + Sycai Technologies SL 牵头,德/法/中西多机构参与 数据源 从 PANORAMA 公开 CT 库精选 125 例门静脉期上腹部增强 CT 最终规模 论文口径 109 例:训练 40 / 验证 5 / 测试 64(Zenodo 侧另一口径写测试 85) 标注 每例 5 份独立肿瘤掩码(PANORAMA 原标注 1 + 新增 4)+ STAPLE 共识 + 5 血管掩码 标注者 22 年 / 7 年 / 3 年 / 1 年(初级住院医师)四位新增放射科医生,互不通气、不看原标注 核心数字 人-人 Dice 58.4% ± 25.7%;最低一致者正是 1 年资住院医师(55.33%) 任务 3D 肿瘤概率分割 + 逐血管接触角分布 + 概率校准,9 个指标各排名再平均 参评 62 名注册、6 队进入最终评测,全部 nnU-Net 变体 反直觉结论 DSC 冠军 BreizhSeg(71.04%)在血管侵犯上仅排第 4-5;高分歧病例上组织方基线 OrdSTAPLE 反超至第一 许可 训练集 CC BY-NC-SA 4.0;验证/测试不公开;评测代码 GitHub 公开 论文 arXiv:2604.27582 [cs.CV],2026-04-30 预印本,25 位作者 获取 Zenodo records/15720085(v3,5.5 GB)+ GitHub 评测代码 条目抓取时点 2026-10-17
绝大多数医学图像分割数据集的评价方式,是把模型输出和唯一一份参考答案比 Dice。CURVAS-PDACVI 的出发点恰恰是:在胰腺癌和血管的交界处,这份"唯一答案"根本不存在。
五位放射科医生看同一张 CT,对同一个肿瘤边界的判断平均只有 58.4% 的重叠。这不是标注质量问题,而是这个任务本身的不可约不确定性(aleatoric uncertainty)——肿瘤的浸润性边界在影像上就是模糊的,血管壁受侵与否在接触角 90° 到 180° 之间就是灰区。
本文围绕这条主线展开:CURVAS-PDACVI 如何把"分歧"从要被消除的噪声,变成要被预测的信号;它的评价框架如何因此彻底偏离"单一 ground truth + Dice"的常规范式;以及在 40 例公开数据上,六支队伍实际表现出了什么。
本文读法三则:
- 只想把数据拿到手:直接跳 §6 获取与许可,动手前先过一遍 §10 的八条坑点,尤其是「禁用批次」与「三套总例数口径」;
- 关心评价范式、做不确定性建模:精读 §5 与 §7,那里是本条目最有价值的部分——九指标框架、分布型血管侵犯真值、以及为什么 Dice 冠军会在关键指标上翻车;
- 做临床转化或合规尽调:先看 §4 数据边界与 §10 避坑清单,再看附录 B 的证据链自证。
§0 导读
0.1 一句话定位
CURVAS-PDACVI(Calibration and Uncertainty for multiRater Volume Assessment in multistructure Segmentation — Pancreatic Ductal AdenoCarcinoma Vascular Invasion,校准与不确定性驱动的多阅片者多结构分割体积评估——胰腺导管腺癌血管侵犯)是 CURVAS 挑战赛的第二届任务及其配套数据集。
它的定位可以用三句话说清:
- 它不是一个新的原始影像采集,而是对 PANORAMA 公开 CT 库的多标注者重标注;
- 它不是"多要几份标注来提高标签质量",而是把五份标注同时奉为真值;
- 它不是又一个 Dice 排行榜,而是把校准误差、体积分布距离、逐血管接触角分布距离全部纳入排名。
0.2 关键数字一屏
| 关键数字 | 数值 | 来源口径 |
|---|---|---|
| PANORAMA 中初筛例数 | 125 例 | Zenodo v3 / 挑战赛页 |
| 论文最终可用例数 | 109 例 | arXiv 论文 |
| 公开训练 / 验证 / 测试 | 40 / 5 / 64 | arXiv 论文 |
| 另一套切分口径 | 40 / 5 / 85 | Zenodo v3 / 挑战赛页 |
| 排除例数 | 16 例(至少一位阅片者找不到可分割肿瘤) | arXiv 论文 |
| 每例独立标注者 | 5 位 | 全部来源一致 |
| 人-人平均 Dice | 58.4% ± 25.7% | arXiv 论文 |
| 阅片者间最低一致性 | Rater 5(1 年资)55.33% | arXiv 论文 |
| 血管条数 | 5 条(Porta / SMV / Aorta / Celiac / SMA) | 全部来源一致 |
| 评测指标轴 | 9 个(2 重叠 + 1 校准 + 1 体积 + 5 血管) | arXiv 论文 |
| 注册参赛人数 | 62 人 | arXiv 论文 |
| 最终评测队伍 | 6 支 | arXiv 论文 |
| 训练集压缩包 | 5.5 GB | Zenodo v3 |
| 许可 | CC BY-NC-SA 4.0 | Zenodo v3 / 论文 |
0.3 与 PANORAMA 的关系:一句话血缘
若把 PANORAMA 看作"把 PDAC 检测做成了一场带公开训练集的全球竞赛",那么 CURVAS-PDACVI 就是"从这场竞赛的公开影像池里捞出 125 例,再请四位新专家各自重新看一遍,并把’他们看不一样’这件事本身做成了评测对象"。
- 影像本体:来自 PANORAMA(Zenodo 原始记录 11034178);
- 肿瘤标注 1 号:沿用 PANORAMA 原标注;
- 肿瘤标注 2-5 号:本轮新增;
- 血管标注:由另一位临床医生在 PANORAMA 血管掩码基础上精修为 5 条独立结构。
0.4 谁应该读这一条
- 做腹部 3D 分割、但一直被"标签噪声"困扰的工程团队;
- 研究多标注者学习(multi-rater learning)、概率分割、共形/贝叶斯不确定性的人;
- 需要向临床方解释"AI 说 120° 接触角到底意味着什么"的转化研究者;
- 想复用这套"分布对分布"评估代码做自己数据集基准的人。
§1 名称与身份
1.1 三层名字,别混用
这个数据集在不同场合有三个名字,混用最容易出错:
| 层级 | 正式写法 | 出现场合 | 备注 |
|---|---|---|---|
| 数据集 | CURVAS-PDACVI dataset | Zenodo 记录标题 | 版本 v3,2025 年 6 月 |
| 挑战赛 | CURVAS 2nd Edition — Pancreatic Adenocarcinoma Vascular Invasion (PDACVI) | Grand Challenge 挑战赛主页 | 挑战赛名写在 CURVAS 系列之下 |
| 论文 | the PDACVI Benchmark | arXiv:2604.27582 | 标题只留 PDACVI,CURVAS 出现在正文里 |
- CURVAS 是系列名,全称 “Calibration and Uncertainty for multiRater Volume Assessment in multistructure Segmentation”(校准与不确定性驱动的多阅片者多结构分割体积评估);
- PDACVI 是本届任务后缀,展开为 “Pancreatic Ductal AdenoCarcinoma Vascular Invasion”;
- 组合起来才是完整名:
CURVAS-PDACVI。
需要注意,缩写在两处写法不完全一致:Zenodo 用 “multiRater Volume Assessment”,部分二手转述写成 “multi-rater volume assessment”;语义相同,但引用时应以自己的落源写法为准。
1.2 身份界定:它属于哪一类数据集
按数据血缘分类,它属于二次标注型数据集(re-annotation dataset),而非原始采集型:
- 影像不新采,借自 PANORAMA;
- 新增价值全部在标注层:4 份新增独立标注 + 1 份血管精修 + 1 份 STAPLE 共识;
- 因此它的可复用价值不在"更多病例",而在"更多观点"。
这与库内其他条目的定位区别明显:
- 与 PANORAMA(rid 945):血缘上是上游,任务上是不同层级——PANORAMA 问"这例是不是癌",CURVAS-PDACVI 问"这块癌有没有吃到血管";
- 与 CPTAC-PDA(rid 1135):同为 PDAC,但后者是多组学与病理队列,本条是影像 + 标注分歧;
- 与 NIH Pancreas-CT(rid 367):同为胰腺,但后者是健康/瘤体胰腺分割的经典基准,单标注者。
1.3 届次血脉:CURVAS 第一届
CURVAS 第一届(MICCAI 2024)的任务是分割肾脏、肝脏、胰腺三个腹部器官,并以"器官体积"作为临床关注量,考察不确定性建模。
第二届把任务难点大幅抬升:
| 维度 | CURVAS 第 1 届 | CURVAS 第 2 届(PDACVI) |
|---|---|---|
| 目标结构 | 肾、肝、胰腺三个器官 | PDAC 肿瘤 + 胰腺 + 5 条血管 |
| 边界确定性 | 器官边界相对清晰 | 肿瘤浸润边界高度模糊 |
| 临床落点 | 器官体积 | 可切除性相关的血管侵犯 |
| 多标注者 | 有 | 5 位,且分歧本身成为指标 |
挑战赛主页对此的原话大意是:上一届做的是三个器官的体积,本届"再进一步",去分割胰腺的病理结构,临床目标是理解血管受累——这是肿瘤可切除性的关键度量。
1.4 主办与资助
- 学术牵头:Universitat Pompeu Fabra(巴塞罗那,González-Ballester 组);
- 产业合作:Sycai Technologies SL(巴塞罗那,医疗 AI 公司);
- 资助方:加泰罗尼亚政府 “Doctorats Industrials” 计划(工业博士项目 AGAUR 2021-063)与西班牙公私合作项目 CPP2021-008364(MCIN/AEI,NextGenerationEU/PRTR 共同出资);
- 论文致谢另列德国 NUM 2.0、Eurostars-3 DARE-KPL、法国 ANR(VATSop、IdEx Unistra、STRAT’US)、中国国家重点研发计划 2023YFC2411502 与 NSFC 82202954 等。
1.5 论文署名与作者结构
- 25 位作者,第一作者 M. Riera-Marín(Meritxell Riera-Marín,Zenodo 记录中的 Project leader,ORCID 0000-0001-6221-5443);
- 末位 A. Galdran(Adrián Galdran),常作通讯角色;
- 作者横跨西班牙(UPF、Sycai、Sant Pau、Mataró)、法国(Strasbourg、Rennes、LTSI)、德国(DKFZ、Erlangen)、中国(SIAT、中科院)。
这种"组织方 + 参赛队 + 标注医院"混合署名的结构,在挑战赛综述论文里很常见,也意味着论文内的性能描述带有组织方视角:组织方基线 OrdSTAPLE 也在参评之列,只是不计奖项。
1.6 查重与唯一性
- 库内检索
url_name ILIKE '%cuvas%'/'%pdac%'/'%panorama%'/'%pancrea%',命中 panorama-2026(rid 945)、nih-pancreas-ct(rid 367),无 CURVAS 同名或别名条目; writing/目录下无同名目录;- 需特别提示:PDACVI 与 CURVAS 是同一实体的两个名字,若未来以 “pdacvi” 再次入池,属别名撞库,应在池 notes 中标注。
§2 论文与时间线
2.1 论文基本信息
| 项目 | 内容 |
|---|---|
| 标题 | Assessing Pancreatic Ductal Adenocarcinoma Vascular Invasion: the PDACVI Benchmark |
| arXiv | 2604.27582 [cs.CV] |
| 版本 | v1,2026-04-30 08:37:37 UTC 提交 |
| 篇幅体积 | 预印本源文件 14,499 KB(含图) |
| DOI | 10.48550/arXiv.2604.27582 |
| 学科 | Computer Vision and Pattern Recognition(cs.CV) |
| 期刊版本 | 未公开(arXiv 页面无 journal-ref / comments 字段) |
| 利益冲突 | 作者声明无已知财务或个人利益冲突 |
一个必须说清的事实:截至本条目抓取时点(2026-10-17),这篇论文只有 arXiv 预印本,没有期刊或会议正式录用信息。CURVAS 主页提到"上一年论文"发表在 Elsevier 平台(authors.elsevier.com 链接),说明第一届有期刊归属;本届是否已定刊,页面未给。
2.2 时间线(逐年逐月)
| 时间 | 事件 | 来源 |
|---|---|---|
| 2025-05 | 训练集在 Zenodo 发布(首版) | 挑战赛主页 / Zenodo |
| 2025-06 | 训练集 v3 发布:新增 STAPLE 共识、修正方向不一致、统一 head-first | Zenodo 记录页 |
| 2025-06 | 公开 sanity-check 阶段 | arXiv 论文 |
| 2025-06 至 07 | 公开验证阶段(live 评测) | arXiv 论文 |
| 2025-07 至 08 | 封闭测试阶段(时间/内存超限导致延期) | arXiv 论文 / 挑战赛主页公告 |
| 2025-09-03 23:59 CEST | 评奖截止:此前提交方有资格获奖 | 挑战赛主页 |
| 2025-09-27 | MICCAI 2025(韩国大田会议中心)公布结果 | arXiv 论文 |
| 2026-04-30 | arXiv 预印本上线 | arXiv |
2.3 时间线上的一处矛盾
挑战赛主页 Winners 段落写"获奖者将受邀在 MICCAI 2024 的挑战赛活动上展示方法与结果",同时又写"挑战赛现已正式关闭"。结合论文明确写"2025 年 9 月 27 日 MICCAI 2025 大田",可以判断主页那句 MICCAI 2024 是从第一届页面继承下来的旧文案未更新。
成稿取论文口径:MICCAI 2025。
2.4 延期与截止
挑战赛主页留有两条公告:
- 测试阶段因参与者遭遇时间与内存限制而延长;
- 挑战赛正式关闭,货币奖金只发给 2025-09-03 23:59 CEST 前提交的方法。
但主页同时说明:提交阶段仍然开放,允许后续队伍继续投稿;迟交不计奖,但可被纳入挑战赛结果论文。
这句话对复用者很重要:如果今天还想往这个 benchmark 上提交,技术上通道没关,但你不会进入论文的排名表。
2.5 论文的研究主张(按原文顺序)
论文的核心主张可以拆成四层:
- 背景:手术切除是 PDAC 唯一可能治愈的手段,能否切除取决于血管侵犯(VI)评估是否准确;
- 空白:计算化的 VI 评估研究严重不足,两大障碍是缺公开数据集、以及肿瘤-血管交界的诊断模糊导致专家间变异巨大;
- 方法:构建 CURVAS-PDACVI 数据集与挑战赛,每例 5 份独立专家标注,并提出超越空间重叠的多指标评价框架(含概率校准与 VI 评估);
- 发现:评估六个 SOTA 方法后,全局体积重叠强不代表肿瘤-血管交界处表现可靠;二值分割优化的方法在平均重叠上不落下风,但在专家共识低的高复杂度病例上会"体积塌缩"或"边界过度延伸";建模标注者分歧的方法概率图校准更好、在模糊病例上更稳健。
第 4 点是整篇论文的命题句,也是本条目 §7 要展开的重点。
2.6 预印本的状态提醒
预印本意味着:
- 数字可能随同行评审修订;
- 作者列表可能变动;
- 但数据集与代码已在 Zenodo / GitHub 落地,数据层面的事实相对稳定,不随论文版本漂移。
写条目时的口径选择是:凡数据事实,以 Zenodo v3 与挑战赛页为准;凡评测数字,以 arXiv v1 为准并标注版本。
§3 机构与人物
3.1 组织架构
CURVAS-PDACVI 的组织结构分三层:
CURVAS consortium(学术联盟)
├── Universitat Pompeu Fabra —— 学术牵头、方法学与基线
├── Sycai Technologies SL —— 产业方、平台搭建、评测代码托管
└── 参与联盟:Strasbourg / Rennes(LTSI) / DKFZ / SIAT / 中科院
标注医院(3 家)
├── Universitätsklinikum Erlangen(德国)
├── Hospital de Sant Pau(西班牙 巴塞罗那)
└── Hospital de Mataró(西班牙)
3.2 标注者画像
5 位"独立标注者"里,实际是 1 位历史标注 + 4 位新标注:
| 编号 | 身份 | 经验 | 备注 |
|---|---|---|---|
| Rater 1 | PANORAMA 原标注 | 未公开 | 由 PANORAMA 组织方提供,非本轮新增 |
| Rater 2 | 新增放射科医生 | 7 年 | |
| Rater 3 | 新增放射科医生 | 22 年 | 全组最资深 |
| Rater 4 | 新增放射科医生 | 3 年 | |
| Rater 5 | 新增放射科医生 | 1 年 | 初级住院医师,一致性最低 |
论文与 Zenodo 都强调:新增的四位在标注时不看 PANORAMA 原标注,只被告知"这里存在 PDAC 病灶"。
这个设计细节是整条数据集可信度的地基。如果让新标注者参考原标注,五份标注就会向同一个方向收敛,分歧被人为抹平,“多标注者"就退化成了"一次标注 + 四次确认”。
3.3 血管标注的特殊安排
血管掩码不是五位一起做的,而是由另一位临床医生单独负责:
- 在 PANORAMA 的血管掩码基础上做精修;
- 把原本混在一起的血管拆成 5 条独立结构;
- 手工补齐部分血管段。
Zenodo 原文提到,这些血管标注"will be made public later in the challenge, so the participants can try out the evaluation code"——即血管掩码的开放时间晚于影像与肿瘤掩码,目的是让参赛者能本地跑通评测代码。
3.4 关键人物
- Meritxell Riera-Marín:第一作者,Zenodo 记录 Project leader,工业博士(AGAUR 2021-063,与 Sycai 合作);
- Miguel Ángel González Ballester:UPF 教授,Zenodo 记录 Supervisor,ICREA 研究教授,长期做医学影像配准与统计形状模型;
- Adrián Galdran:末位作者,BCN-MedTech / UPF,做视网膜与腹部影像的深度学习方法;
- Matthias Stefan May:Erlangen 放射科,Zenodo 记录 Annotator 角色之一,参与标注;
- O. K. Sikha、Júlia Rodríguez-Comas:Zenodo 记录为 Researcher;
- Sandra Bernaus Tomé:Zenodo 记录为 Data curator,负责数据整理。
需要注意:Zenodo 记录里的角色标签(Annotator / Researcher / Data curator)是元数据层面的分工,与论文中"Rater 2-5"的编号不一定一一对应。论文没有公开"哪一位 Rater 对应哪一位署名医生",这是一处不可确证的映射,本条目不作猜测。
3.5 六支参评队伍
| 队伍 | 所属机构 | 方法摘要 |
|---|---|---|
| TwinTrack | Université de Strasbourg(法国) | 两阶段 nnU-Net 级联 + 深度集成(M=3)+ 事后等渗回归校准(PAVA),多阅片信息只用于事后校准 |
| CorpuSeg | 深圳先进技术研究院 SIAT(中国) | 粗定位 + 5 个独立二阶段模型(每份标注各训一个),推理时体素平均融合 |
| BreizhSeg | Université de Rennes / CLCC Eugène Marquis / INSERM LTSI(法国) | 预训练 ResidualEncoderUNet → 可适配贝叶斯神经网络(BNN),5 次随机前向近似后验预测分布 |
| MIC DKFZ | 德国癌症研究中心(DKFZ) | 预训练 nnU-Net ResEnc-L 集成,在 5 份标注 + STAPLE 上微调,温度缩放校准 |
| ROISeg | 中国科学院 | 先把 5 份标注合成 STAPLE 共识再训练全分辨率 nnU-Net,无显式不确定性建模 |
| OrdSTAPLE | Universitat Pompeu Fabra / Sycai Medical(组织方基线) | 序数建模:STAPLE 二值模型 + 序数一致性模型融合,不计奖项 |
六支队伍的方法可以按"如何处理多份标注"分成三派:
- 事后校准派(TwinTrack、MIC DKFZ):训练时用或不用多标注,但输出后统一做概率校准;
- 多模型融合派(CorpuSeg、BreizhSeg):多个模型或多次前向,用集成表达不确定性;
- 先共识再训练派(ROISeg、OrdSTAPLE):把 5 份标注压成一份再用。
第 7 节会看到,这三派的表现差异恰好构成了本篇论文最有说服力的证据。
§4 数据规模与构成
4.1 从 125 到 109:一次有代价的筛选
CURVAS-PDACVI 的纳入流程可以画成一棵漏斗:
PANORAMA 公开 CT 库
│ 人工筛选(只用人工勾画标签、只收有病理/细胞学确诊者、按大小/性别/年龄/设备分层)
▼
125 例候选
│ 请 4 位放射科医生独立标注
▼
125 例完成标注
│ 排除:至少一位阅片者找不到可分割的 PDAC 病灶(主要排除原因)
▼
109 例进入论文基准
│
├── 训练 40 例(公开)
├── 验证 5 例(不公开)
└── 测试 64 例(不公开)
关键理解:排除的 16 例不是因为数据坏了,而是因为专家自己都找不到肿瘤。这类病例恰恰是"分歧最大"的一类,把它们剔出去,实际上是一种保守选择:它让基准可评(至少有 5 份可比掩码),但也承认了"专家连病灶都定位不一致"的极端情形不在评测范围内。
4.2 数据筛选的三条硬门槛
Zenodo v3 记录的原文条件,逐条抄录并解释:
| 条件 | 原文要点 | 影响 |
|---|---|---|
| 只用人工标签 | 排除 PANORAMA 中自动生成标注的病例 | 保证 5 份标注都是人手勾的 |
| 只收确证诊断 | 必须有病理 / 细胞学 / 组织病理结果,排除仅影像学诊断者 | 肿瘤"是不是癌"有金标准 |
| 代表性分层 | 按病灶大小、性别、年龄、设备做多样选择 | 降低队列偏斜 |
此外还有一条隐含条件:与 PANORAMA 之外的公开数据集不得重叠——避免与 MSD、DeepLesion 等复用数据撞车。
4.3 切分:公开的很少,隐藏的很多
| 子集 | 论文 | Zenodo v3 / 挑战赛页 | 状态 |
|---|---|---|---|
| 训练 | 40 | 40 | 公开,含全部 5 份标注 + STAPLE + 血管 |
| 验证 | 5 | 5 | 挑战赛期间不公开 |
| 测试 | 64 | 85 | 挑战赛期间不公开 |
| 合计 | 109 | 130 | 口径冲突 |
训练集只有 40 例,这是这套基准最反常识的设计。挑战赛主页对此的解释是:
- 有意只给少量数据,逼参赛者去用公开的外部多阅片者数据;
- 让"手上没有大算力、没有私有数据"的团队也有机会参与;
- 训练与评测用不同来源数据,能让方法对数据集间偏移更鲁棒。
论文的解释与之一致:评估的是"方法能否在数据稀缺且标注分歧大的条件下仍然稳健",而不是"谁能在 5000 例上刷更高的 Dice"。
对复用者的实际影响是:40 例意味着任何一例的异常都会带动 2.5 个百分点的 Dice 波动,本地交叉验证的方差会非常大,不适合做细粒度的方法排名,只适合做粗筛。
4.4 每个病例目录的文件结构
Zenodo 训练集解压后,每例一个文件夹,命名形如 CURVASPDAC_XXXX:
CURVASPDAC_0001/
├── image.nii.gz # 增强 CT 体数据
├── annotation_1.nii.gz # PANORAMA 原标注(PDAC 肿瘤)
├── annotation_2.nii.gz # 新增专家 1
├── annotation_3.nii.gz # 新增专家 2
├── annotation_4.nii.gz # 新增专家 3
├── annotation_5.nii.gz # 新增专家 4
├── annotation_staple.nii.gz # 5 份标注的 STAPLE 共识(二值)
└── annotation_vascular.nii.gz# 5 条血管
标签编码:
- 肿瘤掩码(annotation_X):
1= PDAC 肿瘤,2= 胰腺(胰腺实质); - 血管掩码(annotation_vascular):
1= Porta(门静脉),2= SMV(肠系膜上静脉),3= Aorta(主动脉),4= Celiac Trunk(腹腔干),5= SMA(肠系膜上动脉)。
这里有个容易踩坑的细节:肿瘤掩码和血管掩码的标签值是两套独立编号,1 在一份文件里是肿瘤,在另一份里是门静脉。写加载脚本时若不按文件名区分,会把门静脉当成肿瘤。
4.5 病例 ID 的匿名化策略
病例 ID 形如 CURVASPDAC_XXXX,与 PANORAMA ID 没有直接对应关系。这是有意为之:
- 防止参赛者把 CURVAS 训练例反查到 PANORAMA 中的原始病例;
- 防止参赛者在 PANORAMA 的隐藏测试集里"认脸"。
这条匿名化也带来一个副作用:你无法用 PANORAMA 的公开元数据(如病理分级、TNM 分期)给 CURVAS 病例打标签,除非官方另发映射表(未公开)。
4.6 人口学与病变分布
Zenodo 只给出目标配额,没有给实际达成值:
| 变量 | 目标比例 |
|---|---|
| 年龄 <50 | 5% |
| 年龄 50-59 | 15% |
| 年龄 60-69 | 20% |
| 年龄 70-79 | 30% |
| 年龄 80-89 | 30% |
| 性别 | 女 40-50% / 男 50-60% |
| 肿瘤位置 | 头 60-70% / 体 15-25% / 尾 10-15% |
注意:年龄 70 岁以上合计占 60%,这是一个明显偏向老年人群的构成,与 PDAC 的真实流行病学(发病高峰 60-80 岁)大致吻合,但意味着这套数据不适合直接迁移到年轻患者或遗传性胰腺癌家系。
4.7 影像规格
| 项目 | 内容 |
|---|---|
| 模态 | 上腹部轴位、门静脉期增强 CT(CECT) |
| 格式 | NIfTI(.nii.gz) |
| 方向 | v3 起统一 head-first |
| 层厚 / 像素间距 | 未公开(继承 PANORAMA 原始采集参数) |
| 对比剂方案 | 门静脉期(标准化采集协议细节未公开) |
| 压缩包大小 | 训练集 5.5 GB |
层厚未统一:PANORAMA 是多中心回顾性数据,层厚与重建核跨中心差异很大。CURVAS 只做了方向统一,没有做重采样。这意味着参赛者必须自己做重采样与各向异性处理,否则 3D 网络的感受野会在不同病例上对应不同的物理尺度。
4.8 数据规模在同类基准中的位置
| 基准 | 病例数 | 标注者数 | 单例标注份数 | 主任务 |
|---|---|---|---|---|
| CURVAS-PDACVI | 40 公开 / 109 总 | 5 | 5 | PDAC 肿瘤 + 血管侵犯 |
| PANORAMA | 2238 公开 / 3440 总 | 1(+ 20 余年经验专家指导) | 1 | PDAC 检测 |
| NIH Pancreas-CT | 82 | 1-2 | 1 | 胰腺分割 |
| AMOS | 500(CT)/ 100(MRI) | 多 | 1 | 15 器官分割 |
| BTCV | 50 | 1(多轮修订) | 1 | 13 器官分割 |
CURVAS-PDACVI 的样本量在这些基准里是最小的一档,但单例标注密度是最高的。这个取舍正是它的方法论主张:宁可少而分歧,不要多而单一。
4.9 人-人一致性:全篇最硬的数字
论文报告的人-人平均 Dice:
- 全体平均:58.4% ± 25.7%
- 分阅片者(与其余四人及共识的平均一致性):
- Rater 4(3 年):60.19%
- Rater 3(22 年):59.86%
- Rater 1(PANORAMA 原标注):59.02%
- Rater 2(7 年):57.59%
- Rater 5(1 年):55.33%(最低)
这组数字有三层意义:
- 58.4% 的绝对水平:在器官分割里,人-人 Dice 通常在 90% 以上;在肿瘤分割里,70-85% 是常见区间。58.4% 说明这个任务的边界在影像上高度不确定,不是标注者粗心;
- ±25.7% 的方差:标准差接近均值的一半,意味着有些病例几乎完全一致(Dice 接近 1),有些病例两份标注可能空间上完全不重叠(Dice 接近 0)。论文原文提到"specific cases exhibit spatially disjoint annotations",即确有空间上互不相交的标注对;
- 经验与一致性不是单调关系:7 年资的 Rater 2 反而低于 3 年资的 Rater 4。论文没有对这一点给因果解释,只说"agreement variance correlates with rater experience",即方差与经验相关,但方向不是简单的"越资深越准"。
4.10 为什么 1 年资住院医师是最低一致性者
图 2 的阅片者间一致性矩阵把 Rater 5(1 年资初级住院医师)标为主要离群者(primary outlier)。论文的解释是:在"与其余个体"和"与 STAPLE 共识"两类比较中,经验较少的标注者都是系统性离群。
这条发现对数据集设计的启示是:
- 多标注者数据不应简单平均,否则经验不足者会系统性拉偏共识;
- STAPLE 这类基于 EM 的共识算法会给与多数人不一致的标注者更低权重,但它无法区分"离群是因为错了"还是"离群是因为看到了别人没看到的东西";
- 论文选择保留全部 5 份标注供模型学习,而不是丢弃 Rater 5 的标注——这是把"经验差异"也当作一种需要被建模的信号。
4.11 数据边界:它不包含什么
为避免过度解读,这里明确列出不在数据里的东西:
- 无病理 VI 确诊:5 条血管每条是否有镜下受侵,没有随数据发布;
- 无 NCCN 分级标签:没有"可切除 / 交界可切除 / 不可切除"的病例级标签;
- 无治疗与随访:没有手术记录、R0/R1 切缘状态、生存数据;
- 无临床元数据:除匿名 ID 外,无年龄、性别、分期的逐例字段(只有分层目标比例);
- 无肝动脉:血管清单只有 5 条,肝总动脉 / 肝固有动脉不在其中;
- 测试集不公开:挑战赛结束后是否放出,官方未确证。
这条边界决定了:CURVAS-PDACVI 只能用于评估"影像上的几何判断",无法直接用于训练"预测病理受侵"的模型,除非另接 PANORAMA 或其他队列的病理标签做弱监督。
§5 任务与标注定义
5.1 任务分解
参赛者需要输出一份概率肿瘤图(每个体素一个 0-1 的概率),评测框架在这个概率图上做四类计算:
┌──────────────────────────────────────────┐
│ 模型输出:3D 肿瘤概率图 ŷ │
└───────────────────┬──────────────────────┘
│
┌────────────────┬───────┴────────┬──────────────────┐
▼ ▼ ▼ ▼
二值化到阈值 直接取概率 体积积分 与血管掩码求交
│ │ │ │
① DSC/Thr-DSC ② MR-ECE ③ CRPS ④ 逐血管 W₁
(重叠) (校准) (体积分布) (接触角分布)
四类计算对应 9 个排名轴:DSC、Thr-DSC(2 个)+ MR-ECE(1 个)+ CRPS(1 个)+ 5 条血管的 Wasserstein 距离(5 个)= 9。
5.2 血管侵犯(VI):从临床概念到可计算量
临床上,血管侵犯的判读依据是肿瘤与血管的接触角(contact angle):肿瘤包绕血管一周的角度越大,受侵可能性越高。NCCN 等指南据此给出可切除性分级(常见阈值 90° / 180°)。
CURVAS-PDACVI 的做法是:不把角度阈值成分类标签,而是把角度本身当作随机变量。
论文的定义(逐项拆解):
- 对每条血管
s(共 5 条)和每个解剖平面π ∈ {冠状 cor, 矢状 sag, 轴位 ax}; - 逐层切片计算肿瘤与血管的接触角;
- 取所有切片中的最大角度,得到标注者
k对该血管的观测值g_{k,s,π}; - 对预测也一样处理,但要在阈值集
𝒯 = {0.10, 0.24, 0.38, 0.52, 0.66, 0.80}上分别二值化,得到一组预测角度ĝ_{j,s,π}; - 把两边的角度集合各自加一个平滑常数后视作高斯核样本,在
z ∈ [0, 360]的 1000 点网格上评估密度,得到两条分布; - 用离散一维 Wasserstein 距离
W_{s,π}度量两分布的差异。
5.3 为什么是"分布对分布"
这是本条目最需要讲透的设计。
如果按传统做法,真值是一个数(比如"最大接触角 150°“),预测也是一个数(比如"120°”),误差就是 30°。但这会丢掉两件事:
- 不同专家的角度本身就不一样:5 位专家对同一血管可能给出 60°、90°、120°、150°、180° 五个值;
- 预测在不同置信阈值下的角度也不一样:阈值 0.1 时预测"包绕 180°“,阈值 0.8 时可能只预测"包绕 60°”。
一旦把两者都看成分布,比较的就是"你的不确定性分布"和"专家的分歧分布"是否吻合。这正是这篇论文的立场:模型应该预测出一个与专家分歧结构相匹配的不确定性,而不是猜一个数字去碰运气。
5.4 接触角为什么在三个平面都要算
胰腺与上腹部血管的走行是三维的。门静脉和 SMV 沿身体长轴走行,冠状面与矢状面看得清;主动脉与腹腔干、SMA 在轴位上更易判读。
只在一个平面算角度会系统性低估或高估。 三个平面都算,再对每个血管汇总,能更全面地刻画"肿瘤包绕"的几何形态。
5.5 退化情形的处理规则
论文对三种边界情形给了明确规则:
| 情形 | 处理 | 含义 |
|---|---|---|
| 标注与预测都为空(均无接触) | 距离 = 0 | 双方一致认为未受累 |
| 仅一侧为空,另一侧非空 | 距离 = \ | 均值 − 0\ |
| 其他冲突 | 距离 = 360(罚值) | 分布形态不可比,给最大惩罚 |
"罚 360"这条规则需要特别注意:角度范围是 0-360°,给 360 相当于最坏情况。如果模型在某一血管上输出极其混乱的分布,可能直接被罚满,从而主导该血管的排名。实现评测时要特别检查自己是否触发了这条兜底。
5.6 肿瘤标注协议
5 份肿瘤标注的协议细节,论文与 Zenodo 都只给了高层描述:
- 标注对象:PDAC 肿瘤主体 + 胰腺(胰腺实质)两类;
- 边界规则:未公开统一的边界协议(如是否包含胰管扩张区、是否包含肿瘤周围水肿);
- 工具:未公开;
- 复核:未公开(是否有多轮内部复核不确定)。
这是数据集的一处已知盲区:五位专家在不共享边界协议的情况下独立标注,人-人 Dice 58.4% 中有多少来自协议差异、多少来自真正的影像模糊,无法分离。
挑战赛主页对此的说法是:这套数据"创造了在多个维度上分析多阅片者标注影响的独特机会,例如不同标注协议或不同标注者经验"。换言之,协议差异本身也是研究对象,而不是被消除的干扰。
5.7 标注者的信息条件
一条常被忽略但极重要的设计细节:新增的 4 位放射科医生只被告知"存在 PDAC 病灶",不知道位置、大小、分期。
这意味着:
- 他们必须先自己找到病灶,再勾边界;
- 如果没找到,该例就会被排除(这正是 16 例被剔除的原因);
- 他们的边界判断是纯影像判读,未受临床信息(如 CA19-9、既往影像)引导。
这与真实临床场景(有病史、有既往片)有差距,但换来的是标注的独立性。
5.8 STAPLE 共识的角色
annotation_staple.nii.gz 是 5 份标注通过 STAPLE(Simultaneous Truth and Performance Level Estimation,Warfield 等,2004)算法得到的二值共识。
STAPLE 的原理是 EM:交替估计"每个标注者的敏感度/特异度"与"每个体素的真实标签概率",直到收敛。
在这套基准里,STAPLE 承担双重角色:
- 作为 DSC 的参考:DSC 是二值预测对 STAPLE 二值化共识的重叠;
- 作为一条对照基线:ROISeg 直接把 STAPLE 当训练标签,OrdSTAPLE 在此基础上加序数建模。
但 STAPLE 的局限必须说清:它输出的是一个统计合成物,不是临床裁决。在专家分歧极大的病例上,STAPLE 的"共识"可能是五个都不像的中间态。论文对高复杂度病例的分析(§7)正好印证了这一点。
5.9 标注质量的已知证据
哪些证据支持这套标注是可信的?
| 证据 | 说明 |
|---|---|
| 4 位新增标注者均为委员会认证放射科医生 | 非学生、非众包 |
| 盲标 | 不看 PANORAMA 原标注,只知"有病灶" |
| 5 份标注全量保留 | 未做后处理抹平分歧 |
| 一致性矩阵公开 | 图 2 逐对报告均值 ± 标准差 |
| 经验梯度可检 | 22/7/3/1 年四个梯度,能检验经验效应 |
哪些证据表明标注仍有局限?
| 局限 | 说明 |
|---|---|
| 无病理 VI 金标准 | 无法验证"谁的接触角判得更对" |
| 无边界协议统一 | 协议差异混入分歧 |
| Rater 1 经验未公开 | 无法把其纳入经验梯度分析 |
| 血管标注单人完成 | 无第二人复核记录 |
| 无标注时长/置信度记录 | 无法区分"快速勾画"与"仔细推敲" |
§6 获取、格式与许可
6.1 三条获取路径
| 要拿什么 | 去哪里 | 状态 |
|---|---|---|
| 40 例公开训练集(影像 + 5 标注 + STAPLE + 血管) | Zenodo records/15720085(v3) |
开放下载,5.5 GB |
| 正式版本 DOI | doi.org/10.5281/zenodo.17552201 |
论文引用的"全部数据"DOI |
| 本地跑评测代码 | GitHub SYCAI-Technologies/curvas-challenge 下 CURVAS-PDACVI_2025 |
公开 |
| 验证 / 测试集 | Grand Challenge 平台 | 不公开,只能提交 |
6.2 版本链
Zenodo records/15401568 ← 论文正文称"基准数据发布"
│
▼
(中间版本,版本号与日期未在记录页单列)
│
▼
Zenodo records/15720085 v3 "Published June 2025"
· 新增 STAPLE 共识标注
· 修正方向不一致
· 全部统一 head-first
│
▼
Zenodo doi 10.5281/zenodo.17552201 ← 论文引用的概念 DOI
三记录并存是个实际麻烦:15401568、15720085、17552201 在论文与网页上被交替引用。实践建议:
- 引用用概念 DOI(17552201),能自动指向最新版;
- 下载用带版本号的 15720085(v3),因为只有 v3 有 STAPLE 且方向统一;
- 若拿到的是更早版本,必须自己补做方向校正,否则 axial 与 coronal 会错位。
6.3 为什么必须用 v3
v3 的两项变更直接决定能否训练:
- STAPLE 标注:没有它,DSC 指标无法按官方定义计算(DSC 的参考是 STAPLE 二值共识);
- 方向统一:早期版本里部分扫描的头脚方向不一致,3D 网络会把方向当作强特征,导致"方向翻转"成为隐式捷径(shortcut)。
这两点足以让 v1/v2 的实验结果无法与论文对比。
6.4 训练禁用条款:最容易踩的合规坑
Zenodo 明文规定 PANORAMA 的 Batch 1、Batch 2、Batch 3 不得用于训练,只有 Batch 4 允许。
| PANORAMA 批次 | Zenodo 记录 | 可否用于训练 |
|---|---|---|
| Batch 1 | records/13715870 |
禁止 |
| Batch 2 | records/13742336 |
禁止 |
| Batch 3 | records/11034011 |
禁止 |
| Batch 4 | records/10999754 |
允许 |
原因不难理解:CURVAS 的 40 例训练集就是从 PANORAMA 这些批次里挑出来的。如果参赛者把 Batch 1-3 全下载来预训练,等于在测试集的同源数据上训练,构成隐性泄漏。
这条规则对今天的使用者仍然有效:做本地基准时,如果拿 PANORAMA 全量预训练,再在这 40 例上评估,结果不可与论文对比。
6.5 许可:CC BY-NC-SA 4.0 的实际含义
| 权利 | 状态 | 说明 |
|---|---|---|
| 商用 | 禁止 | NonCommercial |
| 修改 / 二次分发 | 允许 | 须署名 |
| 衍生作品许可 | 必须相同(ShareAlike) | 改了数据发布的版本也要 CC BY-NC-SA 4.0 |
| 署名 | 必须 | 需注明作者与来源 |
| 专利 / 商标 | 不授予 | 标准 CC 条款 |
ShareAlike 是这里最容易被忽略的一条:如果你基于这 40 例做了重标注、扩充或清洗并对外发布,新数据集也必须用 CC BY-NC-SA 4.0,不能改成更宽松的 CC BY。
6.6 对比:测试集的许可空洞
一个微妙之处是:CC BY-NC-SA 4.0 只覆盖已发布的训练集。验证 5 例与测试 64/85 例从未公开,其许可状态在官方材料中没有表述。
这意味着:
- 不能假设"测试集将来放出时也是 CC BY-NC-SA 4.0";
- 不能把平台上的排行榜结果当作"公开数据集上的可复现数字"来引用——它依赖一个不可访问的私有集。
6.7 伦理与隐私
Zenodo 记录的伦理说明很简短:
由于 CT 影像与对应信息已经公开,不会额外释放任何非公开的患者信息。
即:没有新的伦理审批,因为数据本体已经公开,本轮只增加标注。这在欧洲 GDPR 框架下属于"对已匿名化数据的再加工",不构成新的个人数据处理。
但要注意,这条论证依赖一个前提:PANORAMA 的公开版本已经是充分去标识化的。CURVAS 未做额外的去脸/去标识处理(上腹部 CT 一般不涉及面部),也未改变影像像素值。
6.8 下载与校验的实操清单
- 从 Zenodo 15720085 下载
training_set.zip,核对 MD56029253f6687180c95e58a0288e90df4; - 解压后核对病例数:应为 40 个
CURVASPDAC_*目录; - 逐例核对文件数:应为 8 个
.nii.gz(image + annotation_1~5 + annotation_staple + annotation_vascular); - 抽检方向:用 nibabel 读 affine,确认第三个轴方向一致(head-first);
- 抽检标签值:
annotation_1唯一值应为 {0,1,2},annotation_vascular唯一值应为 {0,1,2,3,4,5}; - 抽检 STAPLE:应为二值 {0,1},且体积应落在 5 份标注体积的范围内(若明显超出,说明文件错配)。
6.9 评测代码的使用位置
论文明确:“we have made the evaluation code used in this manuscript publicly available in the Challenge’s GitHub repository”。
代码路径:github.com/SYCAI-Technologies/curvas-challenge/tree/main/CURVAS-PDACVI_2025。
由于测试集不公开,本地只能跑训练集(40 例)或自建留出集的评测。若要复现论文 Table 3/4 的数字,需要向组织方申请测试集访问(官方未公开此流程)。
6.10 许可与许可之外的约束
除了 license,还有一条软的学术约束:挑战赛主页规定"参赛队伍只有在组织方发表挑战赛论文之后,才能单独发表自己的结果,且必须引用组织方论文"。
这类条款在挑战赛里很常见,但它是赛事规则而非版权许可,对今天单纯使用数据集做研究的人不构成约束(你不在参赛)。不过,若你要发表"在这套数据上方法 X 优于方法 Y"的结论,仍应引用 arXiv:2604.27582 作为基准来源。
§7 评估框架与基准结果
7.1 九指标框架总览
| 类别 | 指标 | 方向 | 参考对象 | 衡量的东西 |
|---|---|---|---|---|
| 重叠 | DSC | 越高越好 | STAPLE 二值共识 | 二值化的整体吻合 |
| 重叠 | Thr-DSC | 越高越好 | 5 份标注的均值 | 概率图在 6 个阈值上的平均吻合 |
| 校准 | MR-ECE | 越低越好 | 5 位标注者各自 | 说 0.7 时是否真有 70% 的标注者同意 |
| 体积 | CRPS | 越低越好 | 5 份体积的高斯分布 | 预测体积落在专家体积分布里的程度 |
| 血管 | W₁(×5) | 越低越好 | 5 位专家的角度分布 | 接触角分布是否匹配 |
7.2 DSC:最熟悉、也最容易误导的指标
公式:
DSC(ŷ, s) = 2·Σ(ŷ_i · s_i) / (Σŷ_i + Σs_i + ε)
其中 ŷ 是二值化预测,s 是 STAPLE 二值共识。
它衡量的不是"对不对",而是"像不像共识"。 在五位专家 Dice 只有 58.4% 的数据集上,一个完美模仿某一位专家的模型,DSC 上限也就 58-60% 左右;而一个"中庸化"的模型反而可能拿到更高的 DSC,因为它天然逼近共识。
这是本篇论文的第一个关键判断:DSC 在这里奖励的是"往中间靠",不是"判断准确"。
7.3 Thr-DSC:把概率图当成分数
公式(概念):
Thr-DSC = mean over t in T of DSC( ŷ > t , ā > 0.5 )
其中 T = {0.10, 0.24, 0.38, 0.52, 0.66, 0.80},ā 是 5 位标注的平均概率图。
与 DSC 的区别在于:DSC 只看一个二值化阈值下的表现,Thr-DSC 看六个阈值下的平均表现。如果一个模型只在某个特定阈值下"恰好"吻合共识,但换个阈值就崩,Thr-DSC 会暴露它。
这个指标的设计意图是奖励"整条概率曲线都合理"的模型。
7.4 MR-ECE:把"分歧"变成校准的尺子
这是本套框架最精巧的设计。
标准 ECE(Expected Calibration Error)的做法是:把预测概率分箱(通常 10-50 个 bin),比较每个 bin 内的平均置信度与实际准确率。
但 CURVAS 的问题是:在单标签设定下没有"实际准确率"可算——因为五个专家意见不同,你说 0.6 的体素,到底算对还是算错?
论文的解法是多阅片者 ECE(MR-ECE):
MR-ECE = (1/5) · Σ_{k=1}^{5} ECE^(k)
其中 ECE^(k) 是用第 k 位标注者的掩码当作"真值"算出的 ECE(50 个 bin)。
含义:如果模型对某个体素说 0.7,那么五位专家里应该有 70% 的人在这个体素上是阳性。MR-ECE 衡量的就是"模型的概率是否等于专家投票的比例"。
公式化表述:
预测概率 0.6 → 期望 5 位专家中有 3 位标为肿瘤
预测概率 1.0 → 期望 5 位专家全部标为肿瘤
预测概率 0.2 → 期望 5 位专家中 1 位标为肿瘤
这个定义把"标注分歧"直接翻译成了"概率语义",是本条目在评价范式上最值得复用的创新。
为什么它比 DSC 更接近临床:外科医生关心的是"这个位置受侵的概率有多大",而不是"你的掩码和共识的 Dice 是多少"。MR-ECE 高说明模型不会在模糊区假装确定。
7.5 CRPS:体积的分布预测
标准做法是让模型预测一个二值掩码,然后算体积误差。但那丢掉了"预测有多确定"。
论文的做法:
- 从 5 位专家的掩码算出 5 个体积
v_1..v_5; - 拟合高斯分布
N(μ_v, σ_v²)(用 5 个体积的均值与方差); - 把模型的概率图积分得到预测体积
v̂; - 在 1-99 百分位之间取 100 个点,计算连续排序概率分数(CRPS):
CRPS = Δx · Σ_ℓ ( F_ℓ − H_ℓ(v̂) )²
其中 F_ℓ 是专家体积分布的累积分布,H_ℓ 是预测体积处的阶跃函数。
直觉理解:如果五位专家的体积是 {8, 10, 12, 14, 16} cm³,中位数 12,那么预测 12 cm³ 的 CRPS 很小;预测 30 cm³ 的 CRPS 很大(落在分布尾巴外)。CRPS 奖励"落在专家体积分布中央附近"的预测。
7.6 血管侵犯 W₁:分布距离
前面 §5.2-5.3 已详述构造过程。这里只补充三点:
- Wasserstein 距离的选择理由:它是有"物理意义"的距离——两个分布在角度轴上的最小搬运成本,单位仍是"度"。相比 KL 散度,它在两个分布支撑不重叠时不会发散到无穷,更适合"一个说 90°,一个说 200°"的情形;
- 对阈值的平均:预测侧在 6 个阈值上各得一个分布,论文对每个阈值单独算 W₁ 再汇总(具体聚合方式在论文表格中体现为单一数值,聚合规则细节需看代码);
- 五条血管分开排名:因为不同血管的可判读性差异巨大(主动脉最易,SMV 与门静脉最难),合并成一个"平均 VI"会掩盖这种差异。
7.7 最终排名规则
对 9 个指标分别排名(1 = 最好)
├── DSC、Thr-DSC:降序排(数值越大排名越靠前)
└── MR-ECE、CRPS、W₁×5:升序排(数值越小排名越靠前)
最终分 = 9 个名次的算术平均
这个规则的关键后果:五项血管指标占 5/9 的权重。一个 DSC 很强但血管判断糟糕的模型,会被显著拖累。
7.8 主结果:全局指标
测试集(n=64)上的四类全局指标,括号内为名次:
| 方法 | DSC (%) | Thr-DSC (%) | MR-ECE (×10⁻³) | CRPS (cm³) |
|---|---|---|---|---|
| BreizhSeg | 71.04 (1) | 64.01 (1) | 25.7 (1) | 7.320 (4) |
| MIC DKFZ | 66.21 (2) | 59.57 (2) | 32.2 (4) | 7.256 (3) |
| ROISeg | 59.28 (3) | 55.32 (5) | 34.5 (5) | 5.352 (1) |
| CorpuSeg | 58.94 (4) | 58.01 (3) | 30.5 (3) | 10.792 (6) |
| TwinTrack | 55.76 (5) | 56.93 (4) | 29.6 (2) | 5.924 (2) |
| OrdSTAPLE | 54.05 (6) | 48.73 (6) | 40.3 (6) | 8.592 (5) |
读法:
- BreizhSeg 拿下 DSC、Thr-DSC、MR-ECE 三项第一,是全局最强;
- ROISeg 的 DSC 只有第 3,但 CRPS 第一(体积预测最准),说明它的概率图虽然边界不够像共识,但整体体积量级拿捏得好;
- TwinTrack 的 DSC 排第 5,但 MR-ECE 排第 2、CRPS 排第 2——典型的"重叠不高但校准好";
- OrdSTAPLE 全局垫底,这个结果在 §7.10 会被反转。
7.9 血管侵犯结果:另一张脸
W₁(角度单位,越低越好),括号内为名次:
| 方法 | PORTA | AORTA | SMA | SMV | CELIAC |
|---|---|---|---|---|---|
| TwinTrack | 29.03 (1) | 6.08 (1) | 28.69 (3) | 34.03 (1) | 14.48 (1) |
| CorpuSeg | 29.09 (2) | 7.13 (2) | 28.08 (1) | 40.06 (3) | 14.80 (2) |
| BreizhSeg | 35.94 (5) | 9.12 (4) | 29.34 (4) | 43.34 (4) | 22.38 (4) |
| MIC DKFZ | 33.53 (4) | 10.76 (5) | 28.50 (2) | 35.25 (2) | 22.48 (5) |
| ROISeg | 33.16 (3) | 7.91 (3) | 41.91 (6) | 45.25 (6) | 22.80 (6) |
| OrdSTAPLE | 41.81 (6) | 13.51 (6) | 33.66 (5) | 44.16 (5) | 19.53 (3) |
这张表是整篇论文的核心证据:
- DSC 冠军 BreizhSeg 在五项血管里四项排第 4-5(PORTA 5、AORTA 4、SMA 4、SMV 4、CELIAC 4),只有 SMA 勉强第 4;
- DSC 第 5 的 TwinTrack 拿下四项第一(PORTA、AORTA、SMV、CELIAC);
- 两者之间的反差说明:"肿瘤整体勾得准"和"肿瘤与血管的关系判得准"是两件不同的事;
- 主动脉(AORTA)的 W₁ 全面在 6-14 之间,远低于 PORTA(29-42)和 SMV(34-45),印证"主动脉最容易判、静脉最难判"的临床直觉。
7.10 高复杂度队列:排名大反转
论文定义了"高复杂度病例":5 位专家两两之间平均 Dice ≤ 30% 的病例。这些是理论上最模糊、最没有共识的样本。
在这批病例上,按 9 指标平均排名:
| 方法 | 平均排名 μ_r | 排名标准差 σ_r |
|---|---|---|
| OrdSTAPLE | 2.67 ± 0.82 | 标准差最小 |
| MIC DKFZ | 2.83 ± 1.94 | |
| TwinTrack | 3.22 ± 1.69 | |
| BreizhSeg | 3.28 ± 1.69 | |
| ROISeg | 4.11 ± 1.59 | |
| CorpuSeg | 4.89 ± 1.10 |
从全局第 6 变成局部第 1,这是全篇最有戏剧性的结果。
如何解读:
- 不是"OrdSTAPLE 其实很好",而是"在最模糊的病例上,'不假装确定’比’猜得准’更值分";
- OrdSTAPLE 的序数建模本质上是把"有多少标注者同意"编码进输出,这与 MR-ECE 的定义天然对齐;
- 而 BreizhSeg 的 BNN 后验虽然概率化,但它是在单标签意义下学到的方差,不完全对应"标注者间"的分歧;
- 标准差 0.82 是六队中最小,说明 OrdSTAPLE 在难例上的表现稳定,不是靠个别病例刷上来的。
7.11 稳健性检验
论文做了两项统计检验:
(1)Bootstrap 重采样(500 次)
对测试集做 500 次有放回重采样,统计每支队伍在每个指标上拿到第 1 至第 6 名的频率。结果(图 3)显示:主要排名趋势稳健,不是个别病例驱动。
(2)Wilcoxon 符号秩检验(两两配对)
- 全局指标(尤其校准与重叠)上,若干两两差异达到显著;
- 血管特异的 VI 指标上,多数两两比较没有达到显著。
第二条结论很重要,且论文自己也点明了原因:血管 VI 的差异主要来自少数高度模糊病例的共同方差,样本量(64 例的某个子集)不足以撑起统计功效。
这意味着:表 4 里那些名次差异,在统计意义上相当一部分是不可靠的。 把它当作"TwinTrack 血管判断最好"的定论,是过度解读;更稳妥的说法是"TwinTrack 在血管指标上更靠前,但差异未必显著"。
7.12 指标相关性分析
论文图 5 报告了一个对复用者极有启发的发现:
- 重叠类指标(DSC、Thr-DSC)彼此强相关——这不奇怪,它们衡量的东西高度重叠;
- 重叠类指标与血管特异 VI 误差仅弱相关。
这条弱相关是整个九指标框架的合法性依据:如果 DSC 和 VI 强相关,那九个指标就是冗余的,一个 DSC 就够了;正因为它们弱相关,多指标才有必要。
实践建议:如果你只能报一个指标,报 DSC 就等于放弃了 VI 的信息;如果你要报 VI,就必须报全部五条血管,否则会掩盖静脉与动脉的巨大差异。
7.13 结果背后的方法学解释
论文对"为什么二值优化方法在难例上崩"给出了机制解释:
| 现象 | 机制 |
|---|---|
| 体积塌缩(collapse in volume) | 在低共识区,模型学到的"最优解"是把不确定的边界全部判为背景,以换取更高的平均 Dice |
| 边界过度延伸(overextending at uncertain boundaries) | 反之,某些模型在模糊区把所有可能区域都标为肿瘤,换取召回 |
| 两者都会在平均指标上"看不出来" | 因为平均 DSC 被简单病例的高分拉高,难例(占少数)的崩溃被稀释 |
这与 §7.10 的排名反转完全一致:平均值奖励"中庸",难例奖励"诚实的不确定"。
7.14 对复用者的三条实操建议
- 别单独用 DSC 衡量:在这套数据上,DSC 高的模型未必 VI 判得好(BreizhSeg 与 TwinTrack 是活例子);
- 必须报 MR-ECE:它是唯一直接编码"标注者分歧"的全局指标,也是临床最有解释力的指标;
- 血管指标必须分血管报:AORTA 与 SMV 的量级差 4-7 倍,合并平均会掩盖真实的薄弱环节。
§8 多标注者范式:为什么它根本不同于单标注分割
本节是本条目最有价值的部分。前面各节都在描述"这份数据长什么样",这一节回答"它的存在改变了什么"。
8.1 单标注数据集的隐含假设
几乎所有医学分割数据集都在暗中做三个假设:
| 假设 | 表述 | 在 CURVAS 任务上是否成立 |
|---|---|---|
| H1:存在唯一真值 | 对每个体素,有且只有一个正确的类别 | 不成立。五位专家在同一体素上可能给出五种判断 |
| H2:标注误差是噪声 | 标注偏离真值是随机的、可被平均修正的 | 部分不成立。分歧在边界区是系统性的,不是随机噪声 |
| H3:更接近真值 = 更好 | 模型越贴近标注,临床价值越高 | 不成立。在灰度区"贴近某一位专家"可能是过拟合该专家的偏好 |
一旦 H1 不成立,Dice 就失去了它最核心的语义:它衡量的不再是"正确率",而是"与某一特定答案的相似度"。
8.2 CURVAS 的立场:分歧是一等公民
CURVAS-PDACVI 的设计把上面三个假设逐一推翻,并给出替代方案:
| 被推翻的假设 | CURVAS 的替代 | 落地的指标 |
|---|---|---|
| 唯一真值 | 五份标注并列,STAPLE 只是合成物 | DSC 对 STAPLE;Thr-DSC 对均值 |
| 误差即可平均噪声 | 分歧是 aleatoric uncertainty 的可观测部分 | MR-ECE 对 5 位标注者 |
| 贴近标注 = 临床价值 | 概率必须反映"多少人同意" | MR-ECE、CRPS |
| 全局相似 = 局部可用 | 关键界面单独度量 | 5 条血管的 W₁ |
注意最后一行:即使有 5 份标注,如果只用全局 Dice,仍然会回到"平均主义者"的老路。真正让 CURVAS 与众不同的,是它把**“界面”**(tumor-vessel interface)单独拎出来做指标——那里才是手术决策真正依赖的地方。
8.3 三层不确定性,这份数据只能观测到其中一层
不确定性建模的文献常把不确定性分为三类:
| 类型 | 定义 | CURVAS 能否观测 |
|---|---|---|
| Aleatoric(偶然不确定性) | 数据本身固有的模糊,增加数据也不会减小 | 可观测:专家分歧就是它的经验代理 |
| Epistemic(认知不确定性) | 模型因知识不足而产生的不确定,加数据可减小 | 间接:通过集成 / BNN 近似 |
| Distributional(分布偏移) | 测试分布与训练不同导致的不确定 | 不可观测(测试集不公开,无法诊断) |
CURVAS 的多标注者设计的核心价值是:它为 aleatoric uncertainty 提供了一个可观测的经验估计。
- 在单标注数据集里,aleatoric 不确定性是不可见的,你只能靠模型自己"猜";
- 在 CURVAS 里,5 份标注的逐体素投票率就是 aleatoric 不确定性的直接估计;
- 这正是 MR-ECE 能做起来的前提——它有一个可以用来对标的"经验概率"。
8.4 三种"平均值"的语义差异
多标注数据最诱人的做法是"取平均",但三种平均的含义完全不同:
| 平均方式 | 数学对象 | 语义 | 陷阱 |
|---|---|---|---|
| 掩码平均 → 概率图 | ā_i = (1/5)Σ a_i^(k) |
“5 位专家中几位认为这里在肿瘤内” | 只在标注者同质时有意义 |
| STAPLE 共识 | EM 加权的隐藏真值 | “剔除标注者偏差后的最可能真值” | 假设多数人正确,会压制少数派真知 |
| 体积平均 | (1/5)Σ v_k |
期望体积 | 忽略了方差,无法表达"专家间差 3 倍" |
CURVAS 的做法是三者都用,但用在不同地方:
- 掩码平均 → Thr-DSC 的参考;
- STAPLE → DSC 的参考、ROISeg 的训练标签;
- 体积分布(不是平均)→ CRPS 的参考。
体积用分布而非均值,是这套设计里最克制的选择:它承认"专家体积差 3 倍"这件事必须被表达,而不能被平均掉。
8.5 为什么"分歧本身是信号"
这是本文最核心的一句话,需要展开。
反例(传统视角):五位专家 Dice 58.4%,说明标注质量差,应该做共识、做清洗、做多数投票,把数据"提纯"到 90% 以上再训练。
CURVAS 视角:58.4% 不是噪声水平,是任务难度的度量。如果五位专家都同意某处是肿瘤,那就是"确定阳性";如果三人说两人不说,那就是"边界区";如果两人说三人不说,情况反过来。
这些区域不是数据的缺陷,而是临床决策真正困难的区域:
- 确定阳性区 → 任何模型都能勾对,没有区分度;
- 模糊区 → 正是"能否切除"的判断取决于它的地方;
- 一个把所有模糊区都判成"确定"的模型,在 Dice 上可能不错,但在手术室里毫无价值。
因此,"预测分歧"和"预测分割"是同一件事的两面。 MR-ECE 与 W₁ 就是在量化"模型的分歧预测是否与专家的分歧一致"。
8.6 一个具体的思想实验
假设某例 CT 上,五位专家对"SMV 是否受侵"的判断是:
- Rater 1:60°(未侵犯)
- Rater 2:90°(交界)
- Rater 3:120°(交界)
- Rater 4:150°(可疑侵犯)
- Rater 5:180°(侵犯)
传统单标签做法:人工定一个"真值",比如取中位数 120°,然后算预测与 120° 的差值。这丢掉了"专家分歧从 60° 到 180° 横跨 120°"这个关键信息。
CURVAS 做法:把 {60, 90, 120, 150, 180} 视为分布样本,计算预测的分布与它的 Wasserstein 距离。
- 若模型输出"120° ± 5°",W₁ 很小(落在分布中央);
- 若模型输出"185° 且非常确定",W₁ 会大(落在分布外且尖锐);
- 若模型输出"90-180° 之间均匀分布",W₁ 反而可能较小——因为它诚实地表达了不确定。
最后一条可能反直觉,但正是这套框架想要的:在这个任务上,"知道自己不知道"比"猜对一个数"更有价值。
8.7 与单标注分割的对比总表
| 维度 | 单标注分割(如 AMOS / BTCS/NIH Pancreas-CT) | CURVAS-PDACVI |
|---|---|---|
| 真值构成 | 1 份 | 5 份 + STAPLE |
| 模型输出 | 二值掩码 | 概率图(必须) |
| 主指标 | Dice / HD95 | 9 指标(2 重叠 + 1 校准 + 1 体积 + 5 血管) |
| 对"边界模糊"的处理 | 隐式:算进 Dice 误差 | 显式:用分歧作为参考分布 |
| 标注者间变异 | 通常只在方法学章节报一个 kappa | 成为数据集的核心卖点 |
| 模型不确定性 | 可选(多数方法不建模) | 强制(校准与 CRPS 直接计分) |
| 训练集规模 | 大(数百至数千) | 极小(40) |
| 评测目标 | “多准” | “多准 + 多诚实” |
| 临床落点 | 分数量级 | 逐血管可切除性判断 |
8.8 这套范式的代价
必须诚实地列出代价,否则会成为"范式吹捧":
- 标注成本高 5 倍:每个病例要 5 位放射科医生独立阅片,边际成本远超普通标注;
- 样本量必然小:同样的预算只能覆盖 1/5 的病例,统计功效不足(§7.11 的 Wilcoxon 不显著就是后果);
- 难以做大规模预训练:40 例不足以训练基础模型,只能做微调或评测;
- 评测实现复杂:9 个指标、分布构造、退化规则,任何一处实现偏差都会导致排名漂移;
- "共识"仍是必需品:DSC 仍然要 STAPLE,说明完全放弃单一参考在实践中不可行;
- 临床验证缺失:整套框架评价的是"与专家分歧的匹配度",没有证明"匹配度高的模型手术结局更好"。
第 6 条是最关键的缺口:这条链路(影像分歧 → 模型校准 → 手术决策 → 患者获益)目前只走通了前两环。
8.9 这份数据对方法学的三条启示
启示一:不要用平均 Dice 选模型。
在 40 例、人-人 Dice 58% 的数据上,验证集的 Dice 方差可能大于方法间差异。更稳的做法是:
- 报多指标(至少 DSC + MR-ECE + 一条血管);
- 报置信区间而非单点;
- 报高分歧子集上的表现。
启示二:不确定性建模要对着"标注者分歧"设计,不是对着"模型方差"设计。
BreizhSeg 用了 BNN 后验,理论上是很正统的不确定性方法,但它在高难例上不如 OrdSTAPLE。原因是:
- BNN 的后验方差衡量的是模型参数的不确定(epistemic);
- 而 CURVAS 要的是标注者意见分布(aleatoric);
- 两者不等价,后者需要训练时显式利用 5 份标注。
启示三:界面指标值得被移植到其他数据集。
“tumor-vessel interface” 这个思路可以推广到:
- 脑肿瘤与功能区皮层的界面;
- 肝肿瘤与肝门血管的界面;
- 肺结节与胸膜的界面。
通用模式:把"解剖学上的关键界面"单独定义为一个区域,在该区域上算专用指标,而不是混进全局平均。
8.10 为什么"多标注者"不是"多要几份标注"
一个常见的误解是:CURVAS 之所以要 5 位专家,是为了"交叉验证标注质量,取更可靠的那一份"。
这个理解是错的,而且错在方向上。区别可以用一张表说清:
| 目的 | 做法 | 产出 | 对应条目 |
|---|---|---|---|
| 提高标签质量 | 多人标注 → 分歧处复核 → 定稿一份 | 1 份"更好"的标注 | PANDA-PLUS(三级复核 + 专家终审) |
| 量化标注噪声 | 多人标注 → 算 kappa / Dice → 报一个数 | 1 份标注 + 1 个质量指标 | 多数临床数据集 |
| 把分歧当作信号 | 多人标注 → 全部保留 → 模型学习预测分歧 | 1 份标注 + 4 份对立观点 | CURVAS-PDACVI |
第三行的关键在"全部保留":如果组织方在事后开一次共识会议,把 5 份标注商量成 1 份,那 58.4% 的人-人 Dice 就变成了"一段已经被消灭的历史",MR-ECE 也失去了它的经验参考。分歧之所以能当信号,前提是它没有被事后抹平。
这也解释了为什么排除的 16 例是"至少一位阅片者找不到肿瘤"——注意措辞是"至少一位",而不是"多数人找不到"。组织方的标准已经尽量宽松:只要还有一位专家能划出肿瘤,这例就保留。真正被剔除的是"连病灶位置都无法取得任何共识"的极端情形。
8.11 与库内"不确定性"条目的呼应
库内已有若干条目的核心也围绕不确定性或多标注者:
- CheXmask-U(rid 603):胸片地标的不确定性分割,形态上是"单标注 + 专家修正",不确定性来自标注噪声;
- PANDA-PLUS:不是多标注,而是重标注——用更高资历的专家覆盖原标注,方向是"提高标签质量";
- PANORAMA(rid 945):单标注 + reader study,其"多阅片者"体现在评测阶段(68 名医生)而非标注阶段。
CURVAS-PDACVI 与这三者的区别在于:
| 条目 | 多阅片者出现在 | 分歧的角色 |
|---|---|---|
| PANDA-PLUS | 标注流水线(三级复核) | 要被消除的噪声 |
| PANORAMA | 评测阶段(reader study) | 临床基线 |
| CheXmask-U | 标注质量(不确定性区域) | 要被标注出来的对象 |
| CURVAS-PDACVI | 标注阶段(5 份并列) | 被建模的信号 |
这一格差异,是它在这条"多阅片者"谱系上的坐标。
§9 生态、血缘与互链
9.1 上位:PANORAMA
CURVAS-PDACVI 的影像与 1 号标注均来自 PANORAMA。
- 条目:
panorama-2026(rid 945); - 血缘:PANORAMA 的 2238 例公开训练 CT 是 CURVAS 的候选池;
- 反向依赖:CURVAS 明令禁用 PANORAMA Batch 1-3,说明两者数据高度重叠;
- 互链建议:在 panorama-2026 条目里加一句"其影像在 CURVAS-PDACVI 中被 5 位专家重标注,用于血管侵犯基准"。
9.2 同病种:CPTAC-PDA
- 条目:
cptac-pda(rid 1135); - 关系:同为胰腺导管腺癌,但 CPTAC-PDA 是多组学 + 病理影像,CURVAS 是放射影像 + 多标注;
- 互补点:CPTAC 提供分子分型,CURVAS 提供影像几何判断,理论上可做"影像组学 ↔ 分子"的桥接,但目前没有联合数据集。
9.3 同解剖:胰腺与腹部 CT 分割
| 条目 | rid | 关系 |
|---|---|---|
| NIH Pancreas-CT | 367 | 胰腺分割经典基准,PANORAMA 训练集的来源之一 |
| AbdomenCT-1K | 402 | 千例腹部 CT 多器官分割,可用于预训练 |
| AMOS | 76 | 15 器官腹部 CT/MRI,多中心 |
| BTCV | 377 | 13 器官腹部 CT 分割 |
| LiTS | 81 | 肝与肝肿瘤分割,同类"肿瘤-血管界面"问题 |
| CT-ORG | 796 | 多器官 CT 分割 |
| TCIA | 547 | 开放癌症影像总库,PDAC 影像的另一个来源 |
互链价值:这些条目可作为 CURVAS 40 例之外的预训练 / 外部验证数据,但要注意 §6.4 的禁用条款只针对 PANORAMA 批次,其他公开集不在此列。
9.4 同范式:挑战赛与多阅片者
| 条目 | rid | 可借鉴的点 |
|---|---|---|
| CheXmask-U | 603 | 胸片地标不确定性分割,"不确定性区域"的标注思路 |
| BRATS | 24 | 多模态 MRI 分割挑战赛的元老,评测框架演进史 |
| BRATS 2026 | 931 | 该系列最新届,可对比排行榜设计 |
| caries-miccai | 944 | MICCAI STS 挑战赛条目写法 |
9.5 方法学外部坐标
- STAPLE:Warfield, Zou, Wells, IEEE TMI 2004,多标注者共识的 EM 算法;
- Ordinal STAPLE:把标注者的"同意程度"作为序数变量建模,CURVAS 基线即基于此;
- nnU-Net:Isensee 等,Nature Methods 2021,六队全部基于此;
- MR-ECE / CRPS / Wasserstein 距离:分别来自校准评估、概率预测评分、最优传输三个成熟领域。
9.6 建议互链点(供主会话 wiring 使用)
| 目标 slug | rid | 建议锚文本 |
|---|---|---|
| panorama-2026 | 945 | PANORAMA:上游公开 CT 库 |
| cptac-pda | 1135 | CPTAC-PDA:同病种多组学队列 |
| nih-pancreas-ct | 367 | NIH Pancreas-CT:胰腺分割经典基准 |
| abdomenct-1k | 402 | AbdomenCT-1K:腹部 CT 预训练集 |
| amos | 76 | AMOS:腹部多器官分割 |
| btcv | 377 | BTCV:腹部 13 器官基准 |
| chexmask-u | 603 | CheXmask-U:不确定性分割范式 |
| lits | 81 | LiTS:肿瘤-血管界面问题的另一实例 |
| brats | 24 | BraTS:分割挑战赛元老 |
| tcia | 547 | TCIA:开放癌症影像总库 |
§10 避坑清单与常见误区
以下八条,按"踩坑后损失的大小"排序,前三条会直接导致实验结论无效。
坑点 1:三套总例数口径,互不自洽
- 挑战赛页与 Zenodo v3:125 例初筛,切分 40 / 5 / 85(合计 130);
- 论文:109 例可用,切分 40 / 5 / 64(合计 109);
- 单纯加法:40 + 5 + 85 = 130 ≠ 125。
原因:论文在"至少一位阅片者找不到可分割肿瘤"时剔除 16 例;挑战赛页与 Zenodo 未同步更新这一剔除。
应对:引用训练集规模时用 40(三处一致);引用总量时说"125 例初筛、论文最终 109 例",并注明 125/130 的口径来源。不要写"125 例数据集",因为那可用的只有 109。
坑点 2:早期版本没有 STAPLE,且方向不一致
- v1/v2 缺少
annotation_staple.nii.gz,DSC 无法按官方定义计算; - v3 之前的扫描方向不统一,3D 网络会学到"方向"这个假特征。
应对:只用 v3(records/15720085),校验 MD5 6029253f6687180c95e58a0288e90df4。若拿到早期版本,必须自己做方向校正并重新生成 STAPLE,否则结果无法与论文对比。
坑点 3:PANORAMA Batch 1-3 禁用条款
- 见 §6.4;Batch 1(13715870)、Batch 2(13742336)、Batch 3(11034011)禁止训练,Batch 4(10999754)可用。
后果:用 Batch 1-3 预训练等于在测试同源数据上训练,Dice 会被虚高若干个百分点,且无法察觉。
应对:预训练只用 Batch 4 或其他公开腹部 CT(AMOS、AbdomenCT-1K、BTCV),并在方法章节显式声明用了哪些外部数据。
坑点 4:把 DSC 当成"准确率"引用
58.4% 的人-人 Dice 意味着 DSC 的理论上限不是 100%。一个 DSC 71% 的模型(BreizhSeg)实际上已经高于任意一位专家与其余四人的平均一致性(55-60%)。
应对:引用 DSC 时同时给出人-人基线;不要把"71% > 58.4%" 解读为"超过人类",因为这两个数字的参考对象不同(模型对 STAPLE vs 专家对专家平均)。
坑点 5:把血管 W₁ 的名次当成定论
论文自己的 Wilcoxon 检验显示:多数血管两两比较未达显著。
应对:描述时用"TwinTrack 在血管指标上更靠前",不要用"TwinTrack 显著优于某某"。若要做严格比较,需要更大测试集或多次 bootstrap。
坑点 6:两个标签编号系统混用
annotation_X:1 = 肿瘤,2 = 胰腺;annotation_vascular:1 = 门静脉,2 = SMV,3 = 主动脉,4 = 腹腔干,5 = SMA。
后果:把血管掩码当肿瘤掩码读,会把整个门静脉算成肿瘤,Dice 直接崩到个位数。
应对:加载时按文件名分派,写断言检查唯一值集合。
坑点 7:以为测试集"以后会公开"
Zenodo v3 原文:“Both validation and testing CT scans cohorts will not be published until the end of the challenge”——可以读成"挑战赛结束后公开",但论文只明确说了训练集与代码公开。
现状:截至本条目抓取时点(2026-10-17),测试集未公开,官方也未公布后续发布计划。
应对:不要把论文的数字当作"可在本地复现的基准"。若需可比基线,自己在 40 例训练集上切分做留出集,并注明"非官方测试集"。
坑点 8:许可的 ShareAlike 与商用边界
- CC BY-NC-SA 4.0:禁商用 + 衍生须同协议;
- 只覆盖已发布的训练集,测试集无许可表述。
后果:把清洗后的版本以 CC BY 4.0 发布,属于违反 ShareAlike;把模型商业部署,属于违反 NonCommercial(注意:许可限制的是数据,模型是否受传染取决于训练是否构成"衍生作品",这在法律上有争议,保守做法是按受传染处理)。
应对:衍生数据一律用 CC BY-NC-SA 4.0;商用前咨询法务。
10.x 补充:还有三条次要坑
- 坑点 9:
annotation_staple是二值共识,不要当作概率图使用; - 坑点 10:测试提交有时间与内存限制,论文提到"参与者遭遇时间与内存限制导致测试阶段延期"——说明评测容器有硬性资源上限,本地上跑通不代表平台能跑通;
- 坑点 11:挑战赛页的 “MICCAI 2024” 与论文的 “MICCAI 2025” 冲突,引用年份取 2025(论文口径)。
§11 版本演进与复现路线
11.1 三个版本的差异
| 版本 | 大致时点 | 关键变化 | 能否复现论文 |
|---|---|---|---|
| v1 | 2025-05 | 首版训练集,无 STAPLE,方向未统一 | 否 |
| v2 | 2025 年中 | 补充部分病例与元数据(细节未在记录页单列) | 否 |
| v3 | 2025-06 | 加 STAPLE、修方向、统一 head-first | 是(唯一可用版本) |
记录页只对 v3 的变更做了明确说明,v1 到 v2 的差异未公开。实践中不必追溯,直接用 v3 即可。
11.2 从零复现的六步路线
第 1 步:获取数据
# 下载 v3 训练集(5.5 GB)
wget https://zenodo.org/records/15720085/files/training_set.zip
md5sum training_set.zip # 应为 6029253f6687180c95e58a0288e90df4
unzip training_set.zip -d curvas_data
第 2 步:结构校验
import nibabel as nib, glob, numpy as np, os
roots = sorted(glob.glob("curvas_data/CURVASPDAC_*"))
assert len(roots) == 40, f"期望 40 例,实得 {len(roots)}"
for r in roots:
files = sorted(os.listdir(r))
assert len(files) == 8, (r, files)
vas = nib.load(os.path.join(r, "annotation_vascular.nii.gz")).get_fdata()
assert set(np.unique(vas).astype(int)) <= {0,1,2,3,4,5}
第 3 步:自建留出集
由于官方验证/测试不公开,必须自己切分。建议:
- 按肿瘤体积累积分布做分层切分(而不是随机),避免留出集全是小病灶或全是大病灶;
- 40 例切 8 例留出、32 例训练,或做 5 折交叉验证(每折 8 例);
- 每一折都记录人-人 Dice 作为"上限参考"。
第 4 步:选择训练信号
三条路线,对应论文里的三派:
| 路线 | 训练标签 | 对应队伍 | 适合人群 |
|---|---|---|---|
| 共识路线 | 只用 STAPLE | ROISeg / OrdSTAPLE | 想快速拿到合理基线 |
| 多模型路线 | 5 份各训一个,推理时融合 | CorpuSeg | 算力充足、想表达分歧 |
| 概率监督路线 | 逐体素投票率 ā 作为软标签 |
接近 OrdSTAPLE 思路 | 想直接优化 MR-ECE |
第 5 步:评测
用官方 GitHub 代码(CURVAS-PDACVI_2025)计算 9 个指标。注意:
- DSC 的参考是 STAPLE,不是你自建的留出集标注;
- MR-ECE 需要 5 份标注都在,留出集必须保留全部 5 份;
- W₁ 需要血管掩码,且必须跑退化规则检查。
第 6 步:报告
至少报四行:DSC、Thr-DSC、MR-ECE、五条血管 W₁。若只报 DSC,等于放弃了这套基准 78%(7/9)的排名信息。
11.3 一个最小可用的基线
如果只是想确认流程跑通,不必训练深度网络,可以用一个"先验基线":
预测概率 = 5 份标注的逐体素均值 ā
这个"完美平均"的基线在定义上会让 Thr-DSC 很高、MR-ECE 很低(因为它就是校准的定义对象),但它在留出集上不可用(留出集没有 5 份标注给模型看)。它的价值是:
- 验证评测代码是否正确(应该得到近乎完美的 MR-ECE);
- 作为"理论上限"的参照,避免把 0.02 的 MR-ECE 误当成"很好"。
11.4 复现时的期望值管理
| 你可能期望 | 实际会发生 |
|---|---|
| 训练集 40 例能训出好模型 | 能训出"能跑"的模型,Dice 大致 40-60%,远低于论文的 55-71% |
| 5 折交叉验证能给稳定排名 | 方差很大,方法间差异常被淹没 |
| 本地验证高分 = 平台高分 | 不成立,测试集与训练集分布不同(论文称做了分层,但仍有偏移) |
| 论文数字可精确复现 | 不能,测试集不可访问 |
结论:这套数据的正确用法是做方法学的压力测试(“我的方法在低共识区会不会崩”),而不是刷 SOTA。
附录 A:DAIMS 数据资产成熟度评分
DAIMS(Data Asset Maturity Scoring)按六个维度对数据资产打分,每项 0-5 分。
| 维度 | 评分 | 理由 |
|---|---|---|
| 可发现性(Discoverability) | 5 | arXiv + Zenodo + Grand Challenge + GitHub 四路可达,检索即得;论文关键词齐全 |
| 可访问性(Accessibility) | 3 | 训练集直接下载无障碍;但验证/测试不公开,评测闭环无法在本地完成,扣 2 分 |
| 可用性(Usability) | 4 | 文件结构规范、命名清晰、有 STAPLE 与评测代码;扣分项为方向历史遗留(v3 才修)、无逐例临床元数据、标签编号双系统易混 |
| 可靠性(Reliability) | 3 | 5 位委员会认证放射科医生盲标,质量可信;但无病理 VI 金标准、无边界协议、总例数三口径冲突,扣 2 分 |
| 互操作性(Interoperability) | 4 | 标准 NIfTI,可直接接入 nnU-Net / MONAI / SimpleITK 生态;但病例 ID 与 PANORAMA 不可映射,跨库关联困难 |
| 治理与合规(Governance) | 3 | CC BY-NC-SA 4.0 明确,伦理说明清楚;但测试集许可空洞、商用边界需法务判断、无数据使用协议(DUA)签署流程 |
总分 22 / 30,属"良好但不宜直接生产使用"档。
一句话结论:作为评价基准它设计精巧、可立即使用;作为训练数据源它规模太小、许可受限,只适合微调与评测。
附录 B:证据链自证
本条目所有事实的落源:
| 事实 | 来源 | 类型 |
|---|---|---|
| 论文标题、作者、日期、DOI | arxiv.org/abs/2604.27582 |
一手 |
| 125 例初筛、40/5/85 切分、文件结构、血管标签、禁用批次 | zenodo.org/records/15720085(v3) |
一手 |
| 5.5 GB、MD5、CC BY-NC-SA 4.0 | 同上 | 一手 |
| 109 例最终、16 例排除、58.4%±25.7%、分阅片者一致性 | arxiv.org/html/2604.27582v1 |
一手 |
| W₁ 定义、阈值集、退化规则、MR-ECE 定义、CRPS 定义 | 同上 | 一手 |
| Table 3 / Table 4 数值 | 同上 | 一手 |
| 高复杂度队列排名 | 同上 | 一手 |
| 挑战赛关闭、评奖截止、提交仍开放、MICCAI 2024 文案 | curvas-pdacvi.grand-challenge.org |
一手 |
| 六队机构与方法 | arXiv HTML 全文 | 一手 |
| 资助编号 | arXiv HTML 全文致谢 | 一手 |
| 库内互链条目 rid | ai_ready_dataset 查询 |
一手 |
未能一手核实的项:
- 训练集实际病例数是否恰为 40(推论自 40/5/85 切分,未逐目录核对);
- 测试集后续是否公开(抓取时点无公告);
- 论文期刊归属(arXiv 页面无 journal-ref);
- Rater 2-5 与 Zenodo 署名医生的对应关系(论文未公开映射)。
附录 C:术语表
| 术语 | 英文 | 解释 |
|---|---|---|
| PDAC | Pancreatic Ductal Adenocarcinoma | 胰腺导管腺癌,占胰腺癌 85% 以上 |
| VI | Vascular Invasion | 血管侵犯,肿瘤长入邻近血管壁 |
| CURVAS | Calibration and Uncertainty for multiRater Volume Assessment in multistructure Segmentation | 挑战赛系列名 |
| STAPLE | Simultaneous Truth and Performance Level Estimation | 基于 EM 的多标注者共识算法(Warfield 2004) |
| DSC | Dice Similarity Coefficient | 重叠系数,2×交集/(预测+真值) |
| MR-ECE | Multi-Rater Expected Calibration Error | 多阅片者期望校准误差 |
| CRPS | Continuous Ranked Probability Score | 连续排序概率分数,评估概率预测 |
| W₁ | 1-Wasserstein distance | 一阶 Wasserstein 距离(推土机距离) |
| Contact angle | 接触角 | 肿瘤包绕血管一周所占的角度,临床评估可切除性的核心量 |
| Aleatoric / Epistemic | — | 偶然不确定性 / 认知不确定性 |
| nnU-Net | no-new-U-Net | 自适应 U-Net 自配置框架,六队全部基于此 |
| BNN | Bayesian Neural Network | 贝叶斯神经网络 |
| CECT | Contrast-Enhanced CT | 增强 CT |
| Rater | 阅片者 / 标注者 | 本条目 5 位专家 |
| Interface | 界面 | 本条目指肿瘤-血管接触界面 |
附录 D:一页速查卡
CURVAS-PDACVI
─────────────────────────────────────────────
是什么:PDAC 血管侵犯的多标注者基准(5 份/例)
谁做的:UPF + Sycai,CURVAS 第 2 届,MICCAI 2025
数据源:PANORAMA 公开 CT 中挑 125 例
能拿到:40 例(Zenodo v3,5.5 GB,CC BY-NC-SA 4.0)
拿不到:验证 5 + 测试 64/85
标注者:22/7/3/1 年 4 位新增 + PANORAMA 原标注
人-人Dice:58.4% ± 25.7%
指标:DSC / Thr-DSC / MR-ECE / CRPS / 5×W₁
冠军:BreizhSeg(DSC 71.04,但 VI 仅第 4-5)
反直觉:高分歧病例上 OrdSTAPLE 从第 6 变第 1
禁用:PANORAMA Batch 1/2/3
论文:arXiv:2604.27582(2026-04-30)
代码:github.com/SYCAI-Technologies/curvas-challenge
─────────────────────────────────────────────
一句话:它把「专家看法不一致」从噪声变成了评测对象。
本条目依据 arXiv:2604.27582(v1,2026-04-30)、Zenodo records/15720085(v3,2025-06)、Grand Challenge 挑战赛页与公开 GitHub 评测仓库编写。所有数字均标注来源口径;口径冲突处已在 §10 坑点 1 与 §7.11 逐条存照。条目抓取时点:2026-10-17。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- trials — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集 / 肿瘤学
- panorama-2026 — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集 / 肿瘤学
- ct-lesion-foundation-model — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集 / 肿瘤学
- auto-rtp — 共享标签:医学影像 / CT / 评测基准 / 挑战赛数据集 / 肿瘤学
- mela — 共享标签:医学影像 / CT / 评测基准 / 挑战赛数据集 / 肿瘤学
- toothfairy2 — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集
- curvas — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集
- toothfairy3 — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集
- stsr — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集
- segrap — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

