CURVAS-PDACVI — 五位专家各自标注的胰腺癌血管侵犯基准

MICCAI 2025 CURVAS 第二届:从 PANORAMA 挑 125 例胰腺导管腺癌增强 CT,40 例公开训练集含 5 位独立放射科医生逐例标注,人-人 Dice 仅 58.4%±25.7%;评价框架以 MR-ECE、CRPS 与逐血管 Wasserstein 距离取代单一 ground truth 打分。

来源 PANORAMA 挑战赛公开的荷兰多中心门静脉期上腹部增强 CT(Zenodo records/11034178)中精选 125 例;每例由 5 位独立放射科医生(PANORAMA 原标注 1 份 + 新增 4 份,来自德国 Erlangen 大学医院、西班牙 Sant Pau 医院、西班牙 Mataró 医院)各自勾画 PDAC 肿瘤与胰腺,另配 1 份 STAPLE 共识与 1 份 5 血管掩码(门静脉 / SMV / 主动脉 / 腹腔干 / SMA);NIfTI 格式,训练集压缩包 5.5 GB发布时间: 2026-10-17最后更新: 2026-10-20 阅读 22
CURVAS-PDACVI — 五位专家各自标注的胰腺癌血管侵犯基准

信息速览

数据集名称CURVAS-PDACVI — 五位专家各自标注的胰腺癌血管侵犯基准
数据类型人工标注,影像数据,原始数据
规模125 例 PDAC 增强 CT 初筛(PANORAMA 子集);论文最终可用 109 例,公开训练 40 / 验证 5 / 测试 64(Zenodo v3 与挑战赛页另一口径写测试 85,详见 §1
接入方式PANORAMA 挑战赛公开的荷兰多中心门静脉期上腹部增强 CT(Zenodo records/11034178)中精选 125 例;每例由 5 位独立放射科医生(PANORAMA 原标注 1 份 + 新增 4 份,来自德国 Erlangen 大学医院、西班牙 Sant Pau 医院、西班牙 Mataró 医院)各自勾画 PDAC 肿瘤与胰腺,另配 1 份 STAPLE 共识与 1 份 5 血管掩码(门静脉 / SMV / 主动脉 / 腹腔干 / SMA);NIfTI 格式,训练集压缩包 5.5 GB
AI 就绪度

INFOBOX — CURVAS-PDACVI 一屏速览

维度 内容
本质 首个逐例 5 位专家独立标注、且以标注分歧为一等评价对象的 PDAC 血管侵犯(VI)开放基准
归属 CURVAS 挑战赛第 2 届(第 1 届为肾/肝/胰腺三器官不确定性分割),MICCAI 2025 韩国大田收官
主办 CURVAS consortium:Universitat Pompeu Fabra + Sycai Technologies SL 牵头,德/法/中西多机构参与
数据源 从 PANORAMA 公开 CT 库精选 125 例门静脉期上腹部增强 CT
最终规模 论文口径 109 例:训练 40 / 验证 5 / 测试 64(Zenodo 侧另一口径写测试 85)
标注 每例 5 份独立肿瘤掩码(PANORAMA 原标注 1 + 新增 4)+ STAPLE 共识 + 5 血管掩码
标注者 22 年 / 7 年 / 3 年 / 1 年(初级住院医师)四位新增放射科医生,互不通气、不看原标注
核心数字 人-人 Dice 58.4% ± 25.7%;最低一致者正是 1 年资住院医师(55.33%)
任务 3D 肿瘤概率分割 + 逐血管接触角分布 + 概率校准,9 个指标各排名再平均
参评 62 名注册、6 队进入最终评测,全部 nnU-Net 变体
反直觉结论 DSC 冠军 BreizhSeg(71.04%)在血管侵犯上仅排第 4-5;高分歧病例上组织方基线 OrdSTAPLE 反超至第一
许可 训练集 CC BY-NC-SA 4.0;验证/测试不公开;评测代码 GitHub 公开
论文 arXiv:2604.27582 [cs.CV],2026-04-30 预印本,25 位作者
获取 Zenodo records/15720085(v3,5.5 GB)+ GitHub 评测代码
条目抓取时点 2026-10-17

绝大多数医学图像分割数据集的评价方式,是把模型输出和唯一一份参考答案比 Dice。CURVAS-PDACVI 的出发点恰恰是:在胰腺癌和血管的交界处,这份"唯一答案"根本不存在。

五位放射科医生看同一张 CT,对同一个肿瘤边界的判断平均只有 58.4% 的重叠。这不是标注质量问题,而是这个任务本身的不可约不确定性(aleatoric uncertainty)——肿瘤的浸润性边界在影像上就是模糊的,血管壁受侵与否在接触角 90° 到 180° 之间就是灰区。

本文围绕这条主线展开:CURVAS-PDACVI 如何把"分歧"从要被消除的噪声,变成要被预测的信号;它的评价框架如何因此彻底偏离"单一 ground truth + Dice"的常规范式;以及在 40 例公开数据上,六支队伍实际表现出了什么。

本文读法三则:

  1. 只想把数据拿到手:直接跳 §6 获取与许可,动手前先过一遍 §10 的八条坑点,尤其是「禁用批次」与「三套总例数口径」;
  2. 关心评价范式、做不确定性建模:精读 §5 与 §7,那里是本条目最有价值的部分——九指标框架、分布型血管侵犯真值、以及为什么 Dice 冠军会在关键指标上翻车;
  3. 做临床转化或合规尽调:先看 §4 数据边界与 §10 避坑清单,再看附录 B 的证据链自证。

§0 导读

0.1 一句话定位

CURVAS-PDACVI(Calibration and Uncertainty for multiRater Volume Assessment in multistructure Segmentation — Pancreatic Ductal AdenoCarcinoma Vascular Invasion,校准与不确定性驱动的多阅片者多结构分割体积评估——胰腺导管腺癌血管侵犯)是 CURVAS 挑战赛的第二届任务及其配套数据集。

它的定位可以用三句话说清:

  • 它不是一个新的原始影像采集,而是对 PANORAMA 公开 CT 库的多标注者重标注;
  • 它不是"多要几份标注来提高标签质量",而是把五份标注同时奉为真值;
  • 它不是又一个 Dice 排行榜,而是把校准误差、体积分布距离、逐血管接触角分布距离全部纳入排名。

0.2 关键数字一屏

关键数字 数值 来源口径
PANORAMA 中初筛例数 125 例 Zenodo v3 / 挑战赛页
论文最终可用例数 109 例 arXiv 论文
公开训练 / 验证 / 测试 40 / 5 / 64 arXiv 论文
另一套切分口径 40 / 5 / 85 Zenodo v3 / 挑战赛页
排除例数 16 例(至少一位阅片者找不到可分割肿瘤) arXiv 论文
每例独立标注者 5 位 全部来源一致
人-人平均 Dice 58.4% ± 25.7% arXiv 论文
阅片者间最低一致性 Rater 5(1 年资)55.33% arXiv 论文
血管条数 5 条(Porta / SMV / Aorta / Celiac / SMA) 全部来源一致
评测指标轴 9 个(2 重叠 + 1 校准 + 1 体积 + 5 血管) arXiv 论文
注册参赛人数 62 人 arXiv 论文
最终评测队伍 6 支 arXiv 论文
训练集压缩包 5.5 GB Zenodo v3
许可 CC BY-NC-SA 4.0 Zenodo v3 / 论文

0.3 与 PANORAMA 的关系:一句话血缘

若把 PANORAMA 看作"把 PDAC 检测做成了一场带公开训练集的全球竞赛",那么 CURVAS-PDACVI 就是"从这场竞赛的公开影像池里捞出 125 例,再请四位新专家各自重新看一遍,并把’他们看不一样’这件事本身做成了评测对象"。

  • 影像本体:来自 PANORAMA(Zenodo 原始记录 11034178);
  • 肿瘤标注 1 号:沿用 PANORAMA 原标注;
  • 肿瘤标注 2-5 号:本轮新增;
  • 血管标注:由另一位临床医生在 PANORAMA 血管掩码基础上精修为 5 条独立结构。

0.4 谁应该读这一条

  • 做腹部 3D 分割、但一直被"标签噪声"困扰的工程团队;
  • 研究多标注者学习(multi-rater learning)、概率分割、共形/贝叶斯不确定性的人;
  • 需要向临床方解释"AI 说 120° 接触角到底意味着什么"的转化研究者;
  • 想复用这套"分布对分布"评估代码做自己数据集基准的人。

§1 名称与身份

1.1 三层名字,别混用

这个数据集在不同场合有三个名字,混用最容易出错:

层级 正式写法 出现场合 备注
数据集 CURVAS-PDACVI dataset Zenodo 记录标题 版本 v3,2025 年 6 月
挑战赛 CURVAS 2nd Edition — Pancreatic Adenocarcinoma Vascular Invasion (PDACVI) Grand Challenge 挑战赛主页 挑战赛名写在 CURVAS 系列之下
论文 the PDACVI Benchmark arXiv:2604.27582 标题只留 PDACVI,CURVAS 出现在正文里
  • CURVAS 是系列名,全称 “Calibration and Uncertainty for multiRater Volume Assessment in multistructure Segmentation”(校准与不确定性驱动的多阅片者多结构分割体积评估);
  • PDACVI 是本届任务后缀,展开为 “Pancreatic Ductal AdenoCarcinoma Vascular Invasion”;
  • 组合起来才是完整名:CURVAS-PDACVI。

需要注意,缩写在两处写法不完全一致:Zenodo 用 “multiRater Volume Assessment”,部分二手转述写成 “multi-rater volume assessment”;语义相同,但引用时应以自己的落源写法为准。

1.2 身份界定:它属于哪一类数据集

按数据血缘分类,它属于二次标注型数据集(re-annotation dataset),而非原始采集型:

  • 影像不新采,借自 PANORAMA;
  • 新增价值全部在标注层:4 份新增独立标注 + 1 份血管精修 + 1 份 STAPLE 共识;
  • 因此它的可复用价值不在"更多病例",而在"更多观点"。

这与库内其他条目的定位区别明显:

  • 与 PANORAMA(rid 945):血缘上是上游,任务上是不同层级——PANORAMA 问"这例是不是癌",CURVAS-PDACVI 问"这块癌有没有吃到血管";
  • 与 CPTAC-PDA(rid 1135):同为 PDAC,但后者是多组学与病理队列,本条是影像 + 标注分歧;
  • 与 NIH Pancreas-CT(rid 367):同为胰腺,但后者是健康/瘤体胰腺分割的经典基准,单标注者。

1.3 届次血脉:CURVAS 第一届

CURVAS 第一届(MICCAI 2024)的任务是分割肾脏、肝脏、胰腺三个腹部器官,并以"器官体积"作为临床关注量,考察不确定性建模。

第二届把任务难点大幅抬升:

维度 CURVAS 第 1 届 CURVAS 第 2 届(PDACVI)
目标结构 肾、肝、胰腺三个器官 PDAC 肿瘤 + 胰腺 + 5 条血管
边界确定性 器官边界相对清晰 肿瘤浸润边界高度模糊
临床落点 器官体积 可切除性相关的血管侵犯
多标注者 有 5 位,且分歧本身成为指标

挑战赛主页对此的原话大意是:上一届做的是三个器官的体积,本届"再进一步",去分割胰腺的病理结构,临床目标是理解血管受累——这是肿瘤可切除性的关键度量。

1.4 主办与资助

  • 学术牵头:Universitat Pompeu Fabra(巴塞罗那,González-Ballester 组);
  • 产业合作:Sycai Technologies SL(巴塞罗那,医疗 AI 公司);
  • 资助方:加泰罗尼亚政府 “Doctorats Industrials” 计划(工业博士项目 AGAUR 2021-063)与西班牙公私合作项目 CPP2021-008364(MCIN/AEI,NextGenerationEU/PRTR 共同出资);
  • 论文致谢另列德国 NUM 2.0、Eurostars-3 DARE-KPL、法国 ANR(VATSop、IdEx Unistra、STRAT’US)、中国国家重点研发计划 2023YFC2411502 与 NSFC 82202954 等。

1.5 论文署名与作者结构

  • 25 位作者,第一作者 M. Riera-Marín(Meritxell Riera-Marín,Zenodo 记录中的 Project leader,ORCID 0000-0001-6221-5443);
  • 末位 A. Galdran(Adrián Galdran),常作通讯角色;
  • 作者横跨西班牙(UPF、Sycai、Sant Pau、Mataró)、法国(Strasbourg、Rennes、LTSI)、德国(DKFZ、Erlangen)、中国(SIAT、中科院)。

这种"组织方 + 参赛队 + 标注医院"混合署名的结构,在挑战赛综述论文里很常见,也意味着论文内的性能描述带有组织方视角:组织方基线 OrdSTAPLE 也在参评之列,只是不计奖项。

1.6 查重与唯一性

  • 库内检索 url_name ILIKE '%cuvas%' / '%pdac%' / '%panorama%' / '%pancrea%',命中 panorama-2026(rid 945)、nih-pancreas-ct(rid 367),无 CURVAS 同名或别名条目;
  • writing/ 目录下无同名目录;
  • 需特别提示:PDACVI 与 CURVAS 是同一实体的两个名字,若未来以 “pdacvi” 再次入池,属别名撞库,应在池 notes 中标注。

§2 论文与时间线

2.1 论文基本信息

项目 内容
标题 Assessing Pancreatic Ductal Adenocarcinoma Vascular Invasion: the PDACVI Benchmark
arXiv 2604.27582 [cs.CV]
版本 v1,2026-04-30 08:37:37 UTC 提交
篇幅体积 预印本源文件 14,499 KB(含图)
DOI 10.48550/arXiv.2604.27582
学科 Computer Vision and Pattern Recognition(cs.CV)
期刊版本 未公开(arXiv 页面无 journal-ref / comments 字段)
利益冲突 作者声明无已知财务或个人利益冲突

一个必须说清的事实:截至本条目抓取时点(2026-10-17),这篇论文只有 arXiv 预印本,没有期刊或会议正式录用信息。CURVAS 主页提到"上一年论文"发表在 Elsevier 平台(authors.elsevier.com 链接),说明第一届有期刊归属;本届是否已定刊,页面未给。

2.2 时间线(逐年逐月)

时间 事件 来源
2025-05 训练集在 Zenodo 发布(首版) 挑战赛主页 / Zenodo
2025-06 训练集 v3 发布:新增 STAPLE 共识、修正方向不一致、统一 head-first Zenodo 记录页
2025-06 公开 sanity-check 阶段 arXiv 论文
2025-06 至 07 公开验证阶段(live 评测) arXiv 论文
2025-07 至 08 封闭测试阶段(时间/内存超限导致延期) arXiv 论文 / 挑战赛主页公告
2025-09-03 23:59 CEST 评奖截止:此前提交方有资格获奖 挑战赛主页
2025-09-27 MICCAI 2025(韩国大田会议中心)公布结果 arXiv 论文
2026-04-30 arXiv 预印本上线 arXiv

2.3 时间线上的一处矛盾

挑战赛主页 Winners 段落写"获奖者将受邀在 MICCAI 2024 的挑战赛活动上展示方法与结果",同时又写"挑战赛现已正式关闭"。结合论文明确写"2025 年 9 月 27 日 MICCAI 2025 大田",可以判断主页那句 MICCAI 2024 是从第一届页面继承下来的旧文案未更新。

成稿取论文口径:MICCAI 2025。

2.4 延期与截止

挑战赛主页留有两条公告:

  1. 测试阶段因参与者遭遇时间与内存限制而延长;
  2. 挑战赛正式关闭,货币奖金只发给 2025-09-03 23:59 CEST 前提交的方法。

但主页同时说明:提交阶段仍然开放,允许后续队伍继续投稿;迟交不计奖,但可被纳入挑战赛结果论文。

这句话对复用者很重要:如果今天还想往这个 benchmark 上提交,技术上通道没关,但你不会进入论文的排名表。

2.5 论文的研究主张(按原文顺序)

论文的核心主张可以拆成四层:

  1. 背景:手术切除是 PDAC 唯一可能治愈的手段,能否切除取决于血管侵犯(VI)评估是否准确;
  2. 空白:计算化的 VI 评估研究严重不足,两大障碍是缺公开数据集、以及肿瘤-血管交界的诊断模糊导致专家间变异巨大;
  3. 方法:构建 CURVAS-PDACVI 数据集与挑战赛,每例 5 份独立专家标注,并提出超越空间重叠的多指标评价框架(含概率校准与 VI 评估);
  4. 发现:评估六个 SOTA 方法后,全局体积重叠强不代表肿瘤-血管交界处表现可靠;二值分割优化的方法在平均重叠上不落下风,但在专家共识低的高复杂度病例上会"体积塌缩"或"边界过度延伸";建模标注者分歧的方法概率图校准更好、在模糊病例上更稳健。

第 4 点是整篇论文的命题句,也是本条目 §7 要展开的重点。

2.6 预印本的状态提醒

预印本意味着:

  • 数字可能随同行评审修订;
  • 作者列表可能变动;
  • 但数据集与代码已在 Zenodo / GitHub 落地,数据层面的事实相对稳定,不随论文版本漂移。

写条目时的口径选择是:凡数据事实,以 Zenodo v3 与挑战赛页为准;凡评测数字,以 arXiv v1 为准并标注版本。


§3 机构与人物

3.1 组织架构

CURVAS-PDACVI 的组织结构分三层:

CURVAS consortium(学术联盟)
   ├── Universitat Pompeu Fabra —— 学术牵头、方法学与基线
   ├── Sycai Technologies SL —— 产业方、平台搭建、评测代码托管
   └── 参与联盟:Strasbourg / Rennes(LTSI) / DKFZ / SIAT / 中科院
标注医院(3 家)
   ├── Universitätsklinikum Erlangen(德国)
   ├── Hospital de Sant Pau(西班牙 巴塞罗那)
   └── Hospital de Mataró(西班牙)

3.2 标注者画像

5 位"独立标注者"里,实际是 1 位历史标注 + 4 位新标注:

编号 身份 经验 备注
Rater 1 PANORAMA 原标注 未公开 由 PANORAMA 组织方提供,非本轮新增
Rater 2 新增放射科医生 7 年
Rater 3 新增放射科医生 22 年 全组最资深
Rater 4 新增放射科医生 3 年
Rater 5 新增放射科医生 1 年 初级住院医师,一致性最低

论文与 Zenodo 都强调:新增的四位在标注时不看 PANORAMA 原标注,只被告知"这里存在 PDAC 病灶"。

这个设计细节是整条数据集可信度的地基。如果让新标注者参考原标注,五份标注就会向同一个方向收敛,分歧被人为抹平,“多标注者"就退化成了"一次标注 + 四次确认”。

3.3 血管标注的特殊安排

血管掩码不是五位一起做的,而是由另一位临床医生单独负责:

  • 在 PANORAMA 的血管掩码基础上做精修;
  • 把原本混在一起的血管拆成 5 条独立结构;
  • 手工补齐部分血管段。

Zenodo 原文提到,这些血管标注"will be made public later in the challenge, so the participants can try out the evaluation code"——即血管掩码的开放时间晚于影像与肿瘤掩码,目的是让参赛者能本地跑通评测代码。

3.4 关键人物

  • Meritxell Riera-Marín:第一作者,Zenodo 记录 Project leader,工业博士(AGAUR 2021-063,与 Sycai 合作);
  • Miguel Ángel González Ballester:UPF 教授,Zenodo 记录 Supervisor,ICREA 研究教授,长期做医学影像配准与统计形状模型;
  • Adrián Galdran:末位作者,BCN-MedTech / UPF,做视网膜与腹部影像的深度学习方法;
  • Matthias Stefan May:Erlangen 放射科,Zenodo 记录 Annotator 角色之一,参与标注;
  • O. K. Sikha、Júlia Rodríguez-Comas:Zenodo 记录为 Researcher;
  • Sandra Bernaus Tomé:Zenodo 记录为 Data curator,负责数据整理。

需要注意:Zenodo 记录里的角色标签(Annotator / Researcher / Data curator)是元数据层面的分工,与论文中"Rater 2-5"的编号不一定一一对应。论文没有公开"哪一位 Rater 对应哪一位署名医生",这是一处不可确证的映射,本条目不作猜测。

3.5 六支参评队伍

队伍 所属机构 方法摘要
TwinTrack Université de Strasbourg(法国) 两阶段 nnU-Net 级联 + 深度集成(M=3)+ 事后等渗回归校准(PAVA),多阅片信息只用于事后校准
CorpuSeg 深圳先进技术研究院 SIAT(中国) 粗定位 + 5 个独立二阶段模型(每份标注各训一个),推理时体素平均融合
BreizhSeg Université de Rennes / CLCC Eugène Marquis / INSERM LTSI(法国) 预训练 ResidualEncoderUNet → 可适配贝叶斯神经网络(BNN),5 次随机前向近似后验预测分布
MIC DKFZ 德国癌症研究中心(DKFZ) 预训练 nnU-Net ResEnc-L 集成,在 5 份标注 + STAPLE 上微调,温度缩放校准
ROISeg 中国科学院 先把 5 份标注合成 STAPLE 共识再训练全分辨率 nnU-Net,无显式不确定性建模
OrdSTAPLE Universitat Pompeu Fabra / Sycai Medical(组织方基线) 序数建模:STAPLE 二值模型 + 序数一致性模型融合,不计奖项

六支队伍的方法可以按"如何处理多份标注"分成三派:

  1. 事后校准派(TwinTrack、MIC DKFZ):训练时用或不用多标注,但输出后统一做概率校准;
  2. 多模型融合派(CorpuSeg、BreizhSeg):多个模型或多次前向,用集成表达不确定性;
  3. 先共识再训练派(ROISeg、OrdSTAPLE):把 5 份标注压成一份再用。

第 7 节会看到,这三派的表现差异恰好构成了本篇论文最有说服力的证据。


§4 数据规模与构成

4.1 从 125 到 109:一次有代价的筛选

CURVAS-PDACVI 的纳入流程可以画成一棵漏斗:

PANORAMA 公开 CT 库
        │  人工筛选(只用人工勾画标签、只收有病理/细胞学确诊者、按大小/性别/年龄/设备分层)
        ▼
   125 例候选
        │  请 4 位放射科医生独立标注
        ▼
   125 例完成标注
        │  排除:至少一位阅片者找不到可分割的 PDAC 病灶(主要排除原因)
        ▼
   109 例进入论文基准
        │
        ├── 训练 40 例(公开)
        ├── 验证 5 例(不公开)
        └── 测试 64 例(不公开)

关键理解:排除的 16 例不是因为数据坏了,而是因为专家自己都找不到肿瘤。这类病例恰恰是"分歧最大"的一类,把它们剔出去,实际上是一种保守选择:它让基准可评(至少有 5 份可比掩码),但也承认了"专家连病灶都定位不一致"的极端情形不在评测范围内。

4.2 数据筛选的三条硬门槛

Zenodo v3 记录的原文条件,逐条抄录并解释:

条件 原文要点 影响
只用人工标签 排除 PANORAMA 中自动生成标注的病例 保证 5 份标注都是人手勾的
只收确证诊断 必须有病理 / 细胞学 / 组织病理结果,排除仅影像学诊断者 肿瘤"是不是癌"有金标准
代表性分层 按病灶大小、性别、年龄、设备做多样选择 降低队列偏斜

此外还有一条隐含条件:与 PANORAMA 之外的公开数据集不得重叠——避免与 MSD、DeepLesion 等复用数据撞车。

4.3 切分:公开的很少,隐藏的很多

子集 论文 Zenodo v3 / 挑战赛页 状态
训练 40 40 公开,含全部 5 份标注 + STAPLE + 血管
验证 5 5 挑战赛期间不公开
测试 64 85 挑战赛期间不公开
合计 109 130 口径冲突

训练集只有 40 例,这是这套基准最反常识的设计。挑战赛主页对此的解释是:

  • 有意只给少量数据,逼参赛者去用公开的外部多阅片者数据;
  • 让"手上没有大算力、没有私有数据"的团队也有机会参与;
  • 训练与评测用不同来源数据,能让方法对数据集间偏移更鲁棒。

论文的解释与之一致:评估的是"方法能否在数据稀缺且标注分歧大的条件下仍然稳健",而不是"谁能在 5000 例上刷更高的 Dice"。

对复用者的实际影响是:40 例意味着任何一例的异常都会带动 2.5 个百分点的 Dice 波动,本地交叉验证的方差会非常大,不适合做细粒度的方法排名,只适合做粗筛。

4.4 每个病例目录的文件结构

Zenodo 训练集解压后,每例一个文件夹,命名形如 CURVASPDAC_XXXX:

CURVASPDAC_0001/
├── image.nii.gz              # 增强 CT 体数据
├── annotation_1.nii.gz       # PANORAMA 原标注(PDAC 肿瘤)
├── annotation_2.nii.gz       # 新增专家 1
├── annotation_3.nii.gz       # 新增专家 2
├── annotation_4.nii.gz       # 新增专家 3
├── annotation_5.nii.gz       # 新增专家 4
├── annotation_staple.nii.gz  # 5 份标注的 STAPLE 共识(二值)
└── annotation_vascular.nii.gz# 5 条血管

标签编码:

  • 肿瘤掩码(annotation_X):1 = PDAC 肿瘤,2 = 胰腺(胰腺实质);
  • 血管掩码(annotation_vascular):1 = Porta(门静脉),2 = SMV(肠系膜上静脉),3 = Aorta(主动脉),4 = Celiac Trunk(腹腔干),5 = SMA(肠系膜上动脉)。

这里有个容易踩坑的细节:肿瘤掩码和血管掩码的标签值是两套独立编号,1 在一份文件里是肿瘤,在另一份里是门静脉。写加载脚本时若不按文件名区分,会把门静脉当成肿瘤。

4.5 病例 ID 的匿名化策略

病例 ID 形如 CURVASPDAC_XXXX,与 PANORAMA ID 没有直接对应关系。这是有意为之:

  • 防止参赛者把 CURVAS 训练例反查到 PANORAMA 中的原始病例;
  • 防止参赛者在 PANORAMA 的隐藏测试集里"认脸"。

这条匿名化也带来一个副作用:你无法用 PANORAMA 的公开元数据(如病理分级、TNM 分期)给 CURVAS 病例打标签,除非官方另发映射表(未公开)。

4.6 人口学与病变分布

Zenodo 只给出目标配额,没有给实际达成值:

变量 目标比例
年龄 <50 5%
年龄 50-59 15%
年龄 60-69 20%
年龄 70-79 30%
年龄 80-89 30%
性别 女 40-50% / 男 50-60%
肿瘤位置 头 60-70% / 体 15-25% / 尾 10-15%

注意:年龄 70 岁以上合计占 60%,这是一个明显偏向老年人群的构成,与 PDAC 的真实流行病学(发病高峰 60-80 岁)大致吻合,但意味着这套数据不适合直接迁移到年轻患者或遗传性胰腺癌家系。

4.7 影像规格

项目 内容
模态 上腹部轴位、门静脉期增强 CT(CECT)
格式 NIfTI(.nii.gz)
方向 v3 起统一 head-first
层厚 / 像素间距 未公开(继承 PANORAMA 原始采集参数)
对比剂方案 门静脉期(标准化采集协议细节未公开)
压缩包大小 训练集 5.5 GB

层厚未统一:PANORAMA 是多中心回顾性数据,层厚与重建核跨中心差异很大。CURVAS 只做了方向统一,没有做重采样。这意味着参赛者必须自己做重采样与各向异性处理,否则 3D 网络的感受野会在不同病例上对应不同的物理尺度。

4.8 数据规模在同类基准中的位置

基准 病例数 标注者数 单例标注份数 主任务
CURVAS-PDACVI 40 公开 / 109 总 5 5 PDAC 肿瘤 + 血管侵犯
PANORAMA 2238 公开 / 3440 总 1(+ 20 余年经验专家指导) 1 PDAC 检测
NIH Pancreas-CT 82 1-2 1 胰腺分割
AMOS 500(CT)/ 100(MRI) 多 1 15 器官分割
BTCV 50 1(多轮修订) 1 13 器官分割

CURVAS-PDACVI 的样本量在这些基准里是最小的一档,但单例标注密度是最高的。这个取舍正是它的方法论主张:宁可少而分歧,不要多而单一。

4.9 人-人一致性:全篇最硬的数字

论文报告的人-人平均 Dice:

  • 全体平均:58.4% ± 25.7%
  • 分阅片者(与其余四人及共识的平均一致性):
    • Rater 4(3 年):60.19%
    • Rater 3(22 年):59.86%
    • Rater 1(PANORAMA 原标注):59.02%
    • Rater 2(7 年):57.59%
    • Rater 5(1 年):55.33%(最低)

这组数字有三层意义:

  1. 58.4% 的绝对水平:在器官分割里,人-人 Dice 通常在 90% 以上;在肿瘤分割里,70-85% 是常见区间。58.4% 说明这个任务的边界在影像上高度不确定,不是标注者粗心;
  2. ±25.7% 的方差:标准差接近均值的一半,意味着有些病例几乎完全一致(Dice 接近 1),有些病例两份标注可能空间上完全不重叠(Dice 接近 0)。论文原文提到"specific cases exhibit spatially disjoint annotations",即确有空间上互不相交的标注对;
  3. 经验与一致性不是单调关系:7 年资的 Rater 2 反而低于 3 年资的 Rater 4。论文没有对这一点给因果解释,只说"agreement variance correlates with rater experience",即方差与经验相关,但方向不是简单的"越资深越准"。

4.10 为什么 1 年资住院医师是最低一致性者

图 2 的阅片者间一致性矩阵把 Rater 5(1 年资初级住院医师)标为主要离群者(primary outlier)。论文的解释是:在"与其余个体"和"与 STAPLE 共识"两类比较中,经验较少的标注者都是系统性离群。

这条发现对数据集设计的启示是:

  • 多标注者数据不应简单平均,否则经验不足者会系统性拉偏共识;
  • STAPLE 这类基于 EM 的共识算法会给与多数人不一致的标注者更低权重,但它无法区分"离群是因为错了"还是"离群是因为看到了别人没看到的东西";
  • 论文选择保留全部 5 份标注供模型学习,而不是丢弃 Rater 5 的标注——这是把"经验差异"也当作一种需要被建模的信号。

4.11 数据边界:它不包含什么

为避免过度解读,这里明确列出不在数据里的东西:

  • 无病理 VI 确诊:5 条血管每条是否有镜下受侵,没有随数据发布;
  • 无 NCCN 分级标签:没有"可切除 / 交界可切除 / 不可切除"的病例级标签;
  • 无治疗与随访:没有手术记录、R0/R1 切缘状态、生存数据;
  • 无临床元数据:除匿名 ID 外,无年龄、性别、分期的逐例字段(只有分层目标比例);
  • 无肝动脉:血管清单只有 5 条,肝总动脉 / 肝固有动脉不在其中;
  • 测试集不公开:挑战赛结束后是否放出,官方未确证。

这条边界决定了:CURVAS-PDACVI 只能用于评估"影像上的几何判断",无法直接用于训练"预测病理受侵"的模型,除非另接 PANORAMA 或其他队列的病理标签做弱监督。


§5 任务与标注定义

5.1 任务分解

参赛者需要输出一份概率肿瘤图(每个体素一个 0-1 的概率),评测框架在这个概率图上做四类计算:

             ┌──────────────────────────────────────────┐
             │       模型输出:3D 肿瘤概率图 ŷ           │
             └───────────────────┬──────────────────────┘
                                 │
        ┌────────────────┬───────┴────────┬──────────────────┐
        ▼                ▼                ▼                  ▼
   二值化到阈值      直接取概率       体积积分            与血管掩码求交
        │                │                │                  │
   ① DSC/Thr-DSC     ② MR-ECE         ③ CRPS            ④ 逐血管 W₁
   (重叠)          (校准)         (体积分布)        (接触角分布)

四类计算对应 9 个排名轴:DSC、Thr-DSC(2 个)+ MR-ECE(1 个)+ CRPS(1 个)+ 5 条血管的 Wasserstein 距离(5 个)= 9。

5.2 血管侵犯(VI):从临床概念到可计算量

临床上,血管侵犯的判读依据是肿瘤与血管的接触角(contact angle):肿瘤包绕血管一周的角度越大,受侵可能性越高。NCCN 等指南据此给出可切除性分级(常见阈值 90° / 180°)。

CURVAS-PDACVI 的做法是:不把角度阈值成分类标签,而是把角度本身当作随机变量。

论文的定义(逐项拆解):

  1. 对每条血管 s(共 5 条)和每个解剖平面 π ∈ {冠状 cor, 矢状 sag, 轴位 ax};
  2. 逐层切片计算肿瘤与血管的接触角;
  3. 取所有切片中的最大角度,得到标注者 k 对该血管的观测值 g_{k,s,π};
  4. 对预测也一样处理,但要在阈值集 𝒯 = {0.10, 0.24, 0.38, 0.52, 0.66, 0.80} 上分别二值化,得到一组预测角度 ĝ_{j,s,π};
  5. 把两边的角度集合各自加一个平滑常数后视作高斯核样本,在 z ∈ [0, 360] 的 1000 点网格上评估密度,得到两条分布;
  6. 用离散一维 Wasserstein 距离 W_{s,π} 度量两分布的差异。

5.3 为什么是"分布对分布"

这是本条目最需要讲透的设计。

如果按传统做法,真值是一个数(比如"最大接触角 150°“),预测也是一个数(比如"120°”),误差就是 30°。但这会丢掉两件事:

  • 不同专家的角度本身就不一样:5 位专家对同一血管可能给出 60°、90°、120°、150°、180° 五个值;
  • 预测在不同置信阈值下的角度也不一样:阈值 0.1 时预测"包绕 180°“,阈值 0.8 时可能只预测"包绕 60°”。

一旦把两者都看成分布,比较的就是"你的不确定性分布"和"专家的分歧分布"是否吻合。这正是这篇论文的立场:模型应该预测出一个与专家分歧结构相匹配的不确定性,而不是猜一个数字去碰运气。

5.4 接触角为什么在三个平面都要算

胰腺与上腹部血管的走行是三维的。门静脉和 SMV 沿身体长轴走行,冠状面与矢状面看得清;主动脉与腹腔干、SMA 在轴位上更易判读。

只在一个平面算角度会系统性低估或高估。 三个平面都算,再对每个血管汇总,能更全面地刻画"肿瘤包绕"的几何形态。

5.5 退化情形的处理规则

论文对三种边界情形给了明确规则:

情形 处理 含义
标注与预测都为空(均无接触) 距离 = 0 双方一致认为未受累
仅一侧为空,另一侧非空 距离 = \ 均值 − 0\
其他冲突 距离 = 360(罚值) 分布形态不可比,给最大惩罚

"罚 360"这条规则需要特别注意:角度范围是 0-360°,给 360 相当于最坏情况。如果模型在某一血管上输出极其混乱的分布,可能直接被罚满,从而主导该血管的排名。实现评测时要特别检查自己是否触发了这条兜底。

5.6 肿瘤标注协议

5 份肿瘤标注的协议细节,论文与 Zenodo 都只给了高层描述:

  • 标注对象:PDAC 肿瘤主体 + 胰腺(胰腺实质)两类;
  • 边界规则:未公开统一的边界协议(如是否包含胰管扩张区、是否包含肿瘤周围水肿);
  • 工具:未公开;
  • 复核:未公开(是否有多轮内部复核不确定)。

这是数据集的一处已知盲区:五位专家在不共享边界协议的情况下独立标注,人-人 Dice 58.4% 中有多少来自协议差异、多少来自真正的影像模糊,无法分离。

挑战赛主页对此的说法是:这套数据"创造了在多个维度上分析多阅片者标注影响的独特机会,例如不同标注协议或不同标注者经验"。换言之,协议差异本身也是研究对象,而不是被消除的干扰。

5.7 标注者的信息条件

一条常被忽略但极重要的设计细节:新增的 4 位放射科医生只被告知"存在 PDAC 病灶",不知道位置、大小、分期。

这意味着:

  • 他们必须先自己找到病灶,再勾边界;
  • 如果没找到,该例就会被排除(这正是 16 例被剔除的原因);
  • 他们的边界判断是纯影像判读,未受临床信息(如 CA19-9、既往影像)引导。

这与真实临床场景(有病史、有既往片)有差距,但换来的是标注的独立性。

5.8 STAPLE 共识的角色

annotation_staple.nii.gz 是 5 份标注通过 STAPLE(Simultaneous Truth and Performance Level Estimation,Warfield 等,2004)算法得到的二值共识。

STAPLE 的原理是 EM:交替估计"每个标注者的敏感度/特异度"与"每个体素的真实标签概率",直到收敛。

在这套基准里,STAPLE 承担双重角色:

  1. 作为 DSC 的参考:DSC 是二值预测对 STAPLE 二值化共识的重叠;
  2. 作为一条对照基线:ROISeg 直接把 STAPLE 当训练标签,OrdSTAPLE 在此基础上加序数建模。

但 STAPLE 的局限必须说清:它输出的是一个统计合成物,不是临床裁决。在专家分歧极大的病例上,STAPLE 的"共识"可能是五个都不像的中间态。论文对高复杂度病例的分析(§7)正好印证了这一点。

5.9 标注质量的已知证据

哪些证据支持这套标注是可信的?

证据 说明
4 位新增标注者均为委员会认证放射科医生 非学生、非众包
盲标 不看 PANORAMA 原标注,只知"有病灶"
5 份标注全量保留 未做后处理抹平分歧
一致性矩阵公开 图 2 逐对报告均值 ± 标准差
经验梯度可检 22/7/3/1 年四个梯度,能检验经验效应

哪些证据表明标注仍有局限?

局限 说明
无病理 VI 金标准 无法验证"谁的接触角判得更对"
无边界协议统一 协议差异混入分歧
Rater 1 经验未公开 无法把其纳入经验梯度分析
血管标注单人完成 无第二人复核记录
无标注时长/置信度记录 无法区分"快速勾画"与"仔细推敲"

§6 获取、格式与许可

6.1 三条获取路径

要拿什么 去哪里 状态
40 例公开训练集(影像 + 5 标注 + STAPLE + 血管) Zenodo records/15720085(v3) 开放下载,5.5 GB
正式版本 DOI doi.org/10.5281/zenodo.17552201 论文引用的"全部数据"DOI
本地跑评测代码 GitHub SYCAI-Technologies/curvas-challenge 下 CURVAS-PDACVI_2025 公开
验证 / 测试集 Grand Challenge 平台 不公开,只能提交

6.2 版本链

Zenodo records/15401568   ← 论文正文称"基准数据发布"
        │
        ▼
(中间版本,版本号与日期未在记录页单列)
        │
        ▼
Zenodo records/15720085  v3  "Published June 2025"
   · 新增 STAPLE 共识标注
   · 修正方向不一致
   · 全部统一 head-first
        │
        ▼
Zenodo doi 10.5281/zenodo.17552201  ← 论文引用的概念 DOI

三记录并存是个实际麻烦:15401568、15720085、17552201 在论文与网页上被交替引用。实践建议:

  • 引用用概念 DOI(17552201),能自动指向最新版;
  • 下载用带版本号的 15720085(v3),因为只有 v3 有 STAPLE 且方向统一;
  • 若拿到的是更早版本,必须自己补做方向校正,否则 axial 与 coronal 会错位。

6.3 为什么必须用 v3

v3 的两项变更直接决定能否训练:

  1. STAPLE 标注:没有它,DSC 指标无法按官方定义计算(DSC 的参考是 STAPLE 二值共识);
  2. 方向统一:早期版本里部分扫描的头脚方向不一致,3D 网络会把方向当作强特征,导致"方向翻转"成为隐式捷径(shortcut)。

这两点足以让 v1/v2 的实验结果无法与论文对比。

6.4 训练禁用条款:最容易踩的合规坑

Zenodo 明文规定 PANORAMA 的 Batch 1、Batch 2、Batch 3 不得用于训练,只有 Batch 4 允许。

PANORAMA 批次 Zenodo 记录 可否用于训练
Batch 1 records/13715870 禁止
Batch 2 records/13742336 禁止
Batch 3 records/11034011 禁止
Batch 4 records/10999754 允许

原因不难理解:CURVAS 的 40 例训练集就是从 PANORAMA 这些批次里挑出来的。如果参赛者把 Batch 1-3 全下载来预训练,等于在测试集的同源数据上训练,构成隐性泄漏。

这条规则对今天的使用者仍然有效:做本地基准时,如果拿 PANORAMA 全量预训练,再在这 40 例上评估,结果不可与论文对比。

6.5 许可:CC BY-NC-SA 4.0 的实际含义

权利 状态 说明
商用 禁止 NonCommercial
修改 / 二次分发 允许 须署名
衍生作品许可 必须相同(ShareAlike) 改了数据发布的版本也要 CC BY-NC-SA 4.0
署名 必须 需注明作者与来源
专利 / 商标 不授予 标准 CC 条款

ShareAlike 是这里最容易被忽略的一条:如果你基于这 40 例做了重标注、扩充或清洗并对外发布,新数据集也必须用 CC BY-NC-SA 4.0,不能改成更宽松的 CC BY。

6.6 对比:测试集的许可空洞

一个微妙之处是:CC BY-NC-SA 4.0 只覆盖已发布的训练集。验证 5 例与测试 64/85 例从未公开,其许可状态在官方材料中没有表述。

这意味着:

  • 不能假设"测试集将来放出时也是 CC BY-NC-SA 4.0";
  • 不能把平台上的排行榜结果当作"公开数据集上的可复现数字"来引用——它依赖一个不可访问的私有集。

6.7 伦理与隐私

Zenodo 记录的伦理说明很简短:

由于 CT 影像与对应信息已经公开,不会额外释放任何非公开的患者信息。

即:没有新的伦理审批,因为数据本体已经公开,本轮只增加标注。这在欧洲 GDPR 框架下属于"对已匿名化数据的再加工",不构成新的个人数据处理。

但要注意,这条论证依赖一个前提:PANORAMA 的公开版本已经是充分去标识化的。CURVAS 未做额外的去脸/去标识处理(上腹部 CT 一般不涉及面部),也未改变影像像素值。

6.8 下载与校验的实操清单

  1. 从 Zenodo 15720085 下载 training_set.zip,核对 MD5 6029253f6687180c95e58a0288e90df4;
  2. 解压后核对病例数:应为 40 个 CURVASPDAC_* 目录;
  3. 逐例核对文件数:应为 8 个 .nii.gz(image + annotation_1~5 + annotation_staple + annotation_vascular);
  4. 抽检方向:用 nibabel 读 affine,确认第三个轴方向一致(head-first);
  5. 抽检标签值:annotation_1 唯一值应为 {0,1,2},annotation_vascular 唯一值应为 {0,1,2,3,4,5};
  6. 抽检 STAPLE:应为二值 {0,1},且体积应落在 5 份标注体积的范围内(若明显超出,说明文件错配)。

6.9 评测代码的使用位置

论文明确:“we have made the evaluation code used in this manuscript publicly available in the Challenge’s GitHub repository”。

代码路径:github.com/SYCAI-Technologies/curvas-challenge/tree/main/CURVAS-PDACVI_2025。

由于测试集不公开,本地只能跑训练集(40 例)或自建留出集的评测。若要复现论文 Table 3/4 的数字,需要向组织方申请测试集访问(官方未公开此流程)。

6.10 许可与许可之外的约束

除了 license,还有一条软的学术约束:挑战赛主页规定"参赛队伍只有在组织方发表挑战赛论文之后,才能单独发表自己的结果,且必须引用组织方论文"。

这类条款在挑战赛里很常见,但它是赛事规则而非版权许可,对今天单纯使用数据集做研究的人不构成约束(你不在参赛)。不过,若你要发表"在这套数据上方法 X 优于方法 Y"的结论,仍应引用 arXiv:2604.27582 作为基准来源。


§7 评估框架与基准结果

7.1 九指标框架总览

类别 指标 方向 参考对象 衡量的东西
重叠 DSC 越高越好 STAPLE 二值共识 二值化的整体吻合
重叠 Thr-DSC 越高越好 5 份标注的均值 概率图在 6 个阈值上的平均吻合
校准 MR-ECE 越低越好 5 位标注者各自 说 0.7 时是否真有 70% 的标注者同意
体积 CRPS 越低越好 5 份体积的高斯分布 预测体积落在专家体积分布里的程度
血管 W₁(×5) 越低越好 5 位专家的角度分布 接触角分布是否匹配

7.2 DSC:最熟悉、也最容易误导的指标

公式:

DSC(ŷ, s) = 2·Σ(ŷ_i · s_i) / (Σŷ_i + Σs_i + ε)

其中 ŷ 是二值化预测,s 是 STAPLE 二值共识。

它衡量的不是"对不对",而是"像不像共识"。 在五位专家 Dice 只有 58.4% 的数据集上,一个完美模仿某一位专家的模型,DSC 上限也就 58-60% 左右;而一个"中庸化"的模型反而可能拿到更高的 DSC,因为它天然逼近共识。

这是本篇论文的第一个关键判断:DSC 在这里奖励的是"往中间靠",不是"判断准确"。

7.3 Thr-DSC:把概率图当成分数

公式(概念):

Thr-DSC = mean over t in T of DSC( ŷ > t , ā > 0.5 )

其中 T = {0.10, 0.24, 0.38, 0.52, 0.66, 0.80},ā 是 5 位标注的平均概率图。

与 DSC 的区别在于:DSC 只看一个二值化阈值下的表现,Thr-DSC 看六个阈值下的平均表现。如果一个模型只在某个特定阈值下"恰好"吻合共识,但换个阈值就崩,Thr-DSC 会暴露它。

这个指标的设计意图是奖励"整条概率曲线都合理"的模型。

7.4 MR-ECE:把"分歧"变成校准的尺子

这是本套框架最精巧的设计。

标准 ECE(Expected Calibration Error)的做法是:把预测概率分箱(通常 10-50 个 bin),比较每个 bin 内的平均置信度与实际准确率。

但 CURVAS 的问题是:在单标签设定下没有"实际准确率"可算——因为五个专家意见不同,你说 0.6 的体素,到底算对还是算错?

论文的解法是多阅片者 ECE(MR-ECE):

MR-ECE = (1/5) · Σ_{k=1}^{5} ECE^(k)

其中 ECE^(k) 是用第 k 位标注者的掩码当作"真值"算出的 ECE(50 个 bin)。

含义:如果模型对某个体素说 0.7,那么五位专家里应该有 70% 的人在这个体素上是阳性。MR-ECE 衡量的就是"模型的概率是否等于专家投票的比例"。

公式化表述:

预测概率 0.6  →  期望 5 位专家中有 3 位标为肿瘤
预测概率 1.0  →  期望 5 位专家全部标为肿瘤
预测概率 0.2  →  期望 5 位专家中 1 位标为肿瘤

这个定义把"标注分歧"直接翻译成了"概率语义",是本条目在评价范式上最值得复用的创新。

为什么它比 DSC 更接近临床:外科医生关心的是"这个位置受侵的概率有多大",而不是"你的掩码和共识的 Dice 是多少"。MR-ECE 高说明模型不会在模糊区假装确定。

7.5 CRPS:体积的分布预测

标准做法是让模型预测一个二值掩码,然后算体积误差。但那丢掉了"预测有多确定"。

论文的做法:

  1. 从 5 位专家的掩码算出 5 个体积 v_1..v_5;
  2. 拟合高斯分布 N(μ_v, σ_v²)(用 5 个体积的均值与方差);
  3. 把模型的概率图积分得到预测体积 v̂;
  4. 在 1-99 百分位之间取 100 个点,计算连续排序概率分数(CRPS):
CRPS = Δx · Σ_ℓ ( F_ℓ − H_ℓ(v̂) )²

其中 F_ℓ 是专家体积分布的累积分布,H_ℓ 是预测体积处的阶跃函数。

直觉理解:如果五位专家的体积是 {8, 10, 12, 14, 16} cm³,中位数 12,那么预测 12 cm³ 的 CRPS 很小;预测 30 cm³ 的 CRPS 很大(落在分布尾巴外)。CRPS 奖励"落在专家体积分布中央附近"的预测。

7.6 血管侵犯 W₁:分布距离

前面 §5.2-5.3 已详述构造过程。这里只补充三点:

  1. Wasserstein 距离的选择理由:它是有"物理意义"的距离——两个分布在角度轴上的最小搬运成本,单位仍是"度"。相比 KL 散度,它在两个分布支撑不重叠时不会发散到无穷,更适合"一个说 90°,一个说 200°"的情形;
  2. 对阈值的平均:预测侧在 6 个阈值上各得一个分布,论文对每个阈值单独算 W₁ 再汇总(具体聚合方式在论文表格中体现为单一数值,聚合规则细节需看代码);
  3. 五条血管分开排名:因为不同血管的可判读性差异巨大(主动脉最易,SMV 与门静脉最难),合并成一个"平均 VI"会掩盖这种差异。

7.7 最终排名规则

对 9 个指标分别排名(1 = 最好)
   ├── DSC、Thr-DSC:降序排(数值越大排名越靠前)
   └── MR-ECE、CRPS、W₁×5:升序排(数值越小排名越靠前)
最终分 = 9 个名次的算术平均

这个规则的关键后果:五项血管指标占 5/9 的权重。一个 DSC 很强但血管判断糟糕的模型,会被显著拖累。

7.8 主结果:全局指标

测试集(n=64)上的四类全局指标,括号内为名次:

方法 DSC (%) Thr-DSC (%) MR-ECE (×10⁻³) CRPS (cm³)
BreizhSeg 71.04 (1) 64.01 (1) 25.7 (1) 7.320 (4)
MIC DKFZ 66.21 (2) 59.57 (2) 32.2 (4) 7.256 (3)
ROISeg 59.28 (3) 55.32 (5) 34.5 (5) 5.352 (1)
CorpuSeg 58.94 (4) 58.01 (3) 30.5 (3) 10.792 (6)
TwinTrack 55.76 (5) 56.93 (4) 29.6 (2) 5.924 (2)
OrdSTAPLE 54.05 (6) 48.73 (6) 40.3 (6) 8.592 (5)

读法:

  • BreizhSeg 拿下 DSC、Thr-DSC、MR-ECE 三项第一,是全局最强;
  • ROISeg 的 DSC 只有第 3,但 CRPS 第一(体积预测最准),说明它的概率图虽然边界不够像共识,但整体体积量级拿捏得好;
  • TwinTrack 的 DSC 排第 5,但 MR-ECE 排第 2、CRPS 排第 2——典型的"重叠不高但校准好";
  • OrdSTAPLE 全局垫底,这个结果在 §7.10 会被反转。

7.9 血管侵犯结果:另一张脸

W₁(角度单位,越低越好),括号内为名次:

方法 PORTA AORTA SMA SMV CELIAC
TwinTrack 29.03 (1) 6.08 (1) 28.69 (3) 34.03 (1) 14.48 (1)
CorpuSeg 29.09 (2) 7.13 (2) 28.08 (1) 40.06 (3) 14.80 (2)
BreizhSeg 35.94 (5) 9.12 (4) 29.34 (4) 43.34 (4) 22.38 (4)
MIC DKFZ 33.53 (4) 10.76 (5) 28.50 (2) 35.25 (2) 22.48 (5)
ROISeg 33.16 (3) 7.91 (3) 41.91 (6) 45.25 (6) 22.80 (6)
OrdSTAPLE 41.81 (6) 13.51 (6) 33.66 (5) 44.16 (5) 19.53 (3)

这张表是整篇论文的核心证据:

  1. DSC 冠军 BreizhSeg 在五项血管里四项排第 4-5(PORTA 5、AORTA 4、SMA 4、SMV 4、CELIAC 4),只有 SMA 勉强第 4;
  2. DSC 第 5 的 TwinTrack 拿下四项第一(PORTA、AORTA、SMV、CELIAC);
  3. 两者之间的反差说明:"肿瘤整体勾得准"和"肿瘤与血管的关系判得准"是两件不同的事;
  4. 主动脉(AORTA)的 W₁ 全面在 6-14 之间,远低于 PORTA(29-42)和 SMV(34-45),印证"主动脉最容易判、静脉最难判"的临床直觉。

7.10 高复杂度队列:排名大反转

论文定义了"高复杂度病例":5 位专家两两之间平均 Dice ≤ 30% 的病例。这些是理论上最模糊、最没有共识的样本。

在这批病例上,按 9 指标平均排名:

方法 平均排名 μ_r 排名标准差 σ_r
OrdSTAPLE 2.67 ± 0.82 标准差最小
MIC DKFZ 2.83 ± 1.94
TwinTrack 3.22 ± 1.69
BreizhSeg 3.28 ± 1.69
ROISeg 4.11 ± 1.59
CorpuSeg 4.89 ± 1.10

从全局第 6 变成局部第 1,这是全篇最有戏剧性的结果。

如何解读:

  • 不是"OrdSTAPLE 其实很好",而是"在最模糊的病例上,'不假装确定’比’猜得准’更值分";
  • OrdSTAPLE 的序数建模本质上是把"有多少标注者同意"编码进输出,这与 MR-ECE 的定义天然对齐;
  • 而 BreizhSeg 的 BNN 后验虽然概率化,但它是在单标签意义下学到的方差,不完全对应"标注者间"的分歧;
  • 标准差 0.82 是六队中最小,说明 OrdSTAPLE 在难例上的表现稳定,不是靠个别病例刷上来的。

7.11 稳健性检验

论文做了两项统计检验:

(1)Bootstrap 重采样(500 次)

对测试集做 500 次有放回重采样,统计每支队伍在每个指标上拿到第 1 至第 6 名的频率。结果(图 3)显示:主要排名趋势稳健,不是个别病例驱动。

(2)Wilcoxon 符号秩检验(两两配对)

  • 全局指标(尤其校准与重叠)上,若干两两差异达到显著;
  • 血管特异的 VI 指标上,多数两两比较没有达到显著。

第二条结论很重要,且论文自己也点明了原因:血管 VI 的差异主要来自少数高度模糊病例的共同方差,样本量(64 例的某个子集)不足以撑起统计功效。

这意味着:表 4 里那些名次差异,在统计意义上相当一部分是不可靠的。 把它当作"TwinTrack 血管判断最好"的定论,是过度解读;更稳妥的说法是"TwinTrack 在血管指标上更靠前,但差异未必显著"。

7.12 指标相关性分析

论文图 5 报告了一个对复用者极有启发的发现:

  • 重叠类指标(DSC、Thr-DSC)彼此强相关——这不奇怪,它们衡量的东西高度重叠;
  • 重叠类指标与血管特异 VI 误差仅弱相关。

这条弱相关是整个九指标框架的合法性依据:如果 DSC 和 VI 强相关,那九个指标就是冗余的,一个 DSC 就够了;正因为它们弱相关,多指标才有必要。

实践建议:如果你只能报一个指标,报 DSC 就等于放弃了 VI 的信息;如果你要报 VI,就必须报全部五条血管,否则会掩盖静脉与动脉的巨大差异。

7.13 结果背后的方法学解释

论文对"为什么二值优化方法在难例上崩"给出了机制解释:

现象 机制
体积塌缩(collapse in volume) 在低共识区,模型学到的"最优解"是把不确定的边界全部判为背景,以换取更高的平均 Dice
边界过度延伸(overextending at uncertain boundaries) 反之,某些模型在模糊区把所有可能区域都标为肿瘤,换取召回
两者都会在平均指标上"看不出来" 因为平均 DSC 被简单病例的高分拉高,难例(占少数)的崩溃被稀释

这与 §7.10 的排名反转完全一致:平均值奖励"中庸",难例奖励"诚实的不确定"。

7.14 对复用者的三条实操建议

  1. 别单独用 DSC 衡量:在这套数据上,DSC 高的模型未必 VI 判得好(BreizhSeg 与 TwinTrack 是活例子);
  2. 必须报 MR-ECE:它是唯一直接编码"标注者分歧"的全局指标,也是临床最有解释力的指标;
  3. 血管指标必须分血管报:AORTA 与 SMV 的量级差 4-7 倍,合并平均会掩盖真实的薄弱环节。

§8 多标注者范式:为什么它根本不同于单标注分割

本节是本条目最有价值的部分。前面各节都在描述"这份数据长什么样",这一节回答"它的存在改变了什么"。

8.1 单标注数据集的隐含假设

几乎所有医学分割数据集都在暗中做三个假设:

假设 表述 在 CURVAS 任务上是否成立
H1:存在唯一真值 对每个体素,有且只有一个正确的类别 不成立。五位专家在同一体素上可能给出五种判断
H2:标注误差是噪声 标注偏离真值是随机的、可被平均修正的 部分不成立。分歧在边界区是系统性的,不是随机噪声
H3:更接近真值 = 更好 模型越贴近标注,临床价值越高 不成立。在灰度区"贴近某一位专家"可能是过拟合该专家的偏好

一旦 H1 不成立,Dice 就失去了它最核心的语义:它衡量的不再是"正确率",而是"与某一特定答案的相似度"。

8.2 CURVAS 的立场:分歧是一等公民

CURVAS-PDACVI 的设计把上面三个假设逐一推翻,并给出替代方案:

被推翻的假设 CURVAS 的替代 落地的指标
唯一真值 五份标注并列,STAPLE 只是合成物 DSC 对 STAPLE;Thr-DSC 对均值
误差即可平均噪声 分歧是 aleatoric uncertainty 的可观测部分 MR-ECE 对 5 位标注者
贴近标注 = 临床价值 概率必须反映"多少人同意" MR-ECE、CRPS
全局相似 = 局部可用 关键界面单独度量 5 条血管的 W₁

注意最后一行:即使有 5 份标注,如果只用全局 Dice,仍然会回到"平均主义者"的老路。真正让 CURVAS 与众不同的,是它把**“界面”**(tumor-vessel interface)单独拎出来做指标——那里才是手术决策真正依赖的地方。

8.3 三层不确定性,这份数据只能观测到其中一层

不确定性建模的文献常把不确定性分为三类:

类型 定义 CURVAS 能否观测
Aleatoric(偶然不确定性) 数据本身固有的模糊,增加数据也不会减小 可观测:专家分歧就是它的经验代理
Epistemic(认知不确定性) 模型因知识不足而产生的不确定,加数据可减小 间接:通过集成 / BNN 近似
Distributional(分布偏移) 测试分布与训练不同导致的不确定 不可观测(测试集不公开,无法诊断)

CURVAS 的多标注者设计的核心价值是:它为 aleatoric uncertainty 提供了一个可观测的经验估计。

  • 在单标注数据集里,aleatoric 不确定性是不可见的,你只能靠模型自己"猜";
  • 在 CURVAS 里,5 份标注的逐体素投票率就是 aleatoric 不确定性的直接估计;
  • 这正是 MR-ECE 能做起来的前提——它有一个可以用来对标的"经验概率"。

8.4 三种"平均值"的语义差异

多标注数据最诱人的做法是"取平均",但三种平均的含义完全不同:

平均方式 数学对象 语义 陷阱
掩码平均 → 概率图 ā_i = (1/5)Σ a_i^(k) “5 位专家中几位认为这里在肿瘤内” 只在标注者同质时有意义
STAPLE 共识 EM 加权的隐藏真值 “剔除标注者偏差后的最可能真值” 假设多数人正确,会压制少数派真知
体积平均 (1/5)Σ v_k 期望体积 忽略了方差,无法表达"专家间差 3 倍"

CURVAS 的做法是三者都用,但用在不同地方:

  • 掩码平均 → Thr-DSC 的参考;
  • STAPLE → DSC 的参考、ROISeg 的训练标签;
  • 体积分布(不是平均)→ CRPS 的参考。

体积用分布而非均值,是这套设计里最克制的选择:它承认"专家体积差 3 倍"这件事必须被表达,而不能被平均掉。

8.5 为什么"分歧本身是信号"

这是本文最核心的一句话,需要展开。

反例(传统视角):五位专家 Dice 58.4%,说明标注质量差,应该做共识、做清洗、做多数投票,把数据"提纯"到 90% 以上再训练。

CURVAS 视角:58.4% 不是噪声水平,是任务难度的度量。如果五位专家都同意某处是肿瘤,那就是"确定阳性";如果三人说两人不说,那就是"边界区";如果两人说三人不说,情况反过来。

这些区域不是数据的缺陷,而是临床决策真正困难的区域:

  • 确定阳性区 → 任何模型都能勾对,没有区分度;
  • 模糊区 → 正是"能否切除"的判断取决于它的地方;
  • 一个把所有模糊区都判成"确定"的模型,在 Dice 上可能不错,但在手术室里毫无价值。

因此,"预测分歧"和"预测分割"是同一件事的两面。 MR-ECE 与 W₁ 就是在量化"模型的分歧预测是否与专家的分歧一致"。

8.6 一个具体的思想实验

假设某例 CT 上,五位专家对"SMV 是否受侵"的判断是:

  • Rater 1:60°(未侵犯)
  • Rater 2:90°(交界)
  • Rater 3:120°(交界)
  • Rater 4:150°(可疑侵犯)
  • Rater 5:180°(侵犯)

传统单标签做法:人工定一个"真值",比如取中位数 120°,然后算预测与 120° 的差值。这丢掉了"专家分歧从 60° 到 180° 横跨 120°"这个关键信息。

CURVAS 做法:把 {60, 90, 120, 150, 180} 视为分布样本,计算预测的分布与它的 Wasserstein 距离。

  • 若模型输出"120° ± 5°",W₁ 很小(落在分布中央);
  • 若模型输出"185° 且非常确定",W₁ 会大(落在分布外且尖锐);
  • 若模型输出"90-180° 之间均匀分布",W₁ 反而可能较小——因为它诚实地表达了不确定。

最后一条可能反直觉,但正是这套框架想要的:在这个任务上,"知道自己不知道"比"猜对一个数"更有价值。

8.7 与单标注分割的对比总表

维度 单标注分割(如 AMOS / BTCS/NIH Pancreas-CT) CURVAS-PDACVI
真值构成 1 份 5 份 + STAPLE
模型输出 二值掩码 概率图(必须)
主指标 Dice / HD95 9 指标(2 重叠 + 1 校准 + 1 体积 + 5 血管)
对"边界模糊"的处理 隐式:算进 Dice 误差 显式:用分歧作为参考分布
标注者间变异 通常只在方法学章节报一个 kappa 成为数据集的核心卖点
模型不确定性 可选(多数方法不建模) 强制(校准与 CRPS 直接计分)
训练集规模 大(数百至数千) 极小(40)
评测目标 “多准” “多准 + 多诚实”
临床落点 分数量级 逐血管可切除性判断

8.8 这套范式的代价

必须诚实地列出代价,否则会成为"范式吹捧":

  1. 标注成本高 5 倍:每个病例要 5 位放射科医生独立阅片,边际成本远超普通标注;
  2. 样本量必然小:同样的预算只能覆盖 1/5 的病例,统计功效不足(§7.11 的 Wilcoxon 不显著就是后果);
  3. 难以做大规模预训练:40 例不足以训练基础模型,只能做微调或评测;
  4. 评测实现复杂:9 个指标、分布构造、退化规则,任何一处实现偏差都会导致排名漂移;
  5. "共识"仍是必需品:DSC 仍然要 STAPLE,说明完全放弃单一参考在实践中不可行;
  6. 临床验证缺失:整套框架评价的是"与专家分歧的匹配度",没有证明"匹配度高的模型手术结局更好"。

第 6 条是最关键的缺口:这条链路(影像分歧 → 模型校准 → 手术决策 → 患者获益)目前只走通了前两环。

8.9 这份数据对方法学的三条启示

启示一:不要用平均 Dice 选模型。

在 40 例、人-人 Dice 58% 的数据上,验证集的 Dice 方差可能大于方法间差异。更稳的做法是:

  • 报多指标(至少 DSC + MR-ECE + 一条血管);
  • 报置信区间而非单点;
  • 报高分歧子集上的表现。

启示二:不确定性建模要对着"标注者分歧"设计,不是对着"模型方差"设计。

BreizhSeg 用了 BNN 后验,理论上是很正统的不确定性方法,但它在高难例上不如 OrdSTAPLE。原因是:

  • BNN 的后验方差衡量的是模型参数的不确定(epistemic);
  • 而 CURVAS 要的是标注者意见分布(aleatoric);
  • 两者不等价,后者需要训练时显式利用 5 份标注。

启示三:界面指标值得被移植到其他数据集。

“tumor-vessel interface” 这个思路可以推广到:

  • 脑肿瘤与功能区皮层的界面;
  • 肝肿瘤与肝门血管的界面;
  • 肺结节与胸膜的界面。

通用模式:把"解剖学上的关键界面"单独定义为一个区域,在该区域上算专用指标,而不是混进全局平均。

8.10 为什么"多标注者"不是"多要几份标注"

一个常见的误解是:CURVAS 之所以要 5 位专家,是为了"交叉验证标注质量,取更可靠的那一份"。

这个理解是错的,而且错在方向上。区别可以用一张表说清:

目的 做法 产出 对应条目
提高标签质量 多人标注 → 分歧处复核 → 定稿一份 1 份"更好"的标注 PANDA-PLUS(三级复核 + 专家终审)
量化标注噪声 多人标注 → 算 kappa / Dice → 报一个数 1 份标注 + 1 个质量指标 多数临床数据集
把分歧当作信号 多人标注 → 全部保留 → 模型学习预测分歧 1 份标注 + 4 份对立观点 CURVAS-PDACVI

第三行的关键在"全部保留":如果组织方在事后开一次共识会议,把 5 份标注商量成 1 份,那 58.4% 的人-人 Dice 就变成了"一段已经被消灭的历史",MR-ECE 也失去了它的经验参考。分歧之所以能当信号,前提是它没有被事后抹平。

这也解释了为什么排除的 16 例是"至少一位阅片者找不到肿瘤"——注意措辞是"至少一位",而不是"多数人找不到"。组织方的标准已经尽量宽松:只要还有一位专家能划出肿瘤,这例就保留。真正被剔除的是"连病灶位置都无法取得任何共识"的极端情形。

8.11 与库内"不确定性"条目的呼应

库内已有若干条目的核心也围绕不确定性或多标注者:

  • CheXmask-U(rid 603):胸片地标的不确定性分割,形态上是"单标注 + 专家修正",不确定性来自标注噪声;
  • PANDA-PLUS:不是多标注,而是重标注——用更高资历的专家覆盖原标注,方向是"提高标签质量";
  • PANORAMA(rid 945):单标注 + reader study,其"多阅片者"体现在评测阶段(68 名医生)而非标注阶段。

CURVAS-PDACVI 与这三者的区别在于:

条目 多阅片者出现在 分歧的角色
PANDA-PLUS 标注流水线(三级复核) 要被消除的噪声
PANORAMA 评测阶段(reader study) 临床基线
CheXmask-U 标注质量(不确定性区域) 要被标注出来的对象
CURVAS-PDACVI 标注阶段(5 份并列) 被建模的信号

这一格差异,是它在这条"多阅片者"谱系上的坐标。


§9 生态、血缘与互链

9.1 上位:PANORAMA

CURVAS-PDACVI 的影像与 1 号标注均来自 PANORAMA。

  • 条目:panorama-2026(rid 945);
  • 血缘:PANORAMA 的 2238 例公开训练 CT 是 CURVAS 的候选池;
  • 反向依赖:CURVAS 明令禁用 PANORAMA Batch 1-3,说明两者数据高度重叠;
  • 互链建议:在 panorama-2026 条目里加一句"其影像在 CURVAS-PDACVI 中被 5 位专家重标注,用于血管侵犯基准"。

9.2 同病种:CPTAC-PDA

  • 条目:cptac-pda(rid 1135);
  • 关系:同为胰腺导管腺癌,但 CPTAC-PDA 是多组学 + 病理影像,CURVAS 是放射影像 + 多标注;
  • 互补点:CPTAC 提供分子分型,CURVAS 提供影像几何判断,理论上可做"影像组学 ↔ 分子"的桥接,但目前没有联合数据集。

9.3 同解剖:胰腺与腹部 CT 分割

条目 rid 关系
NIH Pancreas-CT 367 胰腺分割经典基准,PANORAMA 训练集的来源之一
AbdomenCT-1K 402 千例腹部 CT 多器官分割,可用于预训练
AMOS 76 15 器官腹部 CT/MRI,多中心
BTCV 377 13 器官腹部 CT 分割
LiTS 81 肝与肝肿瘤分割,同类"肿瘤-血管界面"问题
CT-ORG 796 多器官 CT 分割
TCIA 547 开放癌症影像总库,PDAC 影像的另一个来源

互链价值:这些条目可作为 CURVAS 40 例之外的预训练 / 外部验证数据,但要注意 §6.4 的禁用条款只针对 PANORAMA 批次,其他公开集不在此列。

9.4 同范式:挑战赛与多阅片者

条目 rid 可借鉴的点
CheXmask-U 603 胸片地标不确定性分割,"不确定性区域"的标注思路
BRATS 24 多模态 MRI 分割挑战赛的元老,评测框架演进史
BRATS 2026 931 该系列最新届,可对比排行榜设计
caries-miccai 944 MICCAI STS 挑战赛条目写法

9.5 方法学外部坐标

  • STAPLE:Warfield, Zou, Wells, IEEE TMI 2004,多标注者共识的 EM 算法;
  • Ordinal STAPLE:把标注者的"同意程度"作为序数变量建模,CURVAS 基线即基于此;
  • nnU-Net:Isensee 等,Nature Methods 2021,六队全部基于此;
  • MR-ECE / CRPS / Wasserstein 距离:分别来自校准评估、概率预测评分、最优传输三个成熟领域。

9.6 建议互链点(供主会话 wiring 使用)

目标 slug rid 建议锚文本
panorama-2026 945 PANORAMA:上游公开 CT 库
cptac-pda 1135 CPTAC-PDA:同病种多组学队列
nih-pancreas-ct 367 NIH Pancreas-CT:胰腺分割经典基准
abdomenct-1k 402 AbdomenCT-1K:腹部 CT 预训练集
amos 76 AMOS:腹部多器官分割
btcv 377 BTCV:腹部 13 器官基准
chexmask-u 603 CheXmask-U:不确定性分割范式
lits 81 LiTS:肿瘤-血管界面问题的另一实例
brats 24 BraTS:分割挑战赛元老
tcia 547 TCIA:开放癌症影像总库

§10 避坑清单与常见误区

以下八条,按"踩坑后损失的大小"排序,前三条会直接导致实验结论无效。

坑点 1:三套总例数口径,互不自洽

  • 挑战赛页与 Zenodo v3:125 例初筛,切分 40 / 5 / 85(合计 130);
  • 论文:109 例可用,切分 40 / 5 / 64(合计 109);
  • 单纯加法:40 + 5 + 85 = 130 ≠ 125。

原因:论文在"至少一位阅片者找不到可分割肿瘤"时剔除 16 例;挑战赛页与 Zenodo 未同步更新这一剔除。

应对:引用训练集规模时用 40(三处一致);引用总量时说"125 例初筛、论文最终 109 例",并注明 125/130 的口径来源。不要写"125 例数据集",因为那可用的只有 109。

坑点 2:早期版本没有 STAPLE,且方向不一致

  • v1/v2 缺少 annotation_staple.nii.gz,DSC 无法按官方定义计算;
  • v3 之前的扫描方向不统一,3D 网络会学到"方向"这个假特征。

应对:只用 v3(records/15720085),校验 MD5 6029253f6687180c95e58a0288e90df4。若拿到早期版本,必须自己做方向校正并重新生成 STAPLE,否则结果无法与论文对比。

坑点 3:PANORAMA Batch 1-3 禁用条款

  • 见 §6.4;Batch 1(13715870)、Batch 2(13742336)、Batch 3(11034011)禁止训练,Batch 4(10999754)可用。

后果:用 Batch 1-3 预训练等于在测试同源数据上训练,Dice 会被虚高若干个百分点,且无法察觉。

应对:预训练只用 Batch 4 或其他公开腹部 CT(AMOS、AbdomenCT-1K、BTCV),并在方法章节显式声明用了哪些外部数据。

坑点 4:把 DSC 当成"准确率"引用

58.4% 的人-人 Dice 意味着 DSC 的理论上限不是 100%。一个 DSC 71% 的模型(BreizhSeg)实际上已经高于任意一位专家与其余四人的平均一致性(55-60%)。

应对:引用 DSC 时同时给出人-人基线;不要把"71% > 58.4%" 解读为"超过人类",因为这两个数字的参考对象不同(模型对 STAPLE vs 专家对专家平均)。

坑点 5:把血管 W₁ 的名次当成定论

论文自己的 Wilcoxon 检验显示:多数血管两两比较未达显著。

应对:描述时用"TwinTrack 在血管指标上更靠前",不要用"TwinTrack 显著优于某某"。若要做严格比较,需要更大测试集或多次 bootstrap。

坑点 6:两个标签编号系统混用

  • annotation_X:1 = 肿瘤,2 = 胰腺;
  • annotation_vascular:1 = 门静脉,2 = SMV,3 = 主动脉,4 = 腹腔干,5 = SMA。

后果:把血管掩码当肿瘤掩码读,会把整个门静脉算成肿瘤,Dice 直接崩到个位数。

应对:加载时按文件名分派,写断言检查唯一值集合。

坑点 7:以为测试集"以后会公开"

Zenodo v3 原文:“Both validation and testing CT scans cohorts will not be published until the end of the challenge”——可以读成"挑战赛结束后公开",但论文只明确说了训练集与代码公开。

现状:截至本条目抓取时点(2026-10-17),测试集未公开,官方也未公布后续发布计划。

应对:不要把论文的数字当作"可在本地复现的基准"。若需可比基线,自己在 40 例训练集上切分做留出集,并注明"非官方测试集"。

坑点 8:许可的 ShareAlike 与商用边界

  • CC BY-NC-SA 4.0:禁商用 + 衍生须同协议;
  • 只覆盖已发布的训练集,测试集无许可表述。

后果:把清洗后的版本以 CC BY 4.0 发布,属于违反 ShareAlike;把模型商业部署,属于违反 NonCommercial(注意:许可限制的是数据,模型是否受传染取决于训练是否构成"衍生作品",这在法律上有争议,保守做法是按受传染处理)。

应对:衍生数据一律用 CC BY-NC-SA 4.0;商用前咨询法务。

10.x 补充:还有三条次要坑

  • 坑点 9:annotation_staple 是二值共识,不要当作概率图使用;
  • 坑点 10:测试提交有时间与内存限制,论文提到"参与者遭遇时间与内存限制导致测试阶段延期"——说明评测容器有硬性资源上限,本地上跑通不代表平台能跑通;
  • 坑点 11:挑战赛页的 “MICCAI 2024” 与论文的 “MICCAI 2025” 冲突,引用年份取 2025(论文口径)。

§11 版本演进与复现路线

11.1 三个版本的差异

版本 大致时点 关键变化 能否复现论文
v1 2025-05 首版训练集,无 STAPLE,方向未统一 否
v2 2025 年中 补充部分病例与元数据(细节未在记录页单列) 否
v3 2025-06 加 STAPLE、修方向、统一 head-first 是(唯一可用版本)

记录页只对 v3 的变更做了明确说明,v1 到 v2 的差异未公开。实践中不必追溯,直接用 v3 即可。

11.2 从零复现的六步路线

第 1 步:获取数据

# 下载 v3 训练集(5.5 GB)
wget https://zenodo.org/records/15720085/files/training_set.zip
md5sum training_set.zip   # 应为 6029253f6687180c95e58a0288e90df4
unzip training_set.zip -d curvas_data

第 2 步:结构校验

import nibabel as nib, glob, numpy as np, os

roots = sorted(glob.glob("curvas_data/CURVASPDAC_*"))
assert len(roots) == 40, f"期望 40 例,实得 {len(roots)}"
for r in roots:
    files = sorted(os.listdir(r))
    assert len(files) == 8, (r, files)
    vas = nib.load(os.path.join(r, "annotation_vascular.nii.gz")).get_fdata()
    assert set(np.unique(vas).astype(int)) <= {0,1,2,3,4,5}

第 3 步:自建留出集

由于官方验证/测试不公开,必须自己切分。建议:

  • 按肿瘤体积累积分布做分层切分(而不是随机),避免留出集全是小病灶或全是大病灶;
  • 40 例切 8 例留出、32 例训练,或做 5 折交叉验证(每折 8 例);
  • 每一折都记录人-人 Dice 作为"上限参考"。

第 4 步:选择训练信号

三条路线,对应论文里的三派:

路线 训练标签 对应队伍 适合人群
共识路线 只用 STAPLE ROISeg / OrdSTAPLE 想快速拿到合理基线
多模型路线 5 份各训一个,推理时融合 CorpuSeg 算力充足、想表达分歧
概率监督路线 逐体素投票率 ā 作为软标签 接近 OrdSTAPLE 思路 想直接优化 MR-ECE

第 5 步:评测

用官方 GitHub 代码(CURVAS-PDACVI_2025)计算 9 个指标。注意:

  • DSC 的参考是 STAPLE,不是你自建的留出集标注;
  • MR-ECE 需要 5 份标注都在,留出集必须保留全部 5 份;
  • W₁ 需要血管掩码,且必须跑退化规则检查。

第 6 步:报告

至少报四行:DSC、Thr-DSC、MR-ECE、五条血管 W₁。若只报 DSC,等于放弃了这套基准 78%(7/9)的排名信息。

11.3 一个最小可用的基线

如果只是想确认流程跑通,不必训练深度网络,可以用一个"先验基线":

预测概率 = 5 份标注的逐体素均值 ā

这个"完美平均"的基线在定义上会让 Thr-DSC 很高、MR-ECE 很低(因为它就是校准的定义对象),但它在留出集上不可用(留出集没有 5 份标注给模型看)。它的价值是:

  • 验证评测代码是否正确(应该得到近乎完美的 MR-ECE);
  • 作为"理论上限"的参照,避免把 0.02 的 MR-ECE 误当成"很好"。

11.4 复现时的期望值管理

你可能期望 实际会发生
训练集 40 例能训出好模型 能训出"能跑"的模型,Dice 大致 40-60%,远低于论文的 55-71%
5 折交叉验证能给稳定排名 方差很大,方法间差异常被淹没
本地验证高分 = 平台高分 不成立,测试集与训练集分布不同(论文称做了分层,但仍有偏移)
论文数字可精确复现 不能,测试集不可访问

结论:这套数据的正确用法是做方法学的压力测试(“我的方法在低共识区会不会崩”),而不是刷 SOTA。


附录 A:DAIMS 数据资产成熟度评分

DAIMS(Data Asset Maturity Scoring)按六个维度对数据资产打分,每项 0-5 分。

维度 评分 理由
可发现性(Discoverability) 5 arXiv + Zenodo + Grand Challenge + GitHub 四路可达,检索即得;论文关键词齐全
可访问性(Accessibility) 3 训练集直接下载无障碍;但验证/测试不公开,评测闭环无法在本地完成,扣 2 分
可用性(Usability) 4 文件结构规范、命名清晰、有 STAPLE 与评测代码;扣分项为方向历史遗留(v3 才修)、无逐例临床元数据、标签编号双系统易混
可靠性(Reliability) 3 5 位委员会认证放射科医生盲标,质量可信;但无病理 VI 金标准、无边界协议、总例数三口径冲突,扣 2 分
互操作性(Interoperability) 4 标准 NIfTI,可直接接入 nnU-Net / MONAI / SimpleITK 生态;但病例 ID 与 PANORAMA 不可映射,跨库关联困难
治理与合规(Governance) 3 CC BY-NC-SA 4.0 明确,伦理说明清楚;但测试集许可空洞、商用边界需法务判断、无数据使用协议(DUA)签署流程

总分 22 / 30,属"良好但不宜直接生产使用"档。

一句话结论:作为评价基准它设计精巧、可立即使用;作为训练数据源它规模太小、许可受限,只适合微调与评测。


附录 B:证据链自证

本条目所有事实的落源:

事实 来源 类型
论文标题、作者、日期、DOI arxiv.org/abs/2604.27582 一手
125 例初筛、40/5/85 切分、文件结构、血管标签、禁用批次 zenodo.org/records/15720085(v3) 一手
5.5 GB、MD5、CC BY-NC-SA 4.0 同上 一手
109 例最终、16 例排除、58.4%±25.7%、分阅片者一致性 arxiv.org/html/2604.27582v1 一手
W₁ 定义、阈值集、退化规则、MR-ECE 定义、CRPS 定义 同上 一手
Table 3 / Table 4 数值 同上 一手
高复杂度队列排名 同上 一手
挑战赛关闭、评奖截止、提交仍开放、MICCAI 2024 文案 curvas-pdacvi.grand-challenge.org 一手
六队机构与方法 arXiv HTML 全文 一手
资助编号 arXiv HTML 全文致谢 一手
库内互链条目 rid ai_ready_dataset 查询 一手

未能一手核实的项:

  • 训练集实际病例数是否恰为 40(推论自 40/5/85 切分,未逐目录核对);
  • 测试集后续是否公开(抓取时点无公告);
  • 论文期刊归属(arXiv 页面无 journal-ref);
  • Rater 2-5 与 Zenodo 署名医生的对应关系(论文未公开映射)。

附录 C:术语表

术语 英文 解释
PDAC Pancreatic Ductal Adenocarcinoma 胰腺导管腺癌,占胰腺癌 85% 以上
VI Vascular Invasion 血管侵犯,肿瘤长入邻近血管壁
CURVAS Calibration and Uncertainty for multiRater Volume Assessment in multistructure Segmentation 挑战赛系列名
STAPLE Simultaneous Truth and Performance Level Estimation 基于 EM 的多标注者共识算法(Warfield 2004)
DSC Dice Similarity Coefficient 重叠系数,2×交集/(预测+真值)
MR-ECE Multi-Rater Expected Calibration Error 多阅片者期望校准误差
CRPS Continuous Ranked Probability Score 连续排序概率分数,评估概率预测
W₁ 1-Wasserstein distance 一阶 Wasserstein 距离(推土机距离)
Contact angle 接触角 肿瘤包绕血管一周所占的角度,临床评估可切除性的核心量
Aleatoric / Epistemic — 偶然不确定性 / 认知不确定性
nnU-Net no-new-U-Net 自适应 U-Net 自配置框架,六队全部基于此
BNN Bayesian Neural Network 贝叶斯神经网络
CECT Contrast-Enhanced CT 增强 CT
Rater 阅片者 / 标注者 本条目 5 位专家
Interface 界面 本条目指肿瘤-血管接触界面

附录 D:一页速查卡

CURVAS-PDACVI
─────────────────────────────────────────────
是什么:PDAC 血管侵犯的多标注者基准(5 份/例)
谁做的:UPF + Sycai,CURVAS 第 2 届,MICCAI 2025
数据源:PANORAMA 公开 CT 中挑 125 例
能拿到:40 例(Zenodo v3,5.5 GB,CC BY-NC-SA 4.0)
拿不到:验证 5 + 测试 64/85
标注者:22/7/3/1 年 4 位新增 + PANORAMA 原标注
人-人Dice:58.4% ± 25.7%
指标:DSC / Thr-DSC / MR-ECE / CRPS / 5×W₁
冠军:BreizhSeg(DSC 71.04,但 VI 仅第 4-5)
反直觉:高分歧病例上 OrdSTAPLE 从第 6 变第 1
禁用:PANORAMA Batch 1/2/3
论文:arXiv:2604.27582(2026-04-30)
代码:github.com/SYCAI-Technologies/curvas-challenge
─────────────────────────────────────────────
一句话:它把「专家看法不一致」从噪声变成了评测对象。

本条目依据 arXiv:2604.27582(v1,2026-04-30)、Zenodo records/15720085(v3,2025-06)、Grand Challenge 挑战赛页与公开 GitHub 评测仓库编写。所有数字均标注来源口径;口径冲突处已在 §10 坑点 1 与 §7.11 逐条存照。条目抓取时点:2026-10-17。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • trials — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集 / 肿瘤学
  • panorama-2026 — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集 / 肿瘤学
  • ct-lesion-foundation-model — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集 / 肿瘤学
  • auto-rtp — 共享标签:医学影像 / CT / 评测基准 / 挑战赛数据集 / 肿瘤学
  • mela — 共享标签:医学影像 / CT / 评测基准 / 挑战赛数据集 / 肿瘤学
  • toothfairy2 — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集
  • curvas — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集
  • toothfairy3 — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集
  • stsr — 共享标签:医学影像 / CT / 医学图像分割 / 评测基准 / 挑战赛数据集
  • segrap — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集