信息速览
Auto-RTP(Fully Automated Radiotherapy Treatment Planning Challenge)是 2023 年在 ESTRO 物理工作坊框架下举办的一场自动化放疗计划挑战赛,数据本体是 16 例前列腺癌患者的定位 CT:前列腺单纯 6 例、前列腺+淋巴结 6 例、术后前列腺床+淋巴结 4 例,全部为 GE Discovery RT 单机采集、层厚 2.5 mm。它不提供训练集,也不公开真值轮廓,参赛方拿到的是影像和一份机器可读的处方,交回来的是轮廓、计划、剂量三件套。
它补的是放疗自动化的评测空白。自动勾画和自动计划早就有,但过去十年里各家系统各报各的指标,剂量预测赛只考剂量图、器官分割赛只考轮廓,没有一个基准把「读完 CT 到交出一份能上机执行的治疗计划」当作一个整体来打分。Auto-RTP 把终点设在临床终点上:计划能不能被接受,取决于靶区覆盖与正常组织受量的逐项约束是否达标,而不是某一层的 Dice 系数。
打算用它做研究或做产品评测的人,第一件该做的事是把「它是什么」与「它不是什么」分清:它是评测集,不是训练集;是前列腺区,不是全解剖。然后读官方页确认自己拿到的是网络赛的 10 例还是全数据集的 16 例,再看评分只公开到团队级、真值不随数据发布这一条,最后才决定能否用它支撑一篇可复现的论文。数据没有附开放许可,获取与复用边界须向组织方确认。
§1 它是什么:一场把终点设在计划上的挑战赛
1.1 名字里每个字母的含义
Auto-RTP 是 Fully Automated Radiotherapy Treatment Planning Challenge 的缩写,四段首字母分别取 Fully Automated、Radiotherapy、Treatment、Planning。直译是「全自动放射治疗计划挑战赛」。这个名字容易在两个方向被误解:一是被当成自动勾画赛,因为勾画确实是流程中的一步;二是被当成剂量预测赛,因为最终输出里有剂量。两者都只覆盖了流程的一段,而这个赛要求的是整条链。
区分三个相邻概念对读文献有用:
| 概念 | 输入 | 输出 | 评测什么 |
|---|---|---|---|
| 自动勾画(auto-contouring) | 定位 CT | 器官与靶区轮廓 | 轮廓几何相似度 |
| 剂量预测(dose prediction) | CT + 轮廓 | 三维剂量分布 | 剂量图误差 |
| 自动计划(auto-planning) | 轮廓 + 处方 | 机器参数与剂量 | 计划是否满足约束 |
| Auto-RTP 所考的整体 | CT + 处方 | 轮廓 + 计划 + 剂量 | 计划在临床约束下的达标程度 |
差别不在难度排序,在评测对象。前三者的误差都可以用一个与临床决策脱钩的几何或数值指标度量;最后一项的分数只能从「这份计划临床能不能用」反推。
从检索的角度看,这个缩写极易被猜成别的意思。放疗领域的英文文献里「RTP」常被用作 radiotherapy 的行文缩写(如 RT plan、RT dose 的并列写法),而「auto」在影像 AI 语境里最常挂在 autocontouring 前面。两者一拼,「Auto-RTP」看上去就像「自动轮廓」的变体。检索时若按 autocontouring 去找,命中会是 StructSeg、HaN-Seg 一类器官分割赛,与本赛不是同一件事。确认方法只有一个:打开 auto-rtp.grand-challenge.org,看首页标题下的 Task 段——那里写的是 generate a treatment plan,不是 delineate organs。
还有一处细节值得留意:本赛官方英文名里 没有 出现「Challenge」以外的任何机构名,也没有年份后缀。这与其他放疗挑战赛的命名习惯不同(例如 HECKTOR 每年换一个域名后缀)。后果是搜索引擎里「Auto-RTP 2024」「Auto-RTP 2025」这类查询会命中不存在的版本,实际只有 2023 年这一届。若见到带年份的同名赛,先核实是否为另一个赛事借用简称。
1.2 一年一届与一次性的区别
放疗领域的大多数挑战赛是年度系列:HECKTOR 五年五届、BraTS 每年更新赛道、StructSeg 分年度设不同任务。系列赛的好处是可以跨届比较进步幅度,代价是每届的评分口径会微调,跨届分数并不严格可比。
Auto-RTP 目前只有 2023 年这一届,没有第二届的公开信息。这带来两个实际后果。第一,它是一份「时间切片」而不是「排行榜」:论文里那组数字描述的是 2023 年 10 月前后的技术水平,不能拿来当作逐年趋势的起点,因为找不到下一个点。第二,如果你想引用它证明「自动化在进步」,证据链是断的——只能引用它证明「当时是什么水平」,不能证明「比三年前强了多少」。
对做产品的人来说,一次性赛事反而降低了比较成本:不必担心下一届改了评分口径导致指标失效。对做研究的人来说,则要注意文献里的引用时态——凡写「Auto-RTP 显示当前系统已达 81.8%」的句子,都应当带上「2023 年」这个时间限定。
1.3 主办与场合
赛事挂靠在 ESTRO(European Society for Radiotherapy and Oncology,欧洲放射肿瘤学会)2023 年物理工作坊之下。官网写明挑战赛是工作坊的组成部分,并给出一个明显的时间锚:希望参加工作坊现场环节的人,须在 2023 年 7 月 3 日前申请并注明参加挑战赛的意向。不参加现场环节也可以在线上参赛,但官网措辞是「强烈鼓励」到场,理由是方法讨论与结果交流的价值主要发生在现场。
最终成绩公布与现场赛安排在意大利都灵,日期是 2023 年 10 月 14 日——这个日期来自冠军团队论文正文的表格脚注,官网概览页本身没有写。
组织工作由一组跨机构研究者完成,正式论文的第一作者是 Mark J Gooding(Inpictura Ltd 与曼彻斯特大学),另有一位共同通讯 Jean-Emmanuel Bibault(巴黎西岱大学欧洲乔治·蓬皮杜医院)。论文列出的十二位作者分别来自英国、荷兰、法国、丹麦与美国的放疗科、医学物理与影像公司,机构组成本身说明了这类挑战赛的组织形态:临床医师定临床口径、物理师定评分口径、影像公司提供数据与流程工具。
作者机构分布本身就是一条信息。十二位作者里,同时出现在企业隶属(Inpictura、Mirada Medical)与公立医院隶属(巴黎蓬皮杜、格罗宁根大学医学中心、盖伊与圣托马斯医院、伯明翰大学医院、奥胡斯大学)的有多位,另有阿拉巴马大学伯明翰分校的一位作者是冠军团队成员。这种「组织方—参赛方」身份交叠在挑战赛中很常见,但会带来一个读者不易察觉的影响:文章既是一份赛事报告,也是领域内几家机构的合作产物,其结论的措辞(例如「自动化是可能的」)天然偏乐观。引用时把它当作一手事实来源,而不是中立评价。
论文与官网的信息落差值得单列一条。官网是 2023 年赛事进行时写下的概览页,论文是 2024 年 9 月上线的事后总结。两者在四个点上有出入:
| 项 | 官网概览页 | 论文 |
|---|---|---|
| 病例数 | ten patients | 16 例 |
| 病例类型 | 前列腺单纯 + 前列腺+淋巴结(两类) | 三类,含术后前列腺床+淋巴结 |
| 阶段划分 | 未明说三阶段 | 格式确认 / 网络赛 / 现场赛三阶段 |
| 结果 | 无 | 13 份作品、冠军 81.8% |
四个出入里,后两个是官网写得早、论文写得晚的自然结果;前两个则是实质差异,说明官网的「十例、两类」是赛事启动时的简化描述,最终执行时扩到 16 例、三类。做文献引用时以论文为准,做「官方页是什么样」的记录时以官网为准——两者不需要取舍,只需要注明出处。
1.4 客观形态:小样本评测集
把它称作「数据集」时要加限定语。从体量与用途看,它更接近一份公开评测集:总病例 16 例,一律不给训练数据,一律不给真值,示例病例的唯一用途是让参赛方确认自己的系统能读入输入、能按格式上传输出。
官方在 Dataset 段给出的理由值得原样记住:设立这场赛的目的是评估「把计划自动生成到一份处方」这一能力的当前水平,而不是复现某一份训练集。所以赛题刻意模拟了把工具当作「开箱即用」产品部署到一家新医院的场景——新医院没有你的训练数据,只有一位病人的 CT 和一张处方。
这个取向决定了三件事:
- 参赛方不能用监督学习从本赛数据里学到任何东西,只能用赛外的知识(自己保存的历史病例、已发表的模型、厂商提供的模型库)。
- 评测不设梯度的意义:没有训练集就没有过拟合空间,分数直接反映部署能力。
- 数据的复用价值主要在评测侧,要用作训练集的人应当转向其他有真值的大样本集合。
1.5 八问速答
Auto-RTP 的全称到底是什么?
Fully Automated Radiotherapy Treatment Planning Challenge,即全自动放射治疗计划挑战赛。缩写取四段首字母,不指自动勾画。
它有训练集吗?
没有。官网 Dataset 段明确不提供训练数据,理由是评测「把现成工具部署到新医院」这一场景。每型各给一例示例,仅验证读入与上传格式,示例不配真值。
到底是 10 例还是 16 例?
两个数都在用。官网的 10 例是网络赛公开评分的病例;论文的 16 例是全数据集,含格式确认 3 例与现场赛 3 例。
参赛方要交什么东西?
每例三件 DICOM 数据(轮廓 RTSTRUCT、计划 RTPLAN、剂量 RTDOSE),外加一份方法问卷。不收截图或自制格式。
分数是怎么打的?
靶区目标达成占 50 分,正常组织约束达成占 50 分,合计 100 分;另对 contour added path length 等次要指标作报告但不计分,并设专家目视评选的副奖。
冠军成绩有多好?
最高分系统在共识轮廓下达标 81.8%(10 例中 1 例全达标),在自产轮廓下 89.5%(4 例全达标)。两个数都不是百分制得分。
规则说不许人工干预,真做到了吗?
没有完全做到。问卷显示 69% 的队伍自报提交前看过结果。流程可以自动跑,但团队对结果的信任尚未建立。
现在还能拿到这份数据吗?
没有公开直下链接,也没有数据再分发许可。获取走 Grand Challenge 注册与挑战赛流程,赛后可用性须向组织方确认。
§2 数据构成:16 例、三类病例、一套处方
2.1 病例构成
全数据集 16 例,按解剖与治疗意图分三类。三种类型的临床差别决定了自动流程的难度差别,不宜把它们当成同一任务的三个难度档。
| 病例类型 | 例数 | 靶区构成 | 处方要点 | 自动化的主要难点 |
|---|---|---|---|---|
| 前列腺单纯(prostate only) | 6 | 前列腺(含精囊按病例定) | 三档处方 74 Gy / 71 Gy / 60 Gy | 靶区边界贴直肠与膀胱,剂量跌落要求陡 |
| 前列腺+淋巴结(prostate + nodes) | 6 | 前列腺 + 盆腔淋巴结 | 前列腺按上档,淋巴结 60 Gy | 淋巴结为长条状、走行沿血管,勾画一致性差 |
| 术后前列腺床+淋巴结(prostate bed + nodes) | 4 | 瘤床 + 盆腔淋巴结 | 瘤床 66 Gy,淋巴结 50 Gy | 瘤床无可见肿块,只能依术前影像与手术记录推断 |
第三类是全赛最难的一类,原因不在算法而在信息:前列腺床(prostate bed)是前列腺切除后的术区,CT 上看不到肿瘤,靶区只能靠解剖标志(吻合口、膀胱颈、耻骨联合后缘等)与共识指南推定。三名勾画医生之间在这一类上的差异通常是三类中最大的,这与后文的分阶段病例数安排相互印证。
把三类展开来看,它们的难点性质完全不同:
- 前列腺单纯考的是边界精度。前列腺与直肠前壁、膀胱底之间只隔几毫米,靶区勾大一点直肠受量超标,勾小一点覆盖不足。自动化在这里的瓶颈不是「找到前列腺」,而是「决定边界画到哪一层」——这是一个临床判断问题,深度学习模型无法从 CT 灰阶里读到。
- 前列腺+淋巴结考的是长条结构的连贯性。盆腔淋巴结沿髂外、髂内、闭孔、骶前血管链分布,单个淋巴结可能只有几毫米,在 2.5 mm 层厚的 CT 上往往连成模糊的高密度影。自动勾画常见的失败模式是在血管与淋巴结之间来回跳,勾出一条不连续的长条。
- 术后床+淋巴结考的是推断。术区没有可见肿块,勾画医生要结合术前影像、手术记录与吻合口位置推出一个「曾经有前列腺的地方」。这类信息机器读不到,模型只能学到统计先验。
三类合起来,覆盖了前列腺放疗的三种典型工作量。这也是组织方选前列腺作为「示例」部位的理由:它包含了一个简单任务(器官可见)、一个中等任务(长条结构)、一个困难任务(结构不可见但需推断),而解剖变化又在临床医师熟悉的范围内。换成头颈或肺部,这个「由易到难」的梯度就不成立,因为困难来自完全不同的方向(靶区多、呼吸运动)。
需要提示的是,三类的例数(6/6/4)与实际评分分配(网络赛 4/4/2)并不一致。这说明组织方对「床+淋巴结」这类只放了 2 例进入主榜,是有意控制其权重——若按 6/6/4 平均分配,最容易出现观察者分歧的一类会占到近三成,主榜分数的稳定性会明显下降。
2.2 三阶段与病例分配
比赛分三阶段,病例数按阶段递增而不是按难度递增:
| 阶段 | 前列腺单纯 | 前列腺+淋巴结 | 床+淋巴结 | 合计 | 用途 |
|---|---|---|---|---|---|
| 格式确认 | 1 | 1 | 1 | 3 | 验证读入与上传,不计名次 |
| 网络赛 | 4 | 4 | 2 | 10 | 公开评分,主榜 |
| 现场赛 | 1 | 1 | 1 | 3 | 都灵现场,考察临场部署 |
全数据集 16 = 3 + 10 + 3。官网概览页写的是「十例前列腺癌患者」,指的是网络赛;论文写 16 例,指全数据集。两者不冲突,但引用时必须说明范围:只写「10 例」易被理解为格式确认与现场赛病例不计入数据资产,只写「16 例」会与官网原文对不上。
分三阶段的设计本身也值得注意。格式确认阶段的存在说明组织方预判到「格式错」会是主要淘汰原因之一:参赛方第一次提交时不知道自己导出的 RTSTRUCT 会不会被评分容器接受,所以先给一例试跑。这种「先验格式、再验方法」的流程设计,在成熟的挑战赛平台上已经是常规做法,但对于第一次办赛的组织方未必想得到。
现场赛的三例与前两阶段的性质不同。前两阶段可以离线慢慢调,现场赛要求在限定时间内当场跑通,考的是部署与操作,而不是算法。三个阶段的分数是否合并计算、还是各自排名,论文未明确说明;冠军团队自述三阶段均第一,这至少说明未出现「网络赛排名高、现场赛翻车」的分裂结果。
2.3 影像规格
| 项目 | 值 | 字段可靠性 |
|---|---|---|
| 设备 | GE Discovery RT(GE Medical Systems) | 依论文 Methods,确切 |
| 层厚 | 2.5 mm | 依论文 Methods,确切 |
| 面内像素间距 | 0.977 × 0.977 mm 至 1.074 × 1.074 mm | 依论文 Methods,确切 |
| 体位 | 论文未单列;按前列腺放疗常规为仰卧 | 依惯例推定,需自行核对图像头信息 |
| 扫描范围 | 论文未给,按盆腔放疗常规覆盖至腰骶 | 依惯例推定 |
| 对比剂 | 论文未提 | 语义存疑 |
| 匿名化 | 巴黎公立医院集团(AP-HP)回顾性收集并匿名化,经当地数据保护官批准 | 依论文 Methods,确切 |
单机单协议是这份数据最大的结构限制:16 例全部来自同一台扫描仪、同一套采集协议,层厚与像素间距的浮动范围不到 0.1 mm。好处是排除了设备差异这个混杂因素,使分数差异更可能来自算法;代价是把结论外推到其他厂商的扫描仪时不成立。
三个规格数字各自有实际含义:
层厚 2.5 mm 是盆腔 CT 模拟定位的常见取值。它决定了剂量计算在头脚方向的采样密度:层厚越厚,沿 z 轴的剂量梯度越粗糙,尤其在高剂量区与低剂量区交界处(靶区边缘外 1-2 cm)容易出现插值误差。对自动计划而言,这意味着剂量优化器看到的解剖在 z 轴上是被「切片化」的,靠层间插值补出来的结构边界(例如前列腺尖部)在计划系统里可能与勾画医生看到的并不相同。
面内像素 0.977 至 1.074 mm 的浮动来自重建视野(FOV)与重建矩阵的差异,不是扫描参数错误。这一点在比较不同病例的轮廓精度时会造成系统性偏差:像素更小的病例,体积较小的结构(淋巴结、精囊)占据的体素更多,勾画与自动分割都更容易,轮廓指标天然占优。若把 16 例算出的轮廓精度直接跨病例平均,结果里会混进与算法无关的尺度效应。处理办法有两个:一是把轮廓重采样到统一网格再算指标,二是按像素间距分层报告,不要给一个混合均值。
单一扫描仪(GE Discovery RT)的影响稍复杂。好处是设备相关的伪影模式一致:CT 上的金属伪影、束硬化条纹、床板边缘的密度跳变,只能来自同一种机型,不会出现「A 医院的图像能勾、B 医院的全崩」这种结果。坏处是「多中心泛化」这个自动勾画最常被质疑的能力,在本赛里完全没有被测到。论文结论里也没有把「泛化」列为已证事实,这一点值得肯定:它没有把单机数据说成「泛化良好」。
2.4 处方与约束
处方以机器可读格式随影像发放,这一点在放疗挑战赛里比较少见——多数分割赛的标签是掩膜,没有「意图」这一层。处方按病例类型定义:
- 前列腺单纯:分三档,74 Gy、71 Gy、60 Gy。三档对应不同的临床情形(根治剂量、降剂量、姑息或选择性照射),参赛方的系统必须能读到处方后自动调整,而不是套用一套固定参数。
- 前列腺+淋巴结:前列腺部分按上档,盆腔淋巴结 60 Gy。
- 术后床+淋巴结:瘤床 66 Gy,盆腔淋巴结 50 Gy。
约束侧对应一套正常组织限值(膀胱、直肠、股骨头、股骨颈、小肠/结肠袋等盆腔结构),逐项给出目标值与优先级。这些限值取自各机构的临床协议与该赛自己制定的评分规则,未在概览页公开逐项数值。
为什么强调「机器可读」这四个字?因为放疗计划的工作流里,处方通常以两种形态存在:一种是医生写在病历里的自由文本(「前列腺 74Gy/37f,直肠 V60 < 20%」),另一种是被计划系统解析的结构化约束。前者机器读不懂,后者才是优化器能直接用的。官网用 in a machine readable format 这个词组,实际是在限定一个技术门槛:参赛系统不能靠人把处方抄进参数表,必须能从文件里解析出剂量档、分次、结构名与约束。
这条门槛在当时的现实意义很大。知识库计划(knowledge-based planning)系统的输出质量高度依赖处方与约束的设置,而多数商用系统仍要求物理师手工配置这些参数。要求机器读处方,等于要求系统能替代物理师在「设置约束」这一步的判断,而这一步过去被认为最依赖经验。
代价也很直接:处方的字段定义没有公开。外部团队若想复现「读处方→改参数」这一步,只能从提交物的结构名与剂量值反推字段,或者向组织方索取样例。这是本赛在可复现性上最实的一处缺口,比「不给真值」更影响工程复现——真值只影响评分,处方 schema 影响的是流程能不能跑起来。
2.5 共识轮廓与参考计划
评分用的几何基准不是参赛方自己勾的轮廓,而是组织方预先制作的共识轮廓(consensus contours)。制作方式是请三位来自不同机构、有前列腺放疗经验的临床医生按已发表的指南勾画,必要时由剂量师协助。所依据的四份指南分别是:
- RTOG 盆腔正常组织勾画共识图谱(Gay 等,2012)。
- ESTRO ACROP 局限期前列腺癌 CT/MRI 靶区勾画共识(Salembier 等,2018)。
- 前列腺床术后勾画指南(Robin 等,2021,法语区泌尿放疗组)。
- 前列腺与盆腔淋巴结调强放疗的盆腔淋巴结勾画共识与图谱(Harris 等,2015)。
三名医生之间如何合成一份共识(多数投票、STAPLE、还是主诊医生裁定),论文摘要与官网概览未说明。这一点直接影响可复现性:如果知道合成规则,外部团队可以用自己的多观察者数据近似重建同口径的基准;不知道,就只能接受官方给出的单一分数。
评分时用了两套轮廓——组织方保存的共识轮廓,以及参赛方自己生成的轮廓。因为共识轮廓对参赛方不可见,双轮廓评分就成为本次比赛信息量最大的设计(详见 §5)。
2.6 提交物:三件套
参赛方每例要交三种 DICOM RT 对象:
- RTSTRUCT:所有靶区与正常组织的轮廓,命名需与处方中的结构名对应;
- RTPLAN:机器参数、射野或弧、优化结果,须能在放疗系统中调出并执行;
- RTDOSE:计划计算得到的三维剂量分布,须与 RTPLAN 的空间坐标一致。
加一份方法问卷,内容包括所用软件、自动化环节、以及(按官网原文)达到的自动化程度。问卷不是附赠品,它在评分之外提供了参赛方自评的口径,后文那个 69% 的数字就来自问卷。
§3 怎么拿到:注册制、无直链、无开放许可
3.1 三条入口的实际状态
想拿到这份数据,只有三条可能的路,每条都要单独核实:
| 入口 | 状态 | 说明 |
|---|---|---|
| Grand Challenge 赛事页 | 存在,内容完整 | 介绍、任务、评分与代码链接;无「下载数据」按钮 |
| 评分代码仓库 | 公开,MIT 许可 | 只有评分容器,不含任何病例数据 |
| 论文正文 | 无数据可用性声明 | 论文描述数据结构,未给出数据托管地址 |
官网的「数据」段只承诺两件事:不提供训练数据;每型提供示例以便参赛方验证读入与上传格式。它同时明确示例不配真值。这意味着即使赛事页仍在,能拿到的也只是示例级数据,而不是完整 16 例加共识轮廓。
3.2 许可的准确表述
三个来源都没有出现 CC 或类似的开放许可声明。这不是「没有许可」,而是「未公开许可」。两者的实际操作后果不同:
- 若写「无许可」,会被理解为数据不可用;
- 若写「开源」,会被理解为可以随意再分发;
- 准确的说法是「未附开放许可,获取与复用须向组织方确认」。
评分代码与数据是两件事:GitHub 仓库的 MIT 许可只覆盖代码,不覆盖任何患者数据。仓库 README 明确说代码基于 evalutils 0.3.1 生成后大幅改写,用于复算确认阶段的评分,并特意注明「真值不随代码发布」——这句注明的目的正是防止有人以为拿到代码就等于拿到基准。
3.3 合规要点
对打算在机构内部复用的团队,有四件事值得在启动前问清:
- 原始数据是 AP-HP 回顾性收集、经当地数据保护官批准的。跨境二次利用是否需要新的伦理审批,取决于使用机构所在辖区的规则。
- 数据以 DICOM 形式交付,头信息中的机构名、设备序列号等字段通常已被匿名化,但 CT 图像本身可被重建为面部或体表特征,不能当作完全不可识别的数据。
- 若用于商业产品的合规评估(例如证明某个自动计划模块的性能),评测结果能否公开引用、能否写成宣传材料,需要组织方书面许可。
- 若只想要「有真值、可训练」的前列腺数据,本赛不是合理选择,前列腺 MRI 分割与前列腺病理数据集更合适(见 §8)。
3.4 一份可操作的获取路线
把上面散落的判断收成一条实际路径,按顺序做:
- 先确认数据是否仍可申请。 打开 auto-rtp.grand-challenge.org,看首页是否仍挂着 2023 年赛事的参与入口,以及是否有新的「数据可用」说明。若页面只剩概览、没有加入或下载入口,基本可以判定为只面向当年参赛者。
- 再确认「示例」与「完整数据」的区别。 官网承诺过每型提供一例示例。示例能不能下载、示例是否附带处方、示例是否带轮廓,决定了你能否做最基础的格式解析测试。
- 联系通讯作者。 论文给出的通讯地址是 Gooding 与 Bibault 两人的邮箱,均带机构域名。写信时应说明三件事:研究目的、是否会公开结果、数据存放与销毁安排。学术请求通常按「研究用途」处理,但这不构成任何许可承诺。
- 同时准备替代方案。 若申请无回应,做评测研究可以转向 OpenKBP(有公开剂量真值)或库内多观察者轮廓集;做流程工程可以自行用公开分割集拼一条替代流水线。
- 保留通信记录。 数据用途争议在事后往往无法回溯,邮件往来是唯一凭证。
这条路线的每一步都可能卡住。把「卡在哪一步」记清楚,比拿到数据本身更重要——因为卡点正是写论文 Limitations 时的素材。
3.5 三种获取状态的术语区分
数据集的可获取性在文献里经常被写得含糊,实际至少要区分四种状态,本赛属于第三种:
| 状态 | 定义 | 典型表述 | 本赛 |
|---|---|---|---|
| 公开直链 | 无需审批,URL 可直接下载 | CC BY 数据集、Zenodo 记录 | 否 |
| 注册即可 | 注册账号、同意条款后下载 | TCIA、PhysioNet restricted | 否 |
| 赛事注册制 | 仅在赛事开放期、经队伍注册取得 | Grand Challenge 挑战赛、MICCAI 卫星赛 | 是 |
| 申请制 | 邮件或表单申请,逐案审批 | 多数医院内部数据、需伦理审批的队列 | 赛后可能转为此类 |
第三与第四的边界在赛事结束后会移动:原本按队伍发放的数据,可能转为「向组织方申请」,也可能彻底停止发放。由于本赛没有公开的赛后安排,说它是第三或第四都不准确,只能说「赛事期明确为第三类,赛后状态未公开」。
§4 质量与已知问题
4.1 优点与其边界
| 优点 | 具体表现 | 边界 |
|---|---|---|
| 终点设在临床末梢 | 评分只看计划是否满足约束,不看中间指标 | 约束阈值本身的临床权重未公开加权 |
| 输入含治疗意图 | 处方为机器可读格式,系统须适配不同剂量档 | 处方格式的字段定义未公开 |
| 双轮廓评分 | 同一系统在共识轮廓与自己轮廓下分别打分 | 差距被报告,但差因未做因素分解 |
| 无训练集 | 杜绝过拟合,分数反映部署能力 | 无法从数据中学到任何东西,做模型训练无用 |
| 评分代码公开 | 可审阅评分逻辑、核对计算 | 真值不公开,只能核对代码逻辑不能复算分数 |
这五条优点里,只有第一条是这份数据独有、其他放疗基准不具备的。第二到第五条在成熟的分割挑战赛里都能找到——机器可读输入在其他赛里也有,双评分在观察者间变异研究里常见,无训练集是剂量预测赛早期也做过的设计。真正稀缺的是第一条:把「计划是否可交付」而不是「某个中间指标是否达标」作为主评分。
这也解释了它为什么只能有 16 例。「可交付计划」意味着每一例都要有一份参考计划与一套逐项约束,还要有共识轮廓作分母。做一次完整计划从勾画到剂量计算再到医师审核,耗时可抵几十例器官分割标注。样本量与评测深度在这里是直接此消彼长的关系:想要多中心、多部位的覆盖,就必须退回只考剂量或只考轮廓的浅层评测。
4.2 规模与代表性
16 例的样本量决定了它只能支撑「系统级」结论,不能支撑「分层」结论。按病例类型拆开,网络赛的 10 例里前列腺单纯 4 例、前列腺+淋巴结 4 例、床+淋巴结 2 例;现场赛每型各 1 例。要在「床+淋巴结」这一类上做任何统计陈述,可用样本只有 2 例(网络赛)或 3 例(含现场赛)。论文报告的比例数字是全病例汇总,没有给出按类型拆分的结果——这是引用时最容易越界的地方:不能把 81.8% 读成「床+淋巴结类做得好/差」。
单一解剖部位(前列腺区)、单一设备、单一协议,是比样本量更实质的限制。自动计划的难度高度依赖部位:头颈的靶区多、危及器官密集且边界不清,肺部的靶区随呼吸运动,乳腺的靶区贴合体表。前列腺区恰好是解剖最规整、靶区边界最清楚的部位之一,这也正是组织方选它作为「示例」的原因(论文原话大意:前列腺的靶区在解剖上定义明确)。因此这份数据的结论外推到其他部位时,方向可以借,幅度不能借。
4.3 已知问题(假设—支持—反对)
把三个「说不清」的问题写成三列表,比含糊带过更有用:
| 假设 | 支持证据 | 反对证据 |
|---|---|---|
| 分数差距主要来自轮廓差异 | 同一系统自产轮廓下 89.5%、共识轮廓下 81.8%,方向一致且幅度不小 | 差因未分解:也可能是自产轮廓与自己的计划更匹配(自洽性红利),不一定是轮廓更准 |
| 少数系统代表整体水平 | 13 份作品中多数系统有监管许可(自动勾画 82.5%、自动计划 77%) | 参赛方多为已商业化或接近商业化的团队,学术原型系统的表现被低估 |
| 「全程自动」在 2023 年已接近可用 | 冠军在自产轮廓下 10 例有 4 例全达标,多数计划无需或仅需微小调整 | 共识轮廓下 10 例仅 1 例全达标;69% 的队伍自报提交前看过结果,说明从业者对结果本身没有信心 |
第三行值得展开。论文结论的措辞是:从定位 CT 到可交付计划的全流程自动化在前列腺与前列腺床放疗中是可能的;许多生成的计划被评为无需调整或仅需微小调整就可算临床可接受;但仍存在对这些系统的不信任,阻碍了完全自动化。这段话把技术可行与流程可信分开,是这份数据最值得引用的一句判断。
4.4 为什么用记分卡而不是剂量差
这个选择值得单独解释,因为它决定了这份数据的结论能用来回答什么问题。
剂量预测类研究习惯用剂量差(mean absolute dose error、DVH 参数误差)衡量模型好坏。这类指标的优点是连续、可比、易算,缺点是与临床接受度脱钩:一个模型在 PTV 内的平均剂量误差只有 1 Gy,但把直肠 V70 的某个点推高了 5%,临床上可能要重做;反过来,平均误差 2 Gy 但所有约束都满足的计划可能就是能用的。
记分卡的逻辑反过来:先定义哪些约束必须满足,再看满足了多少项。它衡量的是「够不够用」,不是「像不像」。冠军论文里那两个百分比(81.8% 与 89.5%)正是按这个口径算的——「满足最低目标的比例」,不是百分制得分。
两种口径各有用处。做算法迭代时,剂量差能提供梯度信号;做系统验收时,约束达成率才对应临床关切。Auto-RTP 选后者,是因为它要回答的问题不是「自动计划能贴近参考计划到什么程度」,而是「现在的自动计划能不能直接拿去用」。这是竞赛设计层面的一个判断,不是方法优劣。
代价是分数的分辨率变低。约束达成是一个二值或分级事件,13 支队伍落在几十项约束上,分数很容易挤在一起,区分度不如连续的剂量差。另一个可能的解释是组织方要补上量化分数覆盖不到的那部分临床判断,这种目视评估的做法本身是计划质量研究中的常规做法,与分数区分度无关。
4.5 一个必须注意的统计口径问题
「满足最低目标的百分比」这个指标有一个容易忽略的分母问题:分母是全部病例的全部目标项之和,还是每例的目标项数之平均?两种算法在病例目标项数不等时会给出不同结果,而本赛三类的靶区与正常组织结构数并不相同——前列腺+淋巴结类的约束项比前列腺单纯类多(多了淋巴结相关的项)。
这意味着 81.8% 这个数字不能简单理解为「每例平均满足八成」。如果约束项多的病例权重更大,那么「淋巴结类做得好」的贡献会被放大;如果按病例等权平均,则每例同等重要。论文摘要没有说明用的是哪一种,只给出了汇总值。
对使用者的实际建议是:引用这个数字时保留「汇总口径、未按类型拆分」的限定。若自己的评测要按类型拆分,须在报告里同时给出两种加权方式的结果,否则会引出与原论文不同却又看似可比的数字。这是把公开基准用作对照时最常见的隐性失真来源——不是算法不同,而是分母不同。
4.6 数据质量的具体风险
- 层厚 2.5 mm 对剂量计算的影响:盆腔放疗计划通常在 2.5 mm 层厚的 CT 上计算,属于临床常规,不构成缺陷;但做剂量预测类研究时,样本的分辨率会限制模型的空间精度上限。
- 轮廓命名未统一:论文与官网未列出结构名的标准字典。用 RTSTRUCT 自动解析时,不同病例可能对同一器官使用不同命名(如 bladder 与 Bladder、CTVn 与 CTV_N),需自建映射表。
- 处方格式的机器可读性:机器可读不等于有公开 schema。外部团队若想复现「读处方→调参数」这一步,需要先弄清字段定义,而这部分未公开。
§5 评分体系:两块五十分
5.1 分数构成
评分采用计划记分卡(plan scorecard)的思路,源头是 Nelms 等人在 2012 年提出的跨机构计划质量比较方法。结构很直白:
- 靶区目标(target objectives)达成情况,满分 50 分;
- 正常组织约束(normal tissue constraints)达成情况,满分 50 分;
- 合计 100 分。
每一项约束有自己的目标值与优先级,达成得分,未达成按超出程度扣分。计分时对两套轮廓分别计算:一套是组织方保存的共识轮廓,一套是参赛方自己提交的轮廓。前者考「在标准题面上的答案」,后者考「自洽性」——如果用自己勾的轮廓做的计划在自己的轮廓下都打不高,说明流程内部就不一致。
「目标」与「约束」这两个词在放疗里有明确分工,读评分规则时要分清。目标是希望达到的剂量学理想值(例如靶区达到处方剂量的体积比例),约束是不允许越过的上限(例如直肠某高剂量水平的受照体积)。前者未达到扣分相对轻,后者越界扣分重,因为它们对应的临床后果不同:覆盖不足影响肿瘤控制,越界影响并发症。本赛把两者都放进同一套记分卡,合计 100 分,但没有公开两者的权重比例,这一点对复现影响很大——同一份计划在「重覆盖」与「重保护」两种权重下会得到不同名次。
5.2 次要指标与副奖
除主分数外,比赛报告但不计分一些次要指标,论文点名的是轮廓 added path length(勾画医生需要额外补画或擦除的轮廓长度,用来度量轮廓编辑工作量)。这个指标放在放疗语境里更贴切:临床上真正耗时的不是勾画本身,而是修正。
另设一个「专家最爱」(expert’s favourite)副奖。做法是组织一个专家小组目视评估计划,判断其临床可接受性并选出最偏好的方案。这本质上是把「计划能不能用」交给临床直觉判断,与记分卡的量化打分构成一对互补证据:分数高但专家不喜欢的计划,恰好是量化指标漏掉了某种临床考量的信号。
5.3 结果
论文报告收到 13 份参赛作品。冠军系统在共识轮廓下满足全部病例最低目标的 81.8%,10 例中 1 例全部达标;同一系统在自产轮廓下达标率 89.5%,4 例全部达标。冠军团队(阿拉巴马大学伯明翰分校)在其方法论文中自述在三个阶段均获第一,其方案由四部分组成:基于 nnU-Net 的自动勾画、RapidPlan 知识库计划、多目标优化(MCO)与计划记分卡。
这个组合值得注意:它没有用端到端神经网络从 CT 直接回归计划,而是把成熟组件串成流水线——勾画用深度学习,计划用基于历史病例的知识库模型,调优用多目标优化。也就是说,夺冠的不是「一个大模型」,而是「一条工程化的流水线」。对想复现的团队,这个结论比任何一个百分比都实用。
5.4 三个比例数字的读法
论文摘要里有三个百分比容易被误读:
| 数字 | 原文含义 | 常见误读 |
|---|---|---|
| 82.5% / 77% | 参赛系统中,自动勾画模块 / 自动计划模块具备监管许可的比例 | 被读成「勾画准确率 82.5%」 |
| 69% | 队伍自报提交前看过自己的结果 | 被读成「69% 的计划需要人工修改」 |
| 81.8% | 冠军在共识轮廓下满足的最低目标比例 | 被读成「计划质量评分 81.8 分」 |
三个数字都与分数无关,但都能被读成分数。引用时把「具备监管许可的系统占比」与「满足目标的比例」分开写,是最省事的防错办法。
§6 能做什么:任务清单与最小示例
6.1 四类可做的研究
| 研究类型 | 用这份数据怎么用 | 注意事项 |
|---|---|---|
| 自动化流程评测 | 把自家流水线跑到 10 例网络赛病例上,与 13 份参赛作品的分数量级对照 | 需先取得官方评分代码与评估协议;分数不可直接与论文数字比,除非评估口径一致 |
| 轮廓不确定性的剂量影响 | 用多组轮廓(共识 + 自产 + 公开的多观察者数据)分别计划,比较剂量学差异 | 共识轮廓不公开,需自建替代方案 |
| 计划质量的可解释性 | 用记分卡的分项分数反推哪些约束最难满足 | 分项分数不公开,只能自算 |
| 处方解析与参数自适应 | 测试系统能否读懂不同剂量档并自动改参数 | 处方 schema 未公开,需逆向 |
不太适合的用途有两个:训练分割模型(无真值)、训练剂量预测模型(只有 16 例且无完整参考计划)。想做这两件事,应转向有公开真值的大样本集合。
6.2 最小可执行示例(流程骨架)
下面这段代码模板演示的是「怎么把一次自动计划评测跑起来」的骨架,不是可直接运行的完整程序。它的作用是看清环节边界:读入、勾画、计划、导出、评分,每一步都可以换实现。
"""伪代码:Auto-RTP 式端到端评测骨架。
示意用,需按实际 DICOM 与评分容器接口改写。"""
import pydicom
from pathlib import Path
CASE_DIR = Path("./case_01") # 单例目录:CT 序列 + 处方文件
ct_series = [pydicom.dcmread(f) for f in sorted(CASE_DIR.glob("CT/*.dcm"))]
prescription = load_prescription(CASE_DIR / "prescription.json") # 字段定义待确认
struct = auto_contour(ct_series) # 环节一:靶区与 OAR,禁手动编辑
plan = auto_plan(struct, prescription) # 环节二:按处方档位生成机器参数
dose = calc_dose(plan, ct_series) # 环节三:剂量计算,产出 RTDOSE
export_dicom_rt(struct, plan, dose, CASE_DIR / "output") # 三件套,DICOM RT
score_consensus = score(struct=CONSENSUS, plan=plan, dose=dose) # 共识轮廓
score_self = score(struct=struct, plan=plan, dose=dose) # 自产轮廓
骨架里最容易被忽略的是第 6 步的双轮廓评分。只算一个分数,就丢掉了这份数据设计上最有价值的那一半信息。
6.3 一个更贴近真实工作流的变体
本赛的题型是「一例一个任务」,真实临床里则是「一批病例一周内排完」。把评测从单例扩展到批量,会暴露单例评测看不到的问题:
- 处方多样性:真实科室一周内会同时出现不同剂量档、不同分次数的处方。赛题已用三档处方模拟了这一点,但仍限于三类病例。批量评测时应再补入器械选择、是否加用激素治疗导致的靶区边界差异等变量。
- 剂量限制的机器差异:不同加速器(TrueBeam、Halcyon、Versa HD 等)的叶片宽度、最大射野、机架速度不同,同一组约束在 A 机上可达、在 B 机上不可达。本赛把「机器选择」留给参赛方自定,这在真实工作流里不成立。
- 排程约束:真实排程要顾及设备占用时间。一个自动计划每例耗时从 20 分钟到 2 小时不等的系统,即使分数高也未必能上线。本赛没有记录耗时,这是一个缺失维度。
把这三点补进自己的评测设计后,得到的结论会比「复现 81.8%」更贴近工程决策。反过来说,如果目的只是论文对标,保持单例评测就够了,不必额外增加变量。
6.4 与库内分割数据集的组合用法
Auto-RTP 给的是「终点」,库内多个分割集给的是「训练材料」,两者组合的方式很直接:
- 用头颈或胸部 OAR 分割集训练自动勾画模块(注意解剖部位不同,只能迁移方法不能迁移权重);
- 用本赛的 10 例网络赛病例测端到端流程;
- 用分割集自带的真值测勾画环节的几何精度,用本赛的记分卡测计划环节的临床达标度;
- 两组结果分开报告,不要用一个综合分数混在一起——它们度量的东西不同。
§7 常见误读与引用陷阱
| 常见说法 | 实际口径 | 证据位置 |
|---|---|---|
| Auto-RTP 是自动勾画挑战赛 | 终点是可交付计划,勾画只是中间环节;名字里的 RTP 指 Radiotherapy Treatment Planning | 官网标题与 Task 段 |
| Auto-RTP 是剂量预测赛 | 剂量是提交物之一,评分看靶区与危及器官的约束达成,不看剂量图误差 | 官网 Evaluation 段 |
| 数据集有 10 例 | 官网的 10 例是网络赛;全数据集 16 例(3 + 10 + 3) | 官网 vs 论文 Methods |
| 数据集有 16 例前列腺单纯病例 | 16 例中只有 6 例是前列腺单纯,其余是前列腺+淋巴结 6 例、术后床+淋巴结 4 例 | 论文 Methods |
| 这是一份大规模训练集 | 官方明确不提供训练数据,也不给真值;示例仅用于格式验证 | 官网 Dataset 段 |
| 数据是 CC BY 或 MIT 许可 | 只有评分代码是 MIT;数据未附开放许可 | GitHub 仓库许可页标识与 README |
| 冠军分数是 81.8 分 | 81.8% 是满足最低目标的比例,不是百分制得分 | 论文摘要 Results |
| 82.5% 是勾画准确率 | 82.5% 是参赛系统中自动勾画模块具备监管许可的比例 | 论文摘要 Results |
| 参赛方都遵守了不许人工干预的规则 | 69% 自报提交前看过结果,与硬规则相悖 | 论文摘要 Results |
| 自动化已在放疗计划中全面落地 | 多数计划无需或仅需微调即可接受,但从业者仍不信任系统,全自动化受阻 | 论文结论段 |
技术陷阱一:案例数与阶段数混淆。 格式确认阶段 3 例、网络赛 10 例、现场赛 3 例,三个阶段用的是不同病例,不是同一批病例的重复使用。把 3 + 10 + 3 写成「16 例重复评测」是错的。
技术陷阱二:处方档位被当成固定值。 前列腺单纯有三档处方(74/71/60 Gy),目的是逼系统读处方而不是套模板。复现时若把 74 Gy 当作唯一档位,就等于跳过了一个考点。
技术陷阱三:把双轮廓评分当成两次独立评测。 两套轮廓评的是同一份计划,差别只在用谁的轮廓当作分母。用它来论证「轮廓质量决定分数」时,须承认自洽性红利的存在。
技术陷阱四:把单一设备的结论外推到多中心。 16 例全部来自一台 GE Discovery RT、一套 2.5 mm 协议。这是排除混杂因素的有意设计,不是采样不足的巧合;引用时不能写成「多中心数据验证了自动计划的泛化性」。
技术陷阱五:把 DICOM RT 三件套当成普通影像文件。 RTSTRUCT、RTPLAN、RTDOSE 都是带引用关系的对象,RTPLAN 引用 RTSTRUCT,RTDOSE 引用 RTPLAN,任一处 UID 对不上,放疗系统就拒绝加载。数据工程上最常见的事故是逐例重写 UID 时破坏了这层引用链。
技术陷阱六:在无真值的情况下声称「复现了论文分数」。 共识轮廓不公开、分项分数不公开,外部团队只能拿到团队级的总分口径,无法逐项复算。能做的是「按同一评分逻辑重跑自己的系统」,不是「复现官方排名」。
技术陷阱七:把「无训练数据」读成「数据不完整」。 官网说不提供训练数据,是赛题设计,不是数据没做完。若在综述里写成「该数据集缺少训练集,属于半成品」,是把设计意图误读成质量缺陷。
技术陷阱八:用 DICOM 头里的患者信息做年龄或体型分析。 数据来自回顾性收集并匿名化,头信息里的年龄、性别未必保留完整;即使保留,16 例也不足以支撑任何分层分析。拿它做人口学统计是尺度的误用。
技术陷阱九:把 13 份作品的分数当成行业平均水平。 参赛方是自愿报名、且多为已有产品的团队,存在明显的自选择偏差。13 支队伍不能代表全部开发者,只能代表「愿意参加公开评测的那部分」。
7.1 误读的成因
上面这些误读不是粗心,多数有其来源:
- 缩写误导:Auto-RTP 里的 RTP 在放疗语境里不是常识缩写,第一反应往往是 autocontouring。
- 官网滞后:官网仍写着「十例、两类」,与论文的「16 例、三类」不一致;只查官网的人会漏掉术后床这一类。
- 许可混淆:GitHub 页面上「MIT license」四个字非常醒目,而数据许可声明根本不存在。显眼的信息优先被采信,缺失的信息被当成没有。
- 百分比与分数混淆:81.8 与 81.8% 在小数点后一位上完全一样,视觉上极易滑过去。
针对这四条成因,最有效的防错办法是「三源对照」:官网、论文、代码仓库各看一次,凡是只有一处支持的数字都标为待核。这比记住具体结论更管用,因为下一次遇到的可能是另一份数据。
§8 在生态中的位置
8.1 与相邻挑战赛的分工
放疗自动化领域的公开基准可以按「考哪一段」排成一条线:
| 基准 | 年代 | 考什么 | 与本赛关系 |
|---|---|---|---|
| 头颈自动分割挑战(MICCAI 2010 系列) | 2010 起 | 腮腺等少数器官的勾画 | 勾画环节的早期基准 |
| AAPM 胸部自动分割挑战 | 2017 | 胸部 OAR 勾画 | 勾画环节,部位不同 |
| OpenKBP / OpenKBP-Opt | 2020-2022 | 剂量预测(知识库计划) | 只考剂量图,不考可交付计划 |
| Auto-RTP | 2023 | 从 CT 与处方到可交付计划 | 唯一把终点设在计划上的基准 |
| 各类 OAR 分割挑战(StructSeg、HaN-Seg、PDDCA 等) | 2019 起 | 器官轮廓的几何精度 | 本赛的上游环节 |
这条线说明一件事:放疗自动化的评测长期是「分段考」的——勾画考 Dice,剂量考 MAE,计划质量则各家自评。Auto-RTP 的意义在于把分段考改成整段考,代价是样本量必须小(每例都要做完整计划并逐例评分,成本远高于勾画标注)。
8.2 与库内条目的关系
| 条目(rid) | 关系 | 互链理由 |
|---|---|---|
| StructSeg 2019(799) | 上游 | 头颈与胸部 CT 的 OAR 分割,是自动勾画模块的训练材料来源 |
| LCTSC(277) | 上游 | 肺癌放疗 CT 的 OAR 勾画,同一套 RTOG 图谱体系 |
| HaN-Seg(447) | 上游 | 头颈 OAR 的 CT/MR 多模态分割,方法可迁移 |
| PDDCA(454) | 方法论邻近 | 头颈 OAR 勾画基准,重点在多机构观察者间差异,与本赛的共识轮廓问题同源 |
| HECKTOR(461) | 生态邻近 | 头颈 PET/CT 分割与预后,同属 ESTRO/MICCAI 卫星赛生态 |
| HECKTOR 2026(638) | 生态邻近 | 同赛事后继届,任务扩展到分期与预后 |
| BraTS-MEN(949) | 用途邻近 | 含 750 例放疗规划 T1c 靶区,脑部放疗的靶区数据 |
| COBRA2026(1197) | 部位邻近 | 盆腔放疗 CBCT 原始投影,与本赛同属盆腔放疗影像 |
| Head-Neck-Radiomics HN1(946) | 用途邻近 | 计划 CT 队列,可作剂量组学研究的外部验证 |
| Head-Neck-CT-Atlas(1051) | 用途邻近 | 计划 CT + OAR/靶区轮廓 + 匹配临床变量 |
| Prostate158(703) | 部位邻近 | 前列腺 MRI 分割 + 临床变量 |
| PROMISE12(540) | 部位邻近 | 前列腺 MRI 多中心分割基准 |
| PI-CAI(555) | 部位邻近 | 前列腺 MRI 癌症检测基准 |
这些关系里没有「同一实体」的情形:库内所有放疗相关条目都以「给真值、可训练」为主,本赛是唯一一份「不给真值、只考交付」的。
按关系类型再归一次类,便于判断该不该互相引用:
- 上游(提供模型或训练材料):StructSeg 2019、LCTSC、HaN-Seg。这三份都是「给 CT 与轮廓」的分割集,正好补上本赛缺的那块——自动勾画模块的训练数据。引用时的正确表述是「在某分割集上训练,在 Auto-RTP 上评测」,不能写成「在 Auto-RTP 上训练」。
- 方法论同源:PDDCA。它做的是多机构观察者之间的轮廓差异,与本赛共识轮廓的形成机制是同一个问题,只是考察对象不同——PDDCA 测「医生之间差多少」,Auto-RTP 测「机器与医生共识差多少」。
- 生态邻近:HECKTOR 与 HECKTOR 2026。同属放疗/肿瘤影像卫星赛,但任务完全不同(分割与预后 vs 端到端计划),引用时只能作为「挑战赛生态越来越细」的例证。
- 部位邻近:COBRA2026、Prostate158、PROMISE12、PI-CAI。前一个同属盆腔放疗影像,后三个同属前列腺解剖但为 MRI 与诊断任务,与本赛的 CT 计划任务不重叠。
- 用途邻近:BraTS-MEN、Head-Neck-Radiomics HN1、Head-Neck-CT-Atlas。都是「计划 CT 或放疗规划影像」,可用于说明放疗影像数据在公开资源里的分布形态。
五组关系里,只有上游组具备实际的组合使用价值。其余四组适合在「相关资源」段落做中性列举,不适合写成「替代方案」,因为它们不能替代本赛的任何用途。
8.3 外部对照(不在库内)
OpenKBP 是距离最近的对照。它是知识库计划挑战赛,2020 年发布 340 例头颈病例的剂量数据,要求参赛方从 CT 与轮廓预测剂量分布;其后续 OpenKBP-Opt 把评测扩展到 76 条可复现的计划流水线。两者的差别是评测哲学上的:OpenKBP 给了真值剂量,可以算误差;Auto-RTP 不给真值,只能按约束达成度打分。前者适合做算法迭代,后者适合做系统验收。
把两者并排看,就能看清「剂量预测」与「端到端计划」之间缺的那一环:
| 对比项 | OpenKBP | Auto-RTP |
|---|---|---|
| 部位 | 头颈 | 前列腺区 |
| 病例数 | 340 | 16 |
| 是否给训练数据 | 给(分训练/验证/测试) | 不给 |
| 是否给真值 | 给剂量真值 | 不给 |
| 提交物 | 预测剂量 | 轮廓 + 计划 + 剂量 |
| 主指标 | 剂量误差(DVH 相关) | 约束达成率 |
| 评测到的环节 | 从轮廓到剂量 | 从 CT 到处方到剂量 |
缺的那一环是「从预测剂量到可执行机器参数」。剂量预测模型输出的是一个三维剂量分布,要变成能上机的计划,还要经过逆向优化、序列设计、机器限制检查。Auto-RTP 之所以难,正是因为它把这一环也包进来了——模型必须交出 RTPLAN,而不只是 RTDOSE。
另一个差别是失败模式的可诊断性。OpenKBP 的任务失败时,误差图能直接指出哪块区域预测歪了;Auto-RTP 的任务失败时,分数只告诉你「有 N 项约束没达标」,不告诉你是轮廓画歪了、优化没收敛、还是剂量计算设置错了。这也是为什么本赛的双轮廓评分特别重要:它至少能把「轮廓环节」从其他环节里分离出来,给出两个分数作对照。
再往外一层,放疗 AI 的公开数据生态还有两条支线。一条是分割数据的堆积(各类 OAR 挑战赛),一条是计划数据的稀缺。Auto-RTP 处在后一条支线上,且是少有的把计划与影像同时公开(哪怕是有限的 16 例)的一次尝试。这个位置决定了它的引用场景:讲「数据稀缺」时引用它,比讲「方法先进」时引用它更贴切。
§9 结论与适用边界
9.1 适用
- 需要评测端到端自动计划流水线的团队,尤其是已把勾画与计划模块串成产品、想找外部基准验证的厂商。
- 研究轮廓不确定性如何传导到剂量学结果的研究组。
- 做放疗 AI 产品合规评估、需要一份「临床终点式」评分口径的机构。
- 想了解 2023 年放疗自动化真实水平的研究者——论文那组数字(13 份作品、81.8%、69%)比任何综述都具体。
9.2 不适用
- 想训练分割或剂量预测模型:无真值、无训练集、仅 16 例。
- 想覆盖头颈、胸、腹、乳腺等部位:全部病例限于前列腺区。
- 想验证多中心泛化能力:单一设备、单一协议。
- 想直接商用数据:无开放许可,须先向组织方确认。
9.3 三句话总结
- Auto-RTP 是放疗自动化评测里少有的「整段考」:从 CT 与处方出发,终点是能被放疗系统读入并执行的三件套 DICOM 对象。
- 它的价值不在数据量(16 例),而在评分口径(靶区 50 分 + 正常组织 50 分、双轮廓评分)与那组说明现状的数字(13 份作品、冠军 81.8%、69% 看过结果)。
- 用它之前先确认三件事:拿到的是 10 例还是 16 例、有没有共识轮廓、许可是否谈妥——这三件事没确认,任何复现结论都站不住。
9.4 对三类使用者的具体建议
如果你是放疗科物理师,想评估某个自动计划模块。 最实际的做法是先在本地取 3 到 5 例自家病例,用本赛的约束结构(靶区目标 + 正常组织限值,各 50 分)自建一份记分卡,再拿本赛的公开分数作量级参照。这样做的理由是:本赛的 16 例不在你手上,但评分口径可以照搬;照搬后得到的分数虽然不能与论文数字直接比,却能横向比较你手上的几个模块。
如果你是算法研究者,想训练一个端到端计划模型。 本赛不适合做训练数据。可行路径是先在有真值的大样本剂量数据上训练剂量预测,再在把小样本计划数据(本赛若能取得)用作微调与评测。须注意两件事:剂量预测与机器参数生成之间隔着逆向优化,端到端训练需要计划系统的可微分代理;样本只有 16 例时,任何微调都极易过拟合,交叉验证比留出法更必要。
如果你是产品合规或临床评估人员。 这份数据能提供的不是「性能证明」,而是「评测框架」。它的价值在于给出了一套把临床约束转成可计算分数的结构,以及一个公开的对照组(13 份作品的分数量级)。在监管材料里引用时,只能写「按 Auto-RTP 的记分卡结构复算」,不能写「达到 Auto-RTP 冠军水平」——后者需要同一份数据、同一套约束、同一套轮廓,三者缺一不可。
9.5 上手路径:从零到第一个分数
如果决定用这份数据,建议按下面六步走,每一步都能独立停下来评估要不要继续:
第一步,建立口径文档。 先不碰数据,把记分卡结构写成一份内部文档:靶区目标 50 分、正常组织约束 50 分,各自有哪些项、阈值多少、超出如何扣分。这份文档的作用是逼自己先想清楚「什么算达标」,而不是先跑起来再找指标。
第二步,确认数据边界。 分清 10 例与 16 例、有无共识轮廓、处方是否可解析。这三件事任何一项不成立,后面所有分数都无法与公开结果对照。
第三步,跑通格式。 把一例的 CT 读进来,导出一份空的 RTSTRUCT、一份占位的 RTPLAN、一份全零 RTDOSE,确认能被第三方 DICOM 阅读器打开。这一步最容易出问题,因为 DICOM RT 的引用关系比普通影像复杂。
第四步,做单环节评测。 先只评勾画,用自建的多观察者轮廓做参照;再只评计划,用人工计划做参照。把端到端拆成两段评,失败时才能定位。
第五步,端到端跑全例。 用同一套参数跑完所有可得的病例,记录每例的分项得分与失败样例。
第六步,写限制。 在论文或报告里明确写:样本 16 例、单一部位、单一设备、无真值、不可复现官方排名。这五条是这份数据自带的限制,不写就是误导。
这条路径的关键在第四步。跳过拆段评测直接跑端到端,得到的分数只能告诉你「行或不行」,无法告诉你「哪一步不行」。
9.6 结论强度分级
按本库的结论强度分级,正文里各类陈述的可靠程度如下:
| 强度 | 判据 | 本篇对应的陈述 |
|---|---|---|
| A | ≥3 条独立证据线 | 全称与缩写、主办方与场合、16 例与三阶段构成、13 份作品、冠军达标百分比、评分 50+50 结构、处方剂量档 |
| B | 2 条证据线 | 数据许可状态(官网 + 论文 + 代码仓库三处均未声明,属「缺失的一致」)、共识轮廓由三名临床医生勾画、现场赛地点与日期 |
| C | 单一来源 | 共识轮廓的合成规则(未说明)、处方约束的逐项数值(未公开)、扫描体位与范围 |
| D | 推断 | 「前列腺区三类病例构成由易到难的梯度」、组委会有意用单机单协议排除设备混杂因素、组委会有意压低床+淋巴结类权重 |
§10 时间线与事件表
把散在各节的时间点集中排成一张表,便于核对引用时态。表中每行只保留来源可查的日期,推断值另段说明:
| 时间 | 事件 | 来源 |
|---|---|---|
| 2023-07-03 | ESTRO 物理工作坊现场环节的参加申请截止(须注明参赛意向) | 官网 Workshop 段 |
| 2023 年夏 | 格式确认阶段(3 例)与网络赛(10 例)相继进行 | 论文表 1 的分阶段设计 |
| 2023-10-14 | 现场赛,意大利都灵 | 冠军论文表 1 脚注 |
| 2024-09-01 | 赛事总结论文于 Radiotherapy and Oncology 上线 | PubMed 记录(PMID 39222848) |
| 2024 年 | 冠军团队的方法论文于 Physics and Imaging in Radiation Oncology 发表 | PIR 文章号 S0167-8140(24)04260-9 |
| 2026-10-18 | 本次核验,官网未新增数据可用性声明 | 本次抓取 |
表格里有两处只能给到年份或季度,不能给到具体日期:格式确认与网络赛的起止日期官网未写,只能按现场赛在 10 月中旬倒推为 2023 年夏。引用时若要精确到日,只能引现场赛那一条。
时间线上还有一个空档值得注意:从现场赛(2023 年 10 月)到论文上线(2024 年 9 月),中间隔了近一年。这段时间里赛事结果只在现场公布,没有公开榜单,因此 2024 年之前引用这项赛事的文献,多数只能引官网概览而不是分数。这也是为什么有些早期综述在提到 Auto-RTP 时只描述题型、不给结果的缘故。
附录
A. 关键数字速查
| 数值 | 含义 |
|---|---|
| 16 | 全数据集病例数 |
| 6 / 6 / 4 | 三类病例数(单纯 / +淋巴结 / 床+淋巴结) |
| 3 / 10 / 3 | 三阶段病例数(格式确认 / 网络赛 / 现场赛) |
| 4 / 4 / 2 | 网络赛 10 例的类型构成 |
| 13 | 参赛作品数 |
| 2.5 | 层厚(mm) |
| 0.977–1.074 | 面内像素间距(mm) |
| 74 / 71 / 60 | 前列腺单纯的三档处方(Gy) |
| 66 / 50 | 床 / 盆腔淋巴结处方(Gy) |
| 50 + 50 | 靶区与正常组织的分数构成 |
B. 缩写表
| 缩写 | 全称 | 中文 |
|---|---|---|
| Auto-RTP | Fully Automated Radiotherapy Treatment Planning | 全自动放射治疗计划 |
| IMRT | Intensity-Modulated Radiation Therapy | 调强放疗 |
| VMAT | Volumetric Modulated Arc Therapy | 容积旋转调强 |
| OAR | Organ at Risk | 危及器官 |
| CTV / PTV | Clinical / Planning Target Volume | 临床 / 计划靶区 |
| MCO | Multi-Criteria Optimization | 多目标优化 |
| KBP | Knowledge-Based Planning | 知识库计划 |
| APL | Added Path Length | 附加路径长度(轮廓编辑量) |
| RTSTRUCT / RTPLAN / RTDOSE | DICOM RT 对象 | 轮廓 / 计划 / 剂量 |
| ESTRO | European Society for Radiotherapy and Oncology | 欧洲放射肿瘤学会 |
| RTOG | Radiation Therapy Oncology Group | 放射治疗肿瘤学组 |
| ACROP | Advisory Committee on Radiation Oncology Practice | ESTRO 放疗实践咨询委员会 |
| GC | Grand Challenge | 挑战赛托管平台 |
C. 使用前检查清单
- 确认手上是网络赛 10 例还是全数据集 16 例。
- 确认是否附带共识轮廓——没有共识轮廓,双轮廓评分无法做。
- 确认处方格式的字段定义,否则「读处方」这一步无法实现。
- 确认 DICOM RT 引用链完整(RTPLAN 引 RTSTRUCT,RTDOSE 引 RTPLAN)。
- 确认许可与伦理边界,特别是跨境复用与商用评估。
- 确认评分口径:自算分数不能与论文数字直接比较。
D. 未覆盖内容
- 逐队完整排名与各例分项分数:未公开。
- 共识轮廓的合成规则(投票/STAPLE/裁定):未公开。
- 现场赛(都灵)的独立结果:论文未单独报告。
- 处方与约束的完整字段定义:未公开。
- 参赛系统名单与厂商:论文未逐一点名。
E. 检索模板
- 查官网:
auto-rtp.grand-challenge.org - 查论文:PubMed 检索
Gooding Fully automated radiotherapy treatment planning scan to plan challenge - 查代码:GitHub 检索
Auto-RTP Auto-RTP-Confirmation-Phase - 查同期对照:
OpenKBP dose prediction challenge Babier - 查评分方法来源:
Nelms variation external beam treatment plan quality inter-institutional
F. DAIMS 评估
DAIMS 是数据集成熟度的一种多维度评估框架,下表按与本赛最相关的六个维度打分(满分 10):
| 维度 | 分数 | 依据 |
|---|---|---|
| 数据可发现性 | 7 | 官网与论文均可检索,但无数据集 DOI,托管在赛事平台而非数据仓库 |
| 可获取性 | 4 | 注册制、无直链、无公开许可;赛后是否开放未明 |
| 互操作性 | 8 | DICOM RT 是放疗领域事实标准,三件套结构完整 |
| 可复用性 | 4 | 16 例、无真值、单一部位与设备,复用场景限于评测 |
| 可溯源 | 8 | 论文、官网、评分代码三源可互证,作者与机构明确 |
| 可持续性 | 5 | 依托 Grand Challenge 平台,赛事结束后维护状态未知 |
| 综合 | 6.0 | 评价与溯源是强项,获取与复用是短板 |
编辑说明
核验时间:2026-10-18。核验方式:官网首页与 Dataset/Task/Evaluation 段原文抓取、Radiotherapy and Oncology 2024 论文 PubMed 记录(PMID 39222848)逐段比对、GitHub 评分仓库(Auto-RTP/Auto-RTP-Confirmation-Phase)README 与许可标识核对。网络预算:WebSearch 1 次、WebFetch 6 次;其中官网 /data/ 路径 404、ctro.science 转引页被反爬拦截,未重试,改用 PubMed 记录。
双口径冲突(两处,正文已并存):①官网写「ten prostate cancer patients」,论文写 16 例——前者指网络赛,后者指全数据集,正文 §2.2 与 §7 均已说明。②官网病例描述只列「前列腺单纯」与「前列腺+淋巴结」两类,论文列三类(含术后前列腺床+淋巴结)——官网为 2023 年建站时的概览文案,正文按论文三类口径,并在 §2.1 保留三类表格。
单口径来源(C 级强度,正文已标注「依惯例推定」或「语义存疑」):体位、扫描范围、对比剂使用情况、共识轮廓的合成规则。
遗留疑点:论文卷期页码(PubMed 记录仅列单篇号 110513);现场赛独立结果;逐队排名与分项分数;处方字段定义;数据在赛事结束后是否仍可获取及获取条件。以上均未获公开来源,正文未作推测。
版本日志:v1 2026-10-18 首版。
下次复核触发点:官方页发布数据可用性声明或许可变更、组织方公开共识轮廓、或后续出现同系列赛事(如第二届 Auto-RTP)。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- mela — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
- ldctiqac2023 — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准
- cobra2026 — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准
- luna25 — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准
- trials — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
- panorama-2026 — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
- ct-lesion-foundation-model — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
- cuvas-pdacvi — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
- toothfairy2 — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准
- curvas — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

