持续配准挑战赛(CRC)

LUMC 与 Erasmus MC 发起的 evaluation-as-a-service 医学图像配准评测平台:肺与脑共八套基准数据集(POPI、DIRLAB、EMPIRE、LPBA40、IBSR18、CUMC12、MGH10 及一套私有肺数据),参赛者以 SuperElastix 组件提交纯代码,CI 每周自动评测并更新公开排行榜,无限期运行

来源 肺部:4DCT 与胸部 CT(POPI 为 Philips 16 层 Brilliance Big Bore 4DCT,DIRLAB 为 MD Anderson 癌症中心 4DCT,EMPIRE 为 EMPIRE10 挑战赛胸部 CT),附极端相位对的专家解剖标志点与肺掩码;脑部:T1 加权头颅 MRI(LPBA40 为 UCLA LONI 采集,IBSR18 为 Harvard IBSR,CUMC12 源自 OASIS,MGH10 为 MGH 采集),附人工勾画的脑结构分割掩码发布时间: 2026-10-18最后更新: 2026-10-18 阅读 17
持续配准挑战赛(CRC)

信息速览

数据集名称持续配准挑战赛(CRC)
数据类型影像数据,原始数据,人工标注
规模基准数据集合计约 110 余例影像:POPI 1 例 4DCT(10 相位)、DIRLAB 10 例胸部 4DCT、EMPIRE 30 对胸部 CT、LPBA40 40 例头颅 MRI、IBSR18
接入方式肺部:4DCT 与胸部 CT(POPI 为 Philips 16 层 Brilliance Big Bore 4DCT,DIRLAB 为 MD Anderson 癌症中心 4DCT,EMPIRE 为 EMPIRE10 挑战赛胸部 CT),附极端相位对的专家解剖标志点与肺掩码;脑部:T1 加权头颅 MRI(LPBA40 为 UCLA LONI 采集,IBSR18 为 Harvard IBSR,CUMC12 源自 OASIS,MGH10 为 MGH 采集),附人工勾画的脑结构分割掩码
AI 就绪度

医学图像配准(image registration)是把两次扫描对齐到同一坐标系的基础技术,术前规划、疗效随访、多模态融合都依赖它。持续配准挑战赛(Continuous Registration Challenge,CRC)由莱顿大学医学中心(LUMC)与鹿特丹伊拉斯姆斯医学中心(Erasmus MC)的 Kasper Marstal、Floris Berendsen、Niels Dekker、Marius Staring、Stefan Klein 等人发起,2018 年 7 月开放投稿,托管于 Grand Challenge 平台,官方页面为 continuousregistration.grand-challenge.org,配套开源代码库为 GitHub 上的 SuperElastix/SuperElastix。它围绕肺部与脑部成对配准任务组织了八套基准数据集:肺部三套公开(POPI、DIRLAB、EMPIRE)加一套私有,脑部四套(LPBA40、IBSR18、CUMC12、MGH10)。

它解决的问题是配准方法「各自为战、无从比较」。配准算法散落在 elastix、niftyreg、ITKv4 等大量工具箱里,接口、参数、实验流程互不兼容,方法很少在相同数据与协议下被正面比较,使用者选算法、调超参全凭口碑。传统 grand challenge 则是一次性静态事件,赛后基建随即废弃。CRC 借用现代软件工程的做法给出另一条路:提交物只有代码,持续集成系统每周自动编译、测试、在全部基准上评测并更新公开排行榜,挑战没有截止日期,赛后继续运行——官方称之为 evaluation-as-a-service。

适合用它的人有三类:配准算法研究者可以把它当作持续、可复现的对标考场;临床影像工程团队可以按排行榜为应用选型,再从 SuperElastix 仓库直接取用所需算法;基准设计者可以参考它的数据接入、自动评测与署名机制。第一件事是按官网 data 页下载公开数据集并跑通本地实验脚本,注意各数据集许可分散在原始分发方,第四套肺数据集私有不公开。

§1 它是什么:定义、来源与届次

1.1 一句话定义

Continuous Registration Challenge(CRC,中文可译持续配准挑战赛)是一个面向医学图像配准算法的持续评测平台,也是围绕该平台组织起来的一组基准数据集合称:肺部与脑部共八套成对配准基准,配全自动评测基建与公开排行榜。它于 2018 年 7 月 1 日开放,官方声明没有截止日期,挑战赛无限期运行。

1.2 名称的来历与读法

英文名里的 Continuous(持续)是对传统 grand challenge「一次性」模式的反命题:评测不是一场比赛,而是一项长期服务。注意中文译名里 registration 应作「配准」而非「注册」——这是图像空间对齐操作,与用户注册无关;网络上「持续注册挑战」属于误译。slug continuousregistration 即取自官方域名主词。

1.3 组织与分工

五名核心成员构成方法论文作者线:Kasper Marstal(平台实现主力,亦是 SimpleElastix 作者)、Floris Berendsen 与 Marius Staring(LUMC,配准方法学)、Niels Dekker(LUMC,SuperElastix 架构)、Stefan Klein(Erasmus MC,配准方法学)。机构归属以莱顿大学医学中心(LUMC)为主,Stefan Klein 时在鹿特丹伊拉斯姆斯医学中心(Erasmus MC)。基建托管于 grand-challenge.org 平台,持续集成由 CDash 与 Travis CI 承担,GitHub 仓库 SuperElastix/SuperElastix 为唯一代码入口。

1.4 时间线

  • 2016:SuperElastix 设计论文发表于 CVPR Workshops(Berendsen 等),SimpleElastix 多语言封装同年发表,为平台铺路。
  • 2018 年 6 月:WBIR 2018(第八届生物医学图像配准国际研讨会,莱顿)上一页摘要宣布挑战赛。
  • 2018 年 7 月 1 日:挑战赛开放投稿,排行榜上线,声明无限期运行。
  • 2019 年 4 月:ISBI 2019(威尼斯)发表正式方法论文,页码 1399 至 1402,此为学术引用的标准口径。
  • 之后:按官方声明继续运行,排行榜每周更新;参与者受邀合著期刊总结论文的计划见 WBIR 摘要,成稿与否未见后续公开记录。

1.5 与会议认可体系的关系

CRC 与 WBIR(配准领域专门研讨会)同源,方法论文落在 ISBI。它没有 MICCAI 式的年度届次——这一点与肿瘤、分割类挑战赛明显不同:分割挑战赛以「年份 + 届」组织,CRC 以「仓库 + 排行榜」组织,名字里没有年份。

1.6 参与规则要点

官网 rules 页与 FAQ 给出的规则可归纳为四条。其一,提交物是代码与参数文件,不允许只交结果;其二,实现必须落在 SuperElastix 组件体系内,接口兼容性由编译器保证;其三,代码公开,他人可以学习、复用并按 owner 页署名引用;其四,允许参与者提交新数据集——向仓库的 datasets.py 添加 Python 数据类并发 PR,经主办方核收后进入排行榜。

1.7 为什么选肺与脑

官网对任务范围的解释很朴素:肺部与脑部的成对配准是临床场景里最常遇到的两类问题。肺配准的典型需求是呼吸相位间对齐——放疗计划要把不同呼吸时相的 CT 对齐以追踪肿瘤与危及器官的运动,4DCT 技术的普及让这类数据大量积累,也把形变幅度大、内容近似这一对矛盾摆在了算法面前;脑配准的典型需求是人群间对齐——把不同受试者的脑图谱映射到一起做群体分析,形变平缓但结构细节繁多,考验算法在微小结构上的精度。两类任务分别代表「大形变、少结构」与「小形变、多结构」两种困难模式,合起来对算法能力的覆盖比单任务基准宽得多。这个范围选择也解释了基准构成:肺部基准以标志点为主(呼吸运动的真值只能靠点对点追踪),脑部基准以结构掩码为主(解剖边界的真值天然是面)。

1.8 SuperElastix 组件架构速写

理解参与方式需要一点架构概念。SuperElastix 的核心抽象是组件(component):每个组件是一个独立的代码单元,通过预定义接口收发数据,两个组件能否相连由编译器在编译期检查——接口不兼容就连不上,这把「数学上说得通」的约束下沉到了类型系统。一个完整配准流程由参数文件描述:声明用哪些组件、按什么管线连接。这个设计带来三个后果。第一,elastix、niftyreg、ITKv4 三套异构工具箱可以被拆成组件共存于同一框架,参与者不必放弃自己熟悉的工具;第二,实验可以完全自动化——管线描述是声明式的,CI 只需替换参数文件就能跑出不同配置的对比;第三,署名可以精确到组件——owner 页记录的是每个组件的作者,他人引用你的方法时引用的是你的组件而非整个框架。对不打算投稿的使用者,这套架构的意义在于:同一份算法描述可以不加修改地跑在不同数据集上,这是排行榜可比性的工程基础。

1.9 与 elastix、SimpleElastix 的名实辨析

三个名字相近的项目常被混为一谈,值得单列一节。elastix 是 LUMC 早年发布的开源配准工具箱,命令行驱动、参数文件控制,是配准领域使用最广的软件之一;SimpleElastix 是把 elastix 封装进 ITK 生态的多语言库,让 Python、Java、C# 使用者不必写配置文件也能调用 elastix 的全部算法;SuperElastix 则是更晚启动的统一框架,目标是把多种配准范式(不限于 elastix)整合进组件体系,挑战赛的 C++ API 指向它。三者的关系是演进与扩展而非替代:elastix 仍在独立维护,SimpleElastix 服务于应用开发者,SuperElastix 服务于方法比较与挑战赛。写论文引软件时,用哪个名字取决于你实际调用了哪一层接口——这是配准软件引用错误的重灾区,§6 误读表里有对应行。

1.10 配准任务的最小术语背景

为让非配准背景的读者顺利读完后续章节,这里给出最小术语集。配准问题给定两幅图像——固定图像(fixed)与移动图像(moving),求一个空间变换把移动图像映射到固定图像的坐标系,使两幅图像的解剖内容对齐;变换可以是刚体(平移加旋转)、仿射(加缩放剪切)或非刚性(逐点形变场),此语境几乎全指非刚性。算法通常由三个部件组成:相似性度量(衡量两幅图像对齐得好不好,如互信息、均方差)、变换模型(形变场的参数化方式)、优化器(在度量与正则化约束下搜索最优参数)。正则化是配准特有的部件——形变场天然欠约束,没有平滑惩罚就会出现物理上不可能的折叠。评测真值分两类:标志点是专家在两幅图像上配对标注的解剖点,配准后移动图像上对应点与固定图像上标注点的距离即目标配准误差;掩码重叠衡量同一结构在两幅图上勾画区域经形变映射后的重合程度,常用 Dice 系数。掌握了这组词,官网 rules 页与 ISBI 2019 论文都可以直接读。

1.11 一页版心智模型

如果只带走一张图,可以是这样:CRC 是一个「代码进、分数出」的黑箱评测机——左边入口收 SuperElastix 组件与参数文件,中间是每周自动运行的编译、单测与八套基准评测,右边出口是公开排行榜与组件署名页。箱子的内部环境统一且投稿方不可触碰,这保证分数公平;箱子的外部全部开源,这保证任何人可以复制一台同样的机器。八套基准是这台机器的标尺组:肺侧三把公开标尺加一把暗标尺,脑侧四把公开标尺。使用者在这台机器前能做的三件事——对标(把方法放进去比)、取用(从仓库直接拿别人的组件)、学习(把它当作评测设计的教学样本)——分别对应 §5 的任务清单、§7 的生态位置与 §3 的获取路径。

§2 数据构成

2.1 八套基准总表

数据集 部位与模态 规模 标注 评测口径 获取渠道
POPI 肺,4DCT 1 例、10 相位 极端相位对 + 肺掩码 标志点 TRE / Dice 官网 data 页直链
DIRLAB 肺,4DCT 10 例 每对 300 个专家标志点 TRE dir-lab.com
EMPIRE 肺,胸部 CT 30 对 肺掩码 Dice 官网 data 页直链
(私有肺数据集) 肺 未公开 未公开 官方侧评测 不公开
LPBA40 脑,T1 MRI 40 例 56 个脑结构轮廓 Dice LONI(注册)
IBSR18 脑,T1 MRI 18 例 脑结构掩码 Dice Harvard IBSR(申请)
CUMC12 脑,T1 MRI 12 例 36 个结构掩码 Dice 沿 Klein 等 2009 口径分发
MGH10 脑,T1 MRI 10 例 7 个结构掩码 Dice 沿 Klein 等 2009 口径分发

字段可靠性:规模与来源依官网 data 页逐套核对;CUMC12 与 MGH10 的结构数为配准评估文献通行口径(依惯例推定);私有肺数据集身份与规模官方未披露(语义存疑)。

2.2 肺部三套公开数据集

POPI(Point-validated Point-based Deep Breathing)来自 Philips 16 层 Brilliance Big Bore Oncology 配置的 4DCT:一次呼吸周期切成 10 个 3D 体,层内分辨率 0.976562 毫米、层厚 2 毫米,体阵 512 乘 512 乘 141。挑战赛取极端相位(深吸气与深呼气)做图像对,并使用数据集自带的肺掩码。

DIRLAB 是得克萨斯大学 MD Anderson 癌症中心的 10 例胸部 4DCT,每例极端相位对由一位胸部影像专家标注 300 个解剖标志点,来源论文为 Castillo 等人 2009 年发表于 Physics in Medicine and Biology 的两篇标志点评估方法文章,原始数据在 dir-lab.com 公开。

EMPIRE 复用 EMPIRE10 挑战赛(2010 年 MICCAI 配准挑战)的 30 对胸部 CT,以 mhd 加 raw 成对存放(01_Fixed.mhd 对 01_Moving.mhd,编号至 30),共 120 个影像文件;挑战赛以掩码重叠为主口径。

2.3 脑部四套数据集

LPBA40 出自 UCLA LONI 的概率脑图谱计划:40 名志愿者的全头 T1 MRI,人工勾画 56 个皮层为主的脑结构,来源为 Shattuck 等 2007 年 NeuroImage 论文,LONI 官网注册后下载。IBSR18 为哈佛 Internet Brain Segmentation Repository 的 18 例带结构标注 T1 脑 MRI,需向哈佛提交申请。CUMC12 与 MGH10 沿用 Klein 等 2009 年对十四种非刚性配准算法的大规模评估所用数据:前者 12 例源自 OASIS 的脑 MRI 带 36 个结构标注,后者 10 例 MGH 采集带 7 个结构标注。这四套加起来是脑配准文献里最经典的重叠率基准组合,CRC 把它们整体接入自动评测。

2.4 标注与文件布局

标注分两类:标志点(肺部,用于 TRE)与结构掩码(脑与肺,用于 Dice)。官网 data 页对每套数据给出了评测脚本期望的目录布局,原则是保持原始压缩包解压后的文件结构不变;配套 Python 脚本放在 SuperElastix 仓库的 ContinuousRegistration 目录,参与者在本地用同一套脚本先跑通,再交 CI 复算。

2.5 与同类配准基准的关系

这八套数据没有一套是 CRC 新采集的——它整合既有公开基准,价值在协议统一与持续评测,而非数据本体。因此做学习式配准(深度学习)研究时,DIRLAB、POPI、EMPIRE 常被直接引用为训练或测试集;引用时注意区分「用数据」与「用 CRC 的评测协议」两种口径,见 §6 误读表。

2.6 十问十答

问:八套里哪套最常被引用?答:DIRLAB 的 300 标志点协议是肺 4DCT 配准事实标准。问:脑部四套必须一起用吗?答:不必,但一起用可比拟 Klein 2009 的经典对照。问:有训练集与测试集之分吗?答:没有,全部数据公开侧可见,评测是对固定图像对的连续打榜。问:私有肺数据集起什么作用?答:官方未披露,作用是保留一个不可过拟合的外部集。问:能提交自己的数据吗?答:能,按 FAQ 给 datasets.py 加数据类发 PR。问:图像格式是什么?答:以 mha/mhd 加 raw 为主的医学影像常用格式。问:标注格式有统一规范吗?答:标志点与掩码各自沿用原始数据格式,脚本侧做适配。问:能只用其中一套吗?答:可以,SuperElastix 参数文件可指定单套实验。问:每周评测对所有人开放吗?答:排行榜公开,任何人可查。问:评测代码本身开源吗?答:是,全部在 SuperElastix 仓库 ContinuousRegistration 目录。

2.7 呼吸相位与极端相位对

肺部三套基准的共同设计选择是「极端相位对」:4DCT 把一次呼吸切成若干相位体,挑战赛只取深吸气与深呼气两端做图像对。这样做的理由是信噪比最大化——两端之间的形变量最大、器官位移最明显,算法在极端对上过关,中间相位的插值问题相对容易。代价是评测难度固定在 hardest 档:排行榜分数反映的是方法在大形变下的表现,不能线性外推到临床常见的温和相位间配准。对以 4DCT 为数据源的使用者还有一个实用细节:极端相位的选择依赖呼吸周期相位的元数据标注,拿到数据后应先检查相位标签完整性,缺失标签的相位体无法确定是否为极端对。

2.8 标志点与掩码两种真值的互补性

肺侧的标志点协议在解剖学上选的是气道分叉、血管交叉等可稳定辨认的点特征,误差以毫米计、可做统计检验;脑侧的结构掩码覆盖的是皮层回、深部核团等面状区域,误差以重叠系数计。两种真值互为补充:标志点稀疏但定位准,掩码稠密但边界判定带人工一致性噪声。算法在两种口径下的排名可以不一致——一个以图像相似度驱动的方法可能在掩码重叠上占优而在点误差上落后,反之亦然。读排行榜时把两类分数并列看,比单看综合名次更能反映方法特性。这一互补性也是 CRC 把八套基准绑在一起评的隐含理由:单一真值类型都会系统性偏爱某一族方法。

2.9 数据的二次用途与引用边界

八套基准被 CRC 整合,但它们各自的生命周期远长于挑战赛本身。DIRLAB 标志点数据是过去十多年学习式配准论文的默认测试集,EMPIRE 影像对常被拿来做预训练与迁移实验,LPBA40 在脑分割与图谱构建文献中同样有独立地位。这带来一个引用上的分岔:如果你的论文只用了数据本体(例如拿 DIRLAB 影像对训练网络),正确引用的是 Castillo 等人的原始数据论文;只有当你使用了 CRC 的评测脚本、目录约定或把结果提交上排行榜,才需要引用 ISBI 2019 平台论文。两类引用混用是检索 CRC 相关文献时最常见的噪音来源,也在 §6 误读表中有专门一行。

2.10 各基准的出处纵深

八套基准每一套背后都有一篇数据论文,把这条纵深列清楚,引用时才不会张冠李戴。DIRLAB 的两篇方法学论文(Castillo 等,Physics in Medicine and Biology,2009 年)分别给出大样本标志点评估框架与轨迹建模配准方法,标志点协议随这两篇传播;LPBA40 的图谱构建方法在 Shattuck 等 2007 年 NeuroImage 论文里,包括 56 个结构的勾画协议与概率化处理;EMPIRE 的影像出自 EMPIRE10 挑战(Murphy 等,2010 年前后的 MICCAI 配准挑战文献);CUMC12 与 MGH10 的标注口径统一出现在 Klein 等 2009 年发表于 Medical Image Analysis 的十四算法评估——那篇论文是脑配准评测的分水岭,CRC 直接继承其数据与指标习惯;POPI 的出处随数据集官方页分发,影像参数见官网 data 页。写论文时把「平台论文(ISBI 2019)—数据论文(各自)—方法论文(你自己的)」三层分开,审稿人对数据来源的质疑基本可以堵死。

§3 怎么拿到:获取路径、许可与合规

3.1 获取路径总览

获取分三层。第一层是平台与代码:GitHub 的 SuperElastix/SuperElastix 仓库,开源,master 分支为 v1.0 发布版,develop 分支为持续开发版;本地实验脚本在仓库的 ContinuousRegistration 目录。第二层是数据:官网 data 页逐套给出原始渠道与目录布局说明——POPI 与 EMPIRE 走官网直链,DIRLAB 走 dir-lab.com,LPBA40 走 LONI 注册下载,IBSR18 向哈佛提交申请,CUMC12 与 MGH10 沿 Klein 等 2009 年评估工作的分发口径。第三层是评测结果:排行榜页公开可查,无需注册。

3.2 实操清单

第一步,读官网 documentation 页并加入 Slack 频道或邮件列表;第二步,按 data 页下载想用的数据集并保持原始解压布局;第三步,用仓库脚本在本地对基线(elastix、niftyreg、ITKv4 任一)复算一次,确认指标能对上排行榜;第四步,改算法或只改参数文件;第五步,以 PR 形式提交组件与参数文件,等 CI 编译与每周评测。只想试水的话,从改参数文件入手成本最低——官方明确说这不要求写完整算法。

3.3 许可:分散口径,逐套确认

CRC 的许可不是一张总表,而是八套数据各说各话。平台与 SuperElastix 代码开源,仓库含 LICENSE 文件,具体条款以仓库原文为准。数据侧:DIRLAB 在 dir-lab.com 公开但部分用途需联系原作者;LPBA40 需 LONI 注册、遵循 LONI 数据使用条款;IBSR 需申请、限学术用途;POPI 与 EMPIRE 随官网链接分发、条款随原始发布方;第四套肺数据集私有不公开,无从谈许可。复用结论:论文里用 DIRLAB 或 LPBA40 数据本体与用 CRC 协议是两件事,引用与授权都要分开处理。

3.4 合规红线

三条。其一,私有肺数据集不可获取,任何声称提供完整八套的第三方镜像都应存疑。其二,排行榜分数是 CI 在官方环境算出的,本地复现环境不同(编译器、随机性、数据版本)可能有差异,对外引用成绩应注明官方排行榜来源与查询日期。其三,使用他人组件时按 owner 页与 FAQ 的署名规则引用组件作者——SuperElastix 会在每次运行相关代码时打印引用信息,这是平台内建的署名机制,绕过它既不合规则也不合学术礼仪。

3.5 本地构建 SuperElastix 的现实成本

把代码跑起来是所有环节里工程量最大的一步。SuperElastix 是 C++ 项目,依赖 CMake 构建体系与 ITK 生态,官方提供 SuperBuild 目录一键拉取第三方依赖,但在网络受限或工具链版本较新的环境里,依赖解析常是第一道坎。官方文档推荐从 develop 分支构建以获得挑战赛目录的最新状态,代价是接口随开发变动;只要基线对比,master 分支的 v1.0 更稳定。构建成功的判据很简单:能以命令行方式对一对样例图像跑出形变场并写盘。到此为止的投入对多数应用团队是一次性的,之后的工作都在参数文件与脚本层面。

3.6 不构建框架的替代路线

如果目标只是用数据而非投稿,可以完全绕开 SuperElastix:八套数据拿到手后就是普通医学影像,可以用任何工具箱复现协议。需要自带的是三样东西——官网 rules 页的指标定义、原始数据论文的标注说明、以及一份自己在本地写的评测脚本。这条路线的取舍是放弃了与排行榜直接可比的成绩(CI 环境与本地环境的实现细节差异会让数字有小幅偏移),换来了实现自由度。对做方法研究而非打榜的团队,这条路线往往更划算;对外发表时按 §6 的口径注明成绩出处即可。

3.7 数据获取的并行策略

八套数据的获取难度差异很大,实务上建议并行推进而不是串行等待:POPI 与 EMPIRE 走官网直链,当天可用;DIRLAB 在 dir-lab.com 公开,下载即用;LPBA40 的 LONI 注册与 IBSR 的哈佛申请都有人工审核周期,应最先启动;CUMC12 与 MGH10 的分发渠道按 Klein 等 2009 评估工作的说明联系原作者。申请邮件写明研究用途、机构与预期的发表形式,能显著缩短审核往返。私有肺数据集无需申请,不存在申请通道。

3.8 引用与致谢的落纸口径

涉及发表时的引用清单可以按「用了什么就引什么」的原则组装:用了平台机制或排行榜成绩,引 ISBI 2019 方法论文;用了 WBIR 摘要里宣布的赛事背景,引 WBIR 2018 摘要;用了某位参与者的组件,按 owner 页给出的该组件论文引用;用了数据本体,引各数据集的原始论文(Castillo 等 2009 之于 DIRLAB、Shattuck 等 2007 之于 LPBA40 等)。SuperElastix 框架本身的软件引用以仓库 README 与 CITATION 信息为准。投稿前把这套引用链在方法节里过一遍,是避免「引了平台没引数据、引了数据没引平台」两头漏的唯一办法。

§4 质量与已知问题

4.1 整体判断

平台工程质量有据可查:五名核心成员均有配准方法学背景,SuperElastix 从 CVPR 2016 设计论文走到 v1.0 发布,CI 体系真实运行(Travis 构建状态与 CDash 页面公开)。数据本体则要分两面看:整合的都是各领域经典基准,质量经多年使用检验;但整合协议本身(每周全量重评、公开代码、无限期)对方法演进友好,对「某时间点的可比快照」不友好。

4.2 假设—支持—反对表

假设 支持证据 反对/限制证据
CRC 是公平、独立的第三方评测 第三方 CI 执行,投稿方无法碰评测环境(ISBI 2019 论文;官网 rules) 组件与评测跑在同一仓库,作者对仓库有提交权限,边界靠流程维持
八套基准覆盖了临床主要配准场景 肺 4DCT 与脑 T1 是配准文献最大两类应用(ISBI 2019) 无腹部、心脏、多模态跨模态配准基准;场景覆盖窄于配准文献全貌
排行榜可长期复现方法演进 官方声明无限期运行、每周更新 2026 年榜单活跃度未逐周实抓,长期维护状态以官网现状为准
小样本脑基准足以区分方法优劣 沿用 Klein 2009 大规模评估的成熟协议 单套 10 至 18 例,排名差异的统计稳健性有限

4.3 已知的技术陷阱

  • 数据布局陷阱:评测脚本按原始 zip 解压布局找文件,自行重排目录会导致找不到 fixed/moving 对,官网 data 页专门强调这一点。
  • 版本陷阱:develop 分支组件接口随开发变动,基于旧接口写的组件在 CI 侧可能编译失败,提交前对 master/develop 分支状态确认。
  • 指标陷阱:TRE 只在标志点处衡量,掩码 Dice 只在边界处衡量,两类分数不可直接换算,跨数据集排名靠前的方法不一定两者兼优。
  • 相位陷阱:POPI 与 DIRLAB 只取极端呼吸相位对,形变量最大、难度最高,方法在这两套上的表现不能外推到中间相位配准。

4.4 证据强度分级

  • A 级(三条以上独立证据线):平台存在性与基本机制(官网、data 页、ISBI 2019 论文、GitHub 仓库四方互证);八套公开数据集的规模与来源。
  • B 级(两条证据线):CUMC12 为 36 结构、MGH10 为 7 结构(Klein 2009 口径与后续文献沿用);POPI 影像参数(官网 data 页与原始 POPI 文档)。
  • C 级(单一来源):私有肺数据集的存在与数量表述(仅官网一处);IBSR18 结构数通行说法。
  • D 级(推断):挑战赛在 2026 年的实际运营活跃度(依据「无限期运行」的官方声明推断,未逐周核实榜单)。

4.5 评测平台的方法论边界

把 CRC 当作方法学样本研究时,有四条边界值得写进自己的 Limitations。第一,代码全开源与 CI 自动评测保证了流程可复现,但无法阻止参与者针对评测集调参——基准全部公开侧可见,理论上过拟合是自由行为,唯一的防火墙是那套私有肺数据。第二,每周重评的滚动榜单记录了方法的演进,但没有做版本固化:同一方法名下的成绩随代码提交波动,引用历史成绩必须钉住快照日期。第三,参与规模有限——提交代码的门槛(C++ 组件、GitHub 协作)筛掉了大批潜在参与者,排行榜上的方法数量远小于配准文献的方法总数,榜单不代表领域全景。第四,平台声明 evaluation-as-a-service 可用于组织未来挑战赛,但八套基准之外的新数据接入依赖参与者自行提交数据类,平台本身不生产基准。这四条都不是缺陷清单,而是「这套机制擅长什么、不擅长什么」的边界描述。

4.6 与审计式复现研究的差异

近年来医学影像评测流行「第三方审计式复现」:独立团队重跑公开方法、核对论文数字。CRC 走的是另一条路——把复现变成投稿前提,方法以代码形态进入统一环境,数字由官方 CI 产生,从根本上取消了「论文数字与代码对不上」的问题。两条路线互有短长:审计式复现检验的是已发表工作的诚实性,CRC 检验的是方法在统一协议下的相对表现;前者覆盖面广但深度浅,后者深度足但覆盖窄。库内多数数据集条目面对的是审计式复现语境,这也是它在生态里显得特殊的原因。

4.7 私有保留集与泛化声明

在基准全部公开的环境里,唯一能约束过拟合的是那份私有的肺数据。它的存在改变的是激励结构而非绝对保障:参与者知道有一把看不见的标尺,公开集上的调参就有了自我克制的理由。但需要诚实评估它的局限——私有集只有一路,且任务与公开肺数据同质(同为呼吸相位配准),对「针对八套基准整体过拟合」之外的偏倚形态覆盖有限;脑侧没有任何私有保留,脑基准成绩的过拟合风险完全靠参与者自律与组件的通用性间接约束。使用排行榜做选型时,一个方法在公开肺基准与私有肺基准上的分数差,可以粗读作它的过拟合程度的下界估计;两路分数接近,是对方法泛化性最有力的排行榜内证据。

4.8 时间维度的质量衰减风险

持续运行型基准有一类静态基准没有的老化问题:影像设备、扫描协议、标注规范都停留在数据采集的年代,而方法侧的进步(尤其学习式方法)会不断拉高对数据多样性的要求。CRC 的八套基准采集于 4DCT 与经典脑 MRI 时代,没有覆盖后来临床上普及的采集形态;随着学习式配准成为主流,这个时间差会持续放大。平台对此的应对机制是允许参与者提交新数据类,但新数据的流入取决于社区意愿而非平台规划。使用者在把排行榜结论迁移到新设备、新协议数据时,应把这层老化当作默认假设,而不是例外。

4.9 学习式方法的特别提示

近年的深度学习配准方法若想进这套平台,要先过两道结构性的坎。第一道是框架形态:平台吃的是 SuperElastix 组件,而多数学习式方法以 PyTorch 等框架实现,把训练好的网络包成组件可行,但把训练流程整体搬进 CI 不现实——社区里常见的折中是只提交推理组件。第二道是评测习惯:学习式论文惯用留出测试集报告单次成绩,而平台是滚动打榜,二者对「成绩」的定义不同,引用时不能混用。反过来,学习式研究者把这套八基准协议当作论文里的对照评测,是一条被广泛采用、成本可控的路径——训练用自己的数据,评测按官网协议在公开基准上跑,引数字时注明本地复现口径即可。

§5 能做什么

5.1 任务清单

  • 配准算法横向对比:在统一协议下与自己或他人方法在八套基准上比 TRE 与 Dice。
  • 超参数研究:只提交参数文件,系统化地调 elastix 或 ITKv4 的参数组合并记录排行榜变化。
  • 新配准组件开发:以 C++ 组件形式实现新算法,复用平台的编译、测试、评测全链路。
  • 基准构建方法学研究:借 CRC 的数据接入类与评测脚本设计自己的持续评测平台。
  • 学习式配准的评估参考:DIRLAB 标志点协议与 LPBA40 等脑基准是深度学习配准论文的标准测试集。

5.2 最小可执行示例

以纯使用者(不投稿)为例,本地复算一条基线的流程是:克隆 SuperElastix 仓库并按文档构建;从 data 页下载 DIRLAB 一例,保持原始目录;用仓库 ContinuousRegistration 目录下的脚本对 01 号图像对跑 elastix 基线;对照脚本输出的标志点误差,与排行榜同名条目核对量级。整个流程不涉及任何提交动作,是验证环境与理解协议的最短路径。

5.3 投稿侧的最短路径

不写新算法的投稿是改参数:在仓库挑战赛目录里复制一份基线参数文件,改动度量、多分辨率金字塔或优化器设置,发 PR。组件作者署名与代码可见规则见 FAQ。官方鼓励先在 Slack 里描述想法再动手。

5.4 评估口径的复现要点

肺侧 TRE 的算法定义在 rules 页,参与者在本地脚本跑出的数字只有与 CI 同环境才严格可比,论文中引用时应写明数字出处是排行榜快照。脑侧 Dice 的结构集合因数据集而异(56、36、7 结构等),跨数据集平均 Dice 需自明权重口径。

5.5 不适合做什么

  • 不能作为跨模态(MR-CT、MR-TRUS)配准的评测依据——八套基准内没有跨模态图像对。
  • 不能用来验证大样本统计结论——单套最多 40 例。
  • 私有肺数据集那一路分数不能用于任何独立验证。

5.6 肺侧 TRE 的统计实务

标志点误差是少数能做统计检验的配准指标:同一图像对上两个方法给出同一组点的两组误差,可以做配对检验。实务要点有三。其一,误差分布通常右偏,报告均值的同时应给中位数与分位数;其二,配对检验要在图像对内做,跨对混合会混入图像难度差异;其三,多图像对上的结论要做多重比较校正。排行榜本身只给点估计,这些统计加工是使用者自己的工作。写论文时给出置信区间而非只报均值,是让结果经得起审稿的最低配置。

5.7 参数调优的方法论

以调参数文件为参与形式的投稿,成败几乎完全取决于调优纪律。比较稳的做法是:先固定优化器与多分辨率方案,只动相似性度量与采样策略,在单对图像上观察形变场的定性合理性;再固定度量,扫正则化权重,观察折 folded 形变与边界对齐的权衡;最后把赢家配置放到全部图像对上验证稳定性,而不是逐对调优。逐对调优出来的配置在对数上好看,但本质是对评测集的记忆,换个数据就失效——这套纪律对本地实验与打榜投稿同样适用。

5.8 把 CRC 用作教学与训练素材

这套平台的另一个非显性用途是方法学教学:八套基准加公开代码构成了一份「配准评测怎么做」的活教材。教学路径可以是——先读官网 rules 页理解指标定义;再下 DIRLAB 一例,手工实现标志点误差计算,与官方脚本对数;然后跑一条 elastix 基线,改一个参数观察变化;最后读 ISBI 2019 论文,对照理解平台设计里每一环解决什么问题。全程不需要投稿,也不需要 GPU。对要开配准专题课或组内培训的团队,这条路径的工作量约等于一次课程设计。

5.9 一条从下载到出数的完整走查

把前几节的内容串成一条可执行的走查。第一步,克隆仓库并按文档完成构建,用内置示例图像验证命令行可用。第二步,从官网数据页下载 DIRLAB 的一例,解压后不要动目录结构,用仓库脚本确认 fixed/moving 对与标志点文件都能被读到。第三步,不改任何东西,跑一遍内置的 elastix 基线配置,记下脚本输出的标志点误差——这一步的目的是建立环境基线,数字应与排行榜同名条目在同一量级。第四步,只改相似性度量,重跑,观察误差变化方向;再改正则化权重,重跑。第五步,把肉眼观察形变场加入流程:把形变场叠在固定图像上可视化,检查有无折叠、器官边界有无被拉穿。第六步,选定一个配置,在 DIRLAB 其余各例上跑全,做一张自己方法的误差表,与基线并列。走查到这里,你已具备正式投稿所需的全部本地能力,剩下的只是把参数文件与组件打包成 PR。

5.10 结果落盘与报告模板

本地实验建议固定一套报告字段,避免日后对不上数:仓库分支与提交哈希、数据集名与例号、参数文件哈希、指标定义出处、输出形变场的保存路径。这套字段在写论文方法节、回复审稿人、以及日后想把自己的配置提交打榜时都会直接复用。团队协作时,把它固化成实验目录的 README 模板,比口头约定可靠得多。

§6 常见误读与引用陷阱

常见说法 实际口径 证据位置
CRC 是一个新采集的医学影像数据集 是评测平台加既有公开基准的整合,八套数据无一是新采集 官网 data 页;ISBI 2019 论文
挑战赛 2018 年已结束,成绩定格 官方声明无截止日期,设计上无限期运行,排行榜赛后继续更新 官网 Home 与 FAQ
中文译名「持续注册挑战赛」 registration 指图像配准,不是用户注册,应译「持续配准挑战赛」 官网定位与任务描述
参赛提交预测结果文件 提交物只有代码(组件与参数文件),CI 自动跑评测 官网 FAQ「code and only code」
八套基准都可公开下载 七套公开(三肺四脑),第四套肺数据集私有不公开 官网 data 页
DIRLAB 的 300 标志点是 CRC 新标注的 标注出自 Castillo 等 2009 年工作,CRC 沿用 官网 data 页引文
排行榜上的成绩可以直接写进论文当作自己方法的最好成绩 成绩属于组件作者,引用需署名;且应注明快照日期 官网 owner 页与 FAQ
CUMC12/MGH10 的结构数官网有明示 官网未复述,36/7 为 Klein 2009 通行口径,引用时标注来源 Klein 等 2009 评估论文

表外两个高频提问。其一,「SuperElastix 和 elastix 什么关系」:elastix 是被 SuperElastix 整合的工具箱之一,SuperElastix 是统一框架,SimpleElastix 则是 elastix 的多语言封装,三者名字相近但层次不同——这是文献引用里最容易写混的一处。其二,「每周评测会不会把我未完成的代码跑坏」:评测基于已合并的 PR 与 CI 状态,未合并分支不进排行榜,风险是编译失败而非成绩污染。

技术性陷阱:目录布局须保持原始解压结构,评测脚本不做路径容错;mhd 配 raw 的成对文件改名要成对进行;本地与 CI 环境编译器差异可能造成数值级偏差,论文对比以官方榜单为准。

第三类容易踩的坑在排行榜语义一侧。榜单每周滚动,不同列可能对应不同周次的成绩快照,横向比较前列方法时应确认成绩出自同一周次;方法同名不同版本(参数文件改动后重提交)会在榜单上并存多行,引用时要点名版本行而非方法名。另外,faq 与规则页之间偶有措辞先后更新,遇歧义以 rules 页为最终口径。把这三条与上面两段合起来,就是引用 CRC 相关工作时最容易失分的全部位置。

§7 在生态中的位置

7.1 在配准评测谱系里

配准评测的历史线是:一次性大评估(Klein 等 2009 年对十四种非刚性算法的对照)→ 静态挑战赛(EMPIRE10,2010)→ 持续评测(CRC,2018)→ 学习式配准基准浪潮(近年以跨模态、跨中心数据为主的各类配准挑战)。CRC 处于第三环,继承了 Klein 2009 的脑基准与 EMPIRE10 的肺数据,又以持续集成的形式区分于前后两环。看懂这条线,就能理解为什么 CRC 的数据都不是新的——它的贡献在协议与基建层。

7.2 与库内相关条目

  • 与库内多模态分割类挑战赛条目(如腹部分割、血管壁分割等 grand challenge 系条目)构成方法学对照:那些条目展示「一次性挑战赛」模式,本文展示「持续评测」模式,可互为参见。
  • 与库内任何使用 DIRLAB、LPBA40、POPI 作训练或测试集的配准、深度学习条目存在数据血缘:这些数据集本体同源,评测协议不同。
  • grand-challenge.org 平台托管是另一条互链线索:库内多数挑战赛条目同在该平台,读者可顺藤比较平台的评测基建差异。

7.3 数据之外的依赖

使用 CRC 需要的基本盘是 C++ 工具链与 GitHub 协作流程,这与多数纯下载数据集条目不同;对不想碰编译的使用者,退路是把八套数据当普通公开基准用,绕开 SuperElastix 自己跑评测——此时协议细节以官网 rules 页与原始数据论文为准。

7.4 对基准设计者的四点启示

从基准设计的角度看,CRC 有四条可迁移的经验。第一,评测自动化先于数据规模:八套数据在配准文献里都算不上大,但全自动重评让它们的价值随时间复利。第二,提交物选代码而非结果,直接消灭了结果文件格式、评测时机作弊这一族问题。第三,署名机制内建于平台(组件 owner 与运行时打印引用),解决了开源贡献者长期得不到学术回报的老问题。第四,私有保留集是公开基准防过拟合的现实手段——哪怕只有一套、不可获取,其威慑价值也存在。这四点在近年各影像挑战赛的设计修订中都能看到回声,也因此本文对挑战赛设计研究者比对配准方法研究者可能更有参考价值。

7.5 使用门槛的诚实评估

对潜在使用者,进入成本大致分三档。只用数据本体:低,公开侧下载即可,多数团队一天内可开跑。本地复现基线评测:中,需要构建 C++ 框架、读懂布局约定,预算一到两周的工程时间。正式投稿打榜:高,需要掌握组件开发、维护 PR、跟进框架接口演进。三档之间的退路是相通的——任何一档做不下去都可以降档使用数据本体,不存在「投入全废」的断崖。评估自己该进哪一档的判据只有一个:你是否需要与排行榜可比的数字。需要,走高两档;不需要,用第一档。

7.6 与库内条目的对照阅读建议

把本文与库内其他 grand challenge 系条目并读时,建议抓三个对照轴。组织模式轴:年度一次性挑战(固定数据、固定截止、赛后冻结)对比持续评测(滚动数据接入、无截止、赛后继续),两套模式的参与者激励与排行榜语义完全不同。数据策略轴:自采新数据(采集与标注成本高、独家性强)对比整合既有基准(零采集成本、可即时上线、但无新信息量),本文是后者的极端案例。真值类型轴:分割掩码(稠密、边界噪声)对比标志点(稀疏、定位准)对比分类标签(逐例、观察者间变异大)。三轴走完,读者对「为什么这个领域需要多种评测形态并存」会有自己的判断,这比任何选型建议都耐用。

7.7 排行榜成绩的正确读法

读这份排行榜要带三个习惯。第一,分任务看:肺侧与脑侧的指标不同、真值不同,跨侧名次没有意义;同一侧内,标志点任务与掩码任务也要分开看。第二,看趋势不看单点:滚动榜单的价值在方法随时间的位置变化,一个方法从榜中爬到榜前所经历的配置改进,往往比最终名次信息量更大。第三,看参与度:排行榜上方法数量有限,某类方法缺席可能只是没人愿意写成组件,不能解读为该类方法不行。带着这三个习惯,榜单提供的是「在统一协议下,哪些实现当前表现更好」的证据,而不是「哪篇论文的配准方法最好」的答案——这两个问题的差别,正是统计口径与科学结论的差别。

§8 总结

适用:需要为肺或脑配准方法找统一对标协议的研究者;想复用 elastix、niftyreg、ITKv4 基线与持续评测基建的工程团队;研究基准设计方法学的人。

不适用:需要跨模态配准基准的场景;需要大样本统计功效的场景;希望一键下载全部数据的使用者(许可分散、一套私有)。

三句话总结:持续配准挑战赛把软件工程的持续集成搬进了医学图像配准评测,用八套经典基准和公开排行榜替代一次性比赛;它不生产新数据,生产的是可比性与复现;拿它对标之前,先分清「用它的数据」与「用它的协议」这两件事。最后补一句给首次接触者的提醒:这份资产的价值随使用方式变化很大——当普通数据集合用,它只是一摞年代久远的影像;当作评测协议用,它才展开设计的全部意图。

§9 使用前检查清单

  • [ ] 明确用途:投稿评测、本地基线复算,还是只用数据本体——三者许可与引用口径不同。
  • [ ] 逐套确认所需数据集的原始渠道许可(LONI 注册、哈佛申请、dir-lab.com 等),不要假设有统一许可。
  • [ ] 保持数据解压后的原始目录布局,评测脚本不做路径容错。
  • [ ] 引用排行榜成绩时注明查询日期与组件 owner。
  • [ ] 引用 CUMC12/MGH10 结构数、IBSR18 标注规模时回到原始数据说明,不直接转引二手描述。
  • [ ] 确认不需跨模态配准基准——CRC 的八套数据内没有跨模态图像对。

§10 附录

10.1 关键数字速查

数字 含义 口径与来源
8 套 基准数据集总数(肺 3 公开 + 1 私有,脑 4) 官网 Home 与 data 页
300 个 DIRLAB 每图像对专家标志点数 Castillo 等 2009;官网 data 页
56 个 LPBA40 手工勾画脑结构数 Shattuck 等 2007
512×512×141 POPI 单相位体阵 官网 data 页
1399–1402 ISBI 2019 方法论文页码 elastix.lumc.nl 出版页
2018-07-01 挑战赛开放日期 官网 Home

10.2 缩写表

缩写 全称 说明
CRC Continuous Registration Challenge 即持续配准挑战赛
TRE Target Registration Error 目标配准误差,标志点类指标
LUMC Leiden University Medical Center 莱顿大学医学中心,发起机构
4DCT four-dimensional computed tomography 呼吸相位维加时间维的 CT 序列
mhd/raw MetaImage header/data 医学影像文件对格式
CI Continuous Integration 持续集成
PR Pull Request GitHub 代码合并请求

10.3 DAIMS 评估表

维度 评估
D 可发现性 Discoverable 官网、GitHub、ISBI 2019 论文三路可达;slug 与官方域名一致
A 可获取 Accessible 七套公开但许可分散(注册/申请/直链混合),一套私有;无统一打包
I 可互操作 Interoperable 医学影像通用格式(mha/mhd+raw),布局有脚本约定但要求保持原始结构
M 可复现 Reproducible 评测全自动、代码全开源;跨环境数值差异与榜单快照时效需注意
S 可持续 Sustainable 无限期运行设计;长期活跃度取决于维护方投入,属外部依赖

10.4 未覆盖内容

  • 私有肺数据集的任何细节(身份、规模、指标表现)官方未公开。
  • 挑战赛参与者合著期刊总结论文的成稿情况未见公开记录。
  • 排行榜逐周演进史与历次上榜方法清单未在此展开。
  • SuperElastix 组件开发的技术细节以官方 read-the-docs 文档为准,本文不代替文档。

10.5 检索模板

编辑说明

  • 核验时间:2026-10-18;核验方式:WebSearch 两次(数据集定位与方法论文定位)+ WebFetch 两次(官网 Home 与 data 页全文),与 elastix.lumc.nl 出版页、GitHub 仓库检索结果四方互证。
  • 主要来源:continuousregistration.grand-challenge.org(Home/data 页);elastix.lumc.nl 收录的 WBIR 2018 摘要与 ISBI 2019 论文页;GitHub SuperElastix/SuperElastix 仓库;dblp 作者页。
  • 双口径与存照:CUMC12(36 结构)与 MGH10(7 结构)为 Klein 等 2009 通行口径、官网未复述;IBSR18 结构数通行说法有出入,正文采用模糊表述;SuperElastix LICENSE 具体条款未抓原文,正文只写「开源、含 LICENSE 文件」;第四套肺数据集身份未公开。
  • 遗留疑点:2026 年榜单实际活跃度未逐周核实;参与者合著期刊总结论文成稿情况不明。
  • 结论强度分级:A级结论(平台机制、公开数据规模)三条以上证据线;B级两条;C级单一来源;D级推断,见 §4.4。
  • 版本日志:v1.0(2026-10-18,agent-b-contreg 初稿,v4 体例)。
  • 下次复核建议:复核排行榜活跃度与 SuperElastix 仓库分支状态;如平台有重大改版(如换评测基建)需更新 §3 与 §7。

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • learn2reg — 共享标签:医学影像 / CT / MRI / 评测基准
  • medpix — 共享标签:医学影像 / CT / MRI
  • mrnet — 共享标签:医学影像 / MRI / 评测基准
  • radimagenet — 共享标签:医学影像 / CT / MRI
  • rsna-aneurysm-2025 — 共享标签:医学影像 / CT / MRI / 评测基准
  • medical-decathlon — 共享标签:医学影像 / CT / MRI
  • ctooth — 共享标签:医学影像 / CT / 评测基准
  • ct4harmonization-multicentric — 共享标签:医学影像 / CT / 评测基准
  • ldctiqac2023 — 共享标签:医学影像 / CT / 评测基准
  • amos — 共享标签:医学影像 / CT / MRI

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集