信息速览
医学影像分割的标准做法是把「正确答案」定义成唯一一张掩膜：一位专家画一遍，其余人向这张掩膜对齐，模型的分数就是它与它的重合度。这套流程默认边界客观存在、分歧只是画得不够准。但在大量场景里这个默认站不住。脑胶质瘤的强化区该不该算进瘤周水肿、肾脏上极与肾上腺的分界落在哪一层，两位资历相当的医师经常给出不同答案——分歧的来源不是粗心，是分辨率不够、是解剖本身连续。
QUBIQ 做的事情，是把这件事从「需要被处理掉的麻烦」变成「需要被量化的对象」。它组织了两届 MICCAI 挑战赛，收拢六组 CT 与 MRI 影像，每例都请多位专家独立勾画同一结构，然后把所有人的勾画全部公开，不投票、不协商，也不仲裁金标准。参赛者要交的不是一张更接近某个权威答案的掩膜，而是一张概率图——它要能说出「这里七位专家里有五位认为属于肿瘤」，并且说对。
这套设计在公开数据集里少见得反常。绝大多数分割集只发布一张融合后的参考掩膜，多专家信息在发布前就被平均掉了；QUBIQ 保留了分歧的原始形态，于是它成了少数能直接检验「模型知不知道自己不知道」的公开基准。代价是它很小：全部加起来 268 例。这两个特征一起决定了用法——它不适合当训练集，适合当标尺。一屏速览见下表。
| 维度 | 内容 |
|---|---|
| 官方全名 | Quantification of Uncertainties in Biomedical Image Quantification Challenge |
| 中文惯称 | 生物医学图像量化中的不确定性量化挑战赛 |
| 届次 | MICCAI 2020（10 月 8 日）、MICCAI 2021（10 月 1 日），均为线上 workshop |
| 图像组数 | 6 组：前列腺、脑生长、脑肿瘤、肾脏、胰腺、胰腺病灶 |
| 二值子任务 | 2020 届 7 个；2021 届 9 个 |
| 影像总例数 | 268 例（含胰腺两组的两次扫描按次计） |
| 模态 | MRI（含多模态 MRI）与 CT 各占一半 |
| 维度 | 2020 届全部为单张 2D 切片；2021 届新增两组 3D 体数据 |
| 标注者人数 | 2 至 7 位，逐组不同 |
| 标注形态 | 每位专家一份独立二值掩膜；官方真值为其逐体素平均的概率图 |
| 评测指标 | 十个阈值上的平均 Dice，辅以 Q-Dice |
| 参赛规模 | 两届累计 24 支队伍提交方案 |
| 数据访问 | LRZ Sync+Share 加密压缩包，密码公开在参与页 |
| 许可 | 官方设计文档声明 CC BY |
| 赛制状态 | 已结束，无持续榜单；数据仍可下载 |
§1 它到底是什么
1.1 一句话定义与它真正解决的问题
QUBIQ 是一组「带多个专家答案」的影像分割数据，加上一套专门为「预测答案分布」而设计的评分规则。这两半缺一不可：只有多标注数据，它就是一个标注冗余度较高的普通分割集；只有评分规则，它就是一篇方法论论文。
官方在首页把动机写得很直接：现有挑战赛几乎全部集中在确定性分割上，比的是谁更接近唯一真值，而标注者之间的差异被当成噪声忽略掉了。QUBIQ 想填空的正是这个位置——给「不确定性估计」这件事本身提供可比较的靶子。它的评测对象因此不是「你分得准不准」，而是「你对不确定性的判断对不对」。
这个区别在实操上很硬。一个模型完全可以在 Dice 上刷到很高，同时把边界区域全部输出为 0.5 的糊状概率，看上去「很谦虚」，实则没有提供任何信息；另一个模型 Dice 略低，但它在专家真正分歧的地方给出高方差、在专家一致的地方给出 0 或 1，这才是有用的不确定性。传统指标分不出这两者，QUBIQ 的多阈值评分能分出来。
1.2 为什么它不是「又一个脑肿瘤分割集」
库内已经有一批覆盖同类器官的分割数据，脑部有 BraTS 系列，腹部有 AMOS、LiTS、PANTHER，前列腺有 QIN-Prostate。乍看 QUBIQ 的器官清单与它们大面积重合，于是很容易被归到「重复资源」里。这个归类是错的，理由不在器官，在数据组织维度。
BraTS 的 335 例胶质瘤影像，每例只有一份经过共识流程的参考标注；QUBIQ 的脑肿瘤只有 32 例，但每例有 3 位专家各画一遍，三个答案都留着。前者回答「这个肿瘤长什么样」，后者回答「三位专家在哪些体素上会吵架」。这两个问题的数据需求完全不同：前者要的是覆盖度，越多越好；后者要的是同质性——必须是同一张图、同一个结构、同一套窗宽下的多次独立判断，否则分歧的来源就被混淆了。
所以 QUBIQ 的真正稀缺性在于：它是库内少数几个把「同一张图有几个不同答案」这件事本身编码进目录结构的数据集。这不是规模优势，是结构优势，而结构优势无法靠堆数据量复制——要复制它，你得重新组织一次多专家标注，成本比下载一个大分割集高一个量级。
1.3 三十秒决策卡
| 你的处境 | QUBIQ 能帮你什么 |
|---|---|
| 想验证自己的不确定性估计是否「说得准」，而不只是「分得准」 | 提供 9 个子任务的概率图真值，可直接算 Q-Dice 与多阈值 Dice |
| 在写一篇关于标注者间差异的论文，需要一个公开对照 | 六组图像、2 至 7 位标注者，覆盖 2D 与 3D、MRI 与 CT |
| 想复现 Probabilistic U-Net 一类的工作，缺可比的评测集 | 原始论文给出台账式榜单，可对齐到具体队伍与分数 |
| 需要评估「模型与单个专家的一致性」和「模型与专家群体的一致性」差多少 | 每位专家的掩膜都单独可读，能逐人算 Dice |
| 想给自己的数据集设计多标注方案，缺一个可参照的目录结构 | 它的 cases/task*.nii.gz 结构是现成模板 |
| 想训练一个能用的分割模型 | 给不了你足够的数据量，268 例远不够 |
| 想研究正常解剖的变异 | 给不了你，这里的差异是标注差异，不是人群差异 |
1.4 不适合谁
如果你的目标是训练一个能上临床的器官分割模型，QUBIQ 给不了你需要的规模。六组里最大的一组是前列腺 55 例，最小的是肾脏 24 例，而且 2020 届全部切成了单张 2D 切片——每例只给你一个层面。用它训出来的模型不认识器官的上下边界，只认识那一层。
如果你想研究「人群层面的解剖变异」，它也帮不上。它记录的是同一位患者的同一张图被不同人怎么看，不是不同患者之间的差异。这两件事在统计上必须分开，混在一起会让方差分析彻底失去意义。
如果你要的是「唯一正确的分割答案」，那它给的是反过来的东西。它刻意不提供共识掩膜，你得自己决定怎么从多份标注里造一个——而这个决定本身就会影响你的结论。
§2 数据构成与规格
2.1 六组图像与九个二值子任务
这套数据不是一次性发布的，2020 届四组、2021 届又加两组。合并之后的完整结构如下，例数与标注者数逐项对照官方参与页：
| 图像组 | 模态 | 维度 | 例数 | 子任务 | 标注者 | 供稿机构 | 入赛届次 |
|---|---|---|---|---|---|---|---|
| 前列腺 | MRI | 2D | 55 | 2 | 6（1 例为 5） | ETH Zürich | 2020 / 2021 |
| 脑生长 | MRI | 2D | 39 | 1 | 7 | University of Zürich | 2020 / 2021 |
| 脑肿瘤 | 多模态 MRI | 2D | 32 | 3 | 3 | University of Pennsylvania | 2020 / 2021 |
| 肾脏 | CT | 2D | 24 | 1 | 3 | Technical University of Munich | 2020 / 2021 |
| 胰腺 | CT | 3D | 38 位患者 / 76 次扫描 | 1 | 2 | University of Pennsylvania | 2021 |
| 胰腺病灶 | CT | 3D | 21 位患者 / 42 次扫描 | 1 | 3 | University of Pennsylvania | 2021 |
子任务数合计 2 + 1 + 3 + 1 + 1 + 1 = 9。影像例数合计 55 + 39 + 32 + 24 + 76 + 42 = 268。这两组数字是理解全套数据规模的基础，后面的所有讨论都建立在它们之上。
需要注意胰腺两组的计数口径与其余四组不同。其余四组是「一例患者一次扫描」，胰腺两组是「一位患者两次扫描」，且两次扫描分别在两个时间点完成。所以 76 与 42 是扫描次数，不是患者数；把它当成患者数会把这两组的规模高估一倍。这个口径差异官方在参与页括号里写明了，但很容易在二手转述中丢失。
2.2 脑肿瘤的三个子任务为何不具名
脑肿瘤组是唯一一组「一例影像对应三个子任务」的。官方页面只说这是同一批多模态 MRI 上的三个不同肿瘤子结构，要求参赛者对 task01、task02、task03 各交一份概率图，但没有在 2020 与 2021 的参与页里逐项写明每个 task 对应哪个解剖定义。
这带来一个实际问题：使用者拿到数据后，只能通过掩膜的形态与体积去反推哪个是完整肿瘤、哪个是核心区、哪个是强化区，而反推依据的是经验而非文档。对于要写方法对比论文的人来说，这是一个必须在文中声明的口径风险——你没法引用官方原文来说明自己对齐的是哪一个靶区。
相比之下，脑生长、肾脏、前列腺的每个子任务都是单一定义，不存在这个歧义。前列腺的两个子任务的官方命名同样没有在页面展开，但因为是同一器官的两个相邻结构，按体积大小排序即可唯一识别，风险低于脑肿瘤。
2.3 一条记录长什么样
把一例影像拆开看，目录结构是这套数据最有信息量的部分。官方在参与页给了一张提交目录的示例，训练集的排布与之对应：
QUBIQ_training/
├── brain-tumor/
│ ├── case_001/
│ │ ├── imaging.nii.gz # 四模态 MRI，通道维并列
│ │ ├── rater_01_task01.nii.gz
│ │ ├── rater_02_task01.nii.gz
│ │ ├── rater_03_task01.nii.gz
│ │ ├── rater_01_task02.nii.gz
│ │ └── rater_01_task03.nii.gz
│ └── case_002/
├── brain-growth/
│ ├── case_001/
│ │ ├── imaging.nii.gz
│ │ ├── rater_01_task01.nii.gz
│ │ └── rater_07_task01.nii.gz
├── kidney/
├── prostate/
├── pancreas/ # 仅 2021 届
└── pancreatic-lesion/ # 仅 2021 届
这个结构里有三个设计决定值得单独说。
第一，影像只有一份，掩膜有多份。同一例的 imaging.nii.gz 是全组共享的，专家掩膜按 rater 并列。这意味着所有专家看的是同一张图，分歧不可能来自图像本身，只能来自判读。这是整套数据能用来做不确定性分析的前提。
第二，掩膜按 rater 分文件，不按 task 合并。如果官方把三位专家的掩膜投票融合成一个 task01.nii.gz，那多标注信息当场就没了。分文件存放看似只是文件管理的选择，实际上是这套数据全部价值的载体。
第三，task 编号是第二维。脑肿瘤组是唯一同时使用 rater 与 task 两个维度的组，所以它的目录最深。这也是为什么它的单例磁盘占用最高——一张四模态影像配九个掩膜文件。
2.4 标注形态：二值掩膜进，概率图出
这里最容易搞混的一点是「标注」与「真值」不是同一个东西。
专家交上来的是二值掩膜，每个体素要么 0 要么 1，没有中间态。一位专家不会说「这个体素有七成是肿瘤」，他只能给出一个判断：在边界内，或不在。这是人手勾画的物理限制。
官方给出的评测真值是连续概率图，由同一例的所有专家二值掩膜逐体素求平均得到。三位专家里两位画了、一位没画，那个体素的真值就是 0.667。七位专家里七位都画了，真值就是 1。所以概率图的取值集合是离散的分数，分母等于该例的标注者人数——三人标注的组，真值只可能出现 0、0.333、0.667、1 四种值。
这个细节决定了整套评分的行为。参赛者输出的是连续的 0 到 1，但真值只在少数几个离散值上取非零概率。一个理想模型应该在真值为 0.667 的区域输出接近 0.667 的值，在真值为 1 的区域输出 1。任何在这两者之间的「和稀泥」都会被阈值化过程惩罚。
2.5 胰腺两组为什么用 3D
2020 届全部数据都是单张 2D 切片。官方没有解释原因，但从数据形态看，切片方案让存储与提交都变得简单：一例一个文件，一个文件一层，参赛者不需要处理各向异性重采样。
2021 届新增的胰腺与胰腺病灶改用 3D 体数据。这个改动把难度抬了一个台阶——不确定性估计的主流方法（MC dropout、深度集成、概率 U-Net）大多在 2D 上验证过，搬到 3D 上显存与推理成本都会翻倍。原始论文的结论里专门点了这件事：3D 任务上的不确定性方法还需要更多研究。榜单也印证了这一点，2021 届新增两组的分数与其余组不在一个量级，具体数字放在 §4 讨论。
2.6 与库内同类资源的定位差异
| 资源 | 每例标注份数 | 核心用途 | 与 QUBIQ 的差异 |
|---|---|---|---|
| QUBIQ | 2 至 7 份，全部保留 | 评测不确定性估计 | 唯一把多标注作为评测对象 |
| BraTS | 1 份共识标注 | 训练与评测胶质瘤分割 | 覆盖 335 例，但不含标注分歧信息 |
| AMOS | 1 份 | 腹部多器官分割 | 器官覆盖最全，无多标注 |
| LiTS | 1 份 | 肝脏与肝肿瘤分割 | 规模大，单标注 |
| PANTHER | 1 份 | 胰腺肿瘤 MRI 分割 | 同为胰腺方向，但无多标注 |
| QIN-Prostate | 1 份 | 前列腺 MRI 分割 | 同器官，可作单标注基线 |
一句话的取舍规则：要覆盖度去 BraTS 与 AMOS，要分歧信息只能来 QUBIQ。两者的关系不是替代，是分工——用大集训练，用小集检验不确定性是否可信。
§3 第一层：标注者
这一层回答的问题是「差异从哪来」。使用者拿到 QUBIQ 后第一个要建立的认知是：这里的每一份掩膜背后是一个具体的人，在一个具体的上午，对着一张具体的图做出的判断。这些判断之间的差异有结构，不是随机的。
3.1 标注者人数是被设计出来的变量
六组的标注者人数是 2、3、3、3、6、7，分布在两个簇上。这个分布不是偶然——它对应两类完全不同的不确定性研究。
低人数组（2 至 3 人）：肾脏、脑肿瘤、胰腺、胰腺病灶。这类配置能算出方差，但样本太小，无法估计标注者之间的系统性偏倚。三人标注时，只要有一位专家的判读习惯与另外两位不同，平均真值就会被拉偏三分之一，而这个偏移在统计上无法与随机波动区分。
高人数组（6 至 7 人）：前列腺与脑生长。这两组才真正能做「标注者间一致性」的定量分析，比如算每位专家与其他人的平均 Dice、看是否存在离群标注者、估计组内相关系数。
所以选组时要先问自己：我做的是「检验模型能否复现分歧」，还是「研究分歧本身的统计结构」？前者用低人数组就够，后者必须用高人数组。
3.2 前列腺组的一个例外说明了什么
官方在 2020 届的参与页写：前列腺 55 例，两个子任务，六份标注，其中一例只有五份。2021 届的表述变成了「三例只有五份，原因是标注质量差」。
这个细节值得停下来看。它说明标注流程里存在一个质检环节，而且这个环节会丢弃质量不合格的专家掩膜，而不是修补它。丢弃意味着该例的专家人数从 6 变成 5，概率图真值的分母随之从 6 变成 5，取值集合从六档变成五档。
对使用者的直接影响是：同一组内的真值粒度并不一致。你在前列腺组里会同时遇到分母为 6 和分母为 5 的病例，如果代码里把「真值乘以 6 再取整」当作恢复专家投票数的捷径，那些五标注的病例就会算错。这类错误在批量处理时不会报错，只会静默产生偏差。
3.3 七位专家与三位专家的分歧幅度不能直接比
脑生长组有 7 位标注者，肾脏组只有 3 位。直觉上人多分歧大，但实际相反的逻辑更常见：人越多，越容易出现一位判读习惯明显不同的专家，从而把极值拉宽；人越少，越容易被「大家都是这么画的」这种隐性共识压平。
这意味着跨组比较不确定性的绝对幅度是没有意义的。肾脏组的平均成对 Dice 看起来可能比脑生长组高，但这不能推出「肾脏的边界更清楚」——它可能只是因为只有三个人，抽取到的判读风格更集中。
正确的做法是组内比较：在同一组内比不同模型，或者在同一组内比模型与单个专家、模型与专家群体。跨组的数字只能用来判断「这个任务整体有多难」，不能用来判断「这个器官的边界有多模糊」。
3.4 标注者不是随机抽取的
官方没有公布标注者的资历分布，也没有说明同一位专家是否参与了多个组。从供稿机构看，六组分别来自四家单位，标注很可能由各组所属机构的医师完成。这意味着组间的判读差异里混着机构差异——不同医院的窗宽习惯、不同学校训练出来的边界标准，都会渗进数据。
对做跨组实验的人来说，这是一个必须声明的混杂因素。你不能把「前列腺组的分歧小于脑肿瘤组」解释成器官特性，因为两组的标注者来自不同机构、不同专业背景，差异来源至少有三条，而数据没有提供拆分它们的字段。
3.5 独立勾画意味着什么
官方反复用的词是「独立」——每位专家各自勾画，不协商、不看别人的结果。这个约束是整套数据可信度的地基。
如果标注是协商出来的，分歧会被系统性压缩，剩下的差异只反映「谁在会议上更强势」，而不是「图像本身有多模糊」。独立勾画保住了分歧的原始分布，代价是分歧的幅度会比临床实际更大——真实临床中，疑难病例通常会二次阅片或集体讨论，最终报告里的边界比独立勾画时更收敛。
所以 QUBIQ 测出的不确定性，上限偏向「完全独立判读」这个极端情形。把它当成临床实际分歧的估计会高估；把它当成「判读自由度」的度量则恰如其分。
§4 第二层：为什么差异要被建模，而不是被消除
这一层是整套数据存在的理由，也是选它而不选别的分割集的分界线。前面讲的是差异长什么样，这里要讲清楚为什么不能把它当噪声清掉。
4.1 平均掉分歧，就是把问题定义掉了
常规流程里，多专家标注的归宿是「达成共识」：投票、STAPLE、专家仲裁，最后留一张掩膜。这个流程在工程上很自然——训练需要唯一标签，评测需要唯一答案。但它有一个代价：共识掩膜把「这里大家有分歧」这个信息彻底删除了。
删掉之后会发生什么？模型在训练时看到的是一个确定性的边界，它学到的信号是「这个体素属于肿瘤，那个体素不属于」，没有任何提示告诉它「这两者之间有一条宽约三毫米的灰色带，五位专家在这条带里各画各的」。于是模型在灰色带里的输出完全由损失函数的偶然性决定，它可能给出 0.99 的自信，也可能给出 0.51 的犹豫，两者都没有依据。
临床上这个区别很重要。一个在灰色带里输出 0.99 的模型，会让阅片者放弃复核；一个输出 0.6 的模型，会让人多看一眼。两者在共识掩膜上的 Dice 可能一模一样，但风险完全不同。
4.2 分歧不是误差，是数据的属性
这里要拆开一个常见混淆。误差是「偏离了正确答案」，隐含存在一个正确答案；分歧是「多个都合理的答案并存」，不预设哪个对。
QUBIQ 官方在 About 页把这一点写得很清楚：这种变异性是「生物学问题、成像模态与专家标注者共同具有的属性」，而当时的算法设计没有充分考虑它。这个措辞很关键——它把变异定位成数据的属性，而不是标注的缺陷。
一旦接受这个定位，很多做法就要改。比如「标注质量差」这个判断，在单标注框架下指的是「这位专家画错了」；在多标注框架下，它可能指的是「这个结构的边界本来就无法唯一确定」，此时丢掉「画得不一样」的那位专家，等于丢掉了最接近真实不确定性的一份信息。前列腺组为「标注质量差」丢弃了三例的第五份标注，这个操作在工程上合理，在信息上是有损的——被丢掉的那份标注，恰恰可能是分歧最大的那份。
4.3 案例：肾任务为什么从 0.238 排到 0.956
2020 届榜单里有三列分数特别扎眼。脑生长组各队集中在 0.82 到 0.93 之间，前列腺组在 0.78 到 0.97 之间，都是紧凑的高分区。肾脏组不是——同一份榜单上，肾脏一列的取值从 0.238 一路铺到 0.956，跨度超过 0.7。
这个跨度不是笔误，也不是某队交错了文件。它反映的是：肾脏这个任务上，不同方法对「不确定性该放在哪」的判断分歧极大。有的队伍把概率图做得接近二值，在专家分歧区给出 0 或 1 的硬判断，于是阈值化后与平均真值大面积不符，拿 0.238；有的队伍把概率图铺得很软，在边界带里给出大面积的中间值，恰好与 0.667 这一档对上了，拿 0.956。
两个极端的 Dice 差了四倍，但它们可能来自同一种能力缺失的两面：都没有真正定位到专家分歧发生在哪。前者不知道哪里该犹豫，后者到处都犹豫。多阈值评分把这个差别暴露了出来，单阈值 Dice 则会把它抹平——如果只在 0.5 处二值化，两者都会得到一个中庸的分数。
这个案例的用处在于它给出了判读榜单的正确方式：不要只看平均分，要看同一任务内各队分数的离散度。离散度大的任务，说明该任务对方法选择高度敏感，任何单队成绩都不能当作该任务的可达上限。肾脏组的 0.956 不代表肾脏分割能做到 0.956，它只代表有一支队伍的软输出恰好与平均真值的粒度对上了。
4.4 病例：胰腺病灶上的集体坍塌
如果肾脏组的分歧还能用「方法不同」解释，2021 届新增的胰腺病灶组就没法这么解释了。这一列上，所有提交队伍的成绩都落在 0.07 到 0.25 之间，最高分不到 0.25。
同一份榜单上，前列腺组的成绩是 0.83 到 0.97。同一个挑战赛、同一套评分规则、同一批队伍，两个任务的分数差了三倍以上。差别在哪？
差别在任务本身。前列腺是一个边界相对清晰、形态稳定的器官，专家分歧集中在少数几个层面；胰腺病灶是一个边界极度模糊、对比度低、常与周围血管和肠管粘连的靶区，三位专家的勾画可能在小病灶上几乎没有交集。当专家之间的重叠本身就低时，平均出来的概率图会呈现大面积的低值，任何试图输出「锐利」预测的模型都会在阈值化时被打到接近零。
这个结果的意义不是「大家都做得很差」，而是「这个任务把当前方法的短板照出来了」。原始论文的结论与此一致：3D 任务上的不确定性量化方法还需要更多研究。榜单在这里起到的作用是给出一个可复现的下界参照——如果你的方法在胰腺病灶上拿到 0.3，那不是小幅改进，是把公开最好成绩提高了一个可观的幅度。
回到 §4.3 的案例，两者其实是同一条规律的两端：分数的高低主要反映方法与「专家分歧结构」的匹配程度，而不是反映边界勾画的精细程度。
4.5 显式建模分歧，能得到什么
把分歧当成一等公民之后，至少有三件事变得可做。
第一，可以让模型学会「在哪里停手」。 一个输出概率图的模型，其高不确定区域可以直接转成人工复核的工单。这与「把整个病例都送人工复核」相比，工作量差一个量级，而漏检率不会明显上升——因为模型已经把注意力集中到了专家也会犹豫的地方。
第二，可以给下游决策提供风险刻度。 放疗靶区勾画里，边界外扩多少毫米是一个有临床后果的决定。如果模型能报出「这段边界的专家分歧约在两毫米」，外扩策略就可以按分歧而非按经验常数来定。
第三，可以做标注预算的分配。 如果一例影像的模型不确定度很高，说明它落在标注者也会分歧的区域，此时追加一位专家标注的边际收益最大；反过来，低不确定度的病例追加标注基本是浪费。QUBIQ 这类数据正是校准这套分配策略的参照系。
4.6 反过来的风险：不确定性也会被滥用
显式建模分歧不是没有代价。最常见的误用是把「高不确定」当成免责声明：模型在所有难例上都输出高方差，于是任何错误都可以解释为「我早就说了这里不确定」。这种输出在指标上可能不差，在临床上毫无价值，因为它没有区分「难」和「不会」。
QUBIQ 的评分设计某种程度上防了这一手。因为真值是多位专家的平均，一个到处输出中间值的模型，在专家一致的区域（真值为 0 或 1）会被阈值化严重惩罚。要让十个阈值上的平均 Dice 都好看，模型必须在专家一致处果断、在专家分歧处犹豫——这个约束比单一阈值严格得多。
但防线不是万能的。如果某组的专家分歧本身就覆盖了大面积区域，那么「到处犹豫」在该组内的代价会下降。这也是为什么跨组比较必须谨慎：评分规则相同，但各组的「犹豫是否划算」并不相同。
§5 第三层：怎么读、怎么算、怎么复现
这一层服务于要真正跑起来的人。前两层讲的是这套数据是什么、为什么重要，这一层讲文件怎么读、分数怎么算、结论怎么复现。
5.1 读取一例多标注数据
所有影像与掩膜都是 NIfTI 格式，用 nibabel 直接读。下面这段代码把一例的所有专家掩膜堆成一个数组，并顺带算出该例的概率图真值——注意分母是实际存在的掩膜数，不是固定的标注者人数。
#-- 依赖: pip install nibabel numpy
import nibabel as nib
import numpy as np
from pathlib import Path
case_dir = Path("QUBIQ_training/brain-growth/case_001")
img = nib.load(str(case_dir / "imaging.nii.gz"))
img_data = np.asanyarray(img.dataobj)
masks = []
for f in sorted(case_dir.glob("rater_*_task01.nii.gz")):
m = np.asanyarray(nib.load(str(f)).dataobj)
masks.append((m > 0.5).astype(np.float32))
stack = np.stack(masks, axis=0) # 形状: (n_rater, H, W)
prob_gt = stack.mean(axis=0) # 官方口径: 逐体素平均
n_rater = stack.shape[0]
levels = np.unique(np.round(prob_gt, 3)) # 三人标注时只有 0/0.333/0.667/1
print(f"影像 {img_data.shape} | 标注者 {n_rater} 位 | 真值取值 {levels}")
关键的一行是 stack.mean(axis=0)。官方真值就是这个平均，没有任何加权、没有形态学后处理、没有投票。如果自己实现时加了「多数投票后再平滑」，算出来的分数与官方不可比。
5.2 十个阈值上的平均 Dice
官方口径是：把真值与预测分别按 0.1 到 0.9 的十个概率水平二值化，逐阈值算 Dice，再取平均。二值化时用「大于等于阈值」还是「大于阈值」，在边界体素上会造成小数级差异，复现时建议两种都算一次看差多少。
#-- 与官方定义对齐的十阈值平均 Dice
import numpy as np
THRESHOLDS = np.arange(1, 10) / 10.0 #-- 0.1 到 0.9 共十档
def dice_bin(a, b, eps=1e-8):
inter = np.sum(a * b)
return (2.0 * inter + eps) / (np.sum(a) + np.sum(b) + eps)
def mean_dice_over_thresholds(prob_pred, prob_gt):
scores = []
for t in THRESHOLDS:
p = (prob_pred >= t).astype(np.float32)
g = (prob_gt >= t).astype(np.float32)
scores.append(dice_bin(p, g))
return float(np.mean(scores)), [round(s, 4) for s in scores]
#-- 一个"到处犹豫"的坏例子: 全域输出 0.5
flat = np.full_like(prob_gt, 0.5)
avg, per_t = mean_dice_over_thresholds(flat, prob_gt)
print("常数 0.5 预测:", round(avg, 4), per_t)
跑一下就会发现，「全域 0.5」这个看似安全的预测在十个阈值上的表现极度不均匀：低阈值时它几乎把整幅图判为前景，高阈值时几乎全判为背景，两端的 Dice 都很低，平均值被拖垮。这正是评分规则防「和稀泥」的机制。
5.3 Q-Dice：分层而不是分档
Q-Dice 是论文里给出的改进指标，思路与多阈值平均不同。它不把概率图切成十份分别评分再平均，而是按概率分层统计——落在第 l 层的像素，与真值中同一层的像素比对。数学形式在论文式 (1) 里，核心是那个指示函数：对第 l 层，判定像素概率是否落在 l/L 到 (l+1)/L 的区间内，最后一个区间是闭区间。
这样做的效果是：模型在 0.6 附近的一团概率，只会与真值在 0.6 附近的一团比对，不会被拉到 0.3 或 0.9 的档位上凑分。对于专家分歧集中在窄带的结构，这个指标比十阈值平均更敏感。
需要提醒的是，官方榜单的主排序用的是十阈值平均 Dice，Q-Dice 是辅助分析指标。自己写论文时如果要报 Q-Dice，务必说明用的是哪个 L，论文示例里 L 取 10，但代码里改 L 会改变分数。
5.4 复现一次完整的评估
把上面两段拼起来，一个最小可用的评估脚本如下。它遍历一个组里的所有病例，输出逐例分数与组内平均。
#-- 最小评估流程: 逐例算分, 汇总成组内平均
from pathlib import Path
import numpy as np
import nibabel as nib
def load_case(case_dir: Path, task: str):
rater_files = sorted(case_dir.glob(f"rater_*_{task}.nii.gz"))
masks = [(np.asanyarray(nib.load(str(f)).dataobj) > 0.5).astype(np.float32)
for f in rater_files]
return np.stack(masks, axis=0).mean(axis=0)
def eval_group(group_dir: Path, task: str, predict_fn):
rows = []
for case_dir in sorted(p for p in group_dir.iterdir() if p.is_dir()):
gt = load_case(case_dir, task)
pred = predict_fn(case_dir, task)
avg, _ = mean_dice_over_thresholds(pred, gt)
rows.append((case_dir.name, round(avg, 4)))
vals = [r[1] for r in rows]
return rows, round(float(np.mean(vals)), 4)
#-- predict_fn 由使用者自行提供, 返回与 gt 同形状的 0-1 概率图
这段代码里没有硬编码任何路径假设，除了目录层级。实际使用时要注意两点：脑肿瘤组的掩膜文件名带 task 后缀，其余各组也统一带，所以 rater_*_{task}.nii.gz 这个模式六组通用；胰腺两组是 3D，nibabel 读出来的形状是三维而不是二维，十阈值函数不需要改，但显存估算要按体积算。
5.5 榜单分数为什么不能离线复现
2020 与 2021 两届的测试集影像公开，标注不公开。这意味着榜单上的分数只能由官方在隐藏标注上算出，任何人拿到数据都无法在自己机器上重算出同一条榜单。
能复现的是训练集与验证集上的分数。官方把验证集带标注放出，供参赛者自查格式与量级；训练集里也划出了一个标注为 evaluation 的子集，用于在线榜单的格式验证。这两部分足以支撑「我的方法在同一批数据上处于什么水平」的判断，但不足以宣称「我超过了榜单第一名」。
这个限制不是 QUBIQ 独有的，几乎所有医学影像挑战赛都这样。区别在于，QUBIQ 的测试集规模很小（官方说约为训练例数的两成），所以隐藏标注的统计波动本身就大。即便你能拿到测试标注，单次评比的名次也可能因为几十个体素的差异而变动。§4.3 的案例说明同一任务内的方法差异足以造出四倍分差，而测试集越小，这种差异越容易被单例放大。
§6 与库内条目的关系
6.1 关系图谱
QUBIQ 在库内的位置比较特殊：它不是一个「器官数据集」，而是一个「评测维度数据集」。所以它与其它分割条目的关系是垂直的——它可以架在任何一个器官数据集之上。
脑部方向，brains 系列（BraTS 及其派生）提供大规模单标注胶质瘤影像，QUBIQ 的脑肿瘤组提供同一类影像上的三专家标注。两者共用 BraTS 的影像来源——官方在论文里明确说，脑肿瘤组的第一个标签集就是 BraTS 成人胶质瘤的原始标注，另外两个标签集是用 BraTS Toolkit 跑五个算法再融合出来的。这一点很重要：它说明 QUBIQ 的脑肿瘤组严格说来是「一个真实标注加两个算法标注」，与人手独立勾画的性质不同。
腹部方向，amos-abdominal 提供多器官单标注，lits-liver 提供肝脏与肝肿瘤，panther-pancreas-mri 提供胰腺肿瘤 MRI。QUBIQ 的肾脏、胰腺、胰腺病灶三组与它们在器官上重合，但标注组织方式完全不同。
前列腺方向，qin-prostate 提供单标注 MRI 前列腺分割，与 QUBIQ 前列腺组的两个子任务可以对齐比较。脑部通用配准与分割可以用 ixi-dataset 做前置处理。产前与胎儿方向，feta 与 QUBIQ 的脑生长组在人群上接近——脑生长组的供稿方是苏黎世大学儿童医院，官方 About 页把它归入产前脑一类。
6.2 三条互链路径
路径一：从器官到评测。 先用 amos-abdominal 或 lits-liver 训一个能用的分割模型，再用 QUBIQ 的肾脏组检验它的不确定性输出是否可信。这条路径解决的是「模型训好了，但不知道它什么时候会错」的问题。
路径二：从同器官到多标注。 先用 qin-prostate 建立前列腺分割基线，再换到 QUBIQ 前列腺组看多专家标注下的分数会掉多少。这个落差本身就是「你的模型在多大程度上依赖了某一种判读习惯」的度量。
路径三：从大规模到小样本验证。 brains 系列的规模足以训出稳定模型，但只有一个答案；QUBIQ 脑肿瘤组规模小，却能告诉你模型在三位专家之间的位置。前者管覆盖，后者管校准。
6.3 一个容易踩的坑
不要把 QUBIQ 与其它数据集混合训练后再在 QUBIQ 上评测，然后声称自己「利用多标注提升了性能」。QUBIQ 的测试标注不公开，你能评的只有训练集与验证集，而这两部分你训练时已经见过了。这个错误在把 QUBIQ 当作「又一个分割集」的人身上很常见，根源还是没有理解它的评测对象是概率图的形状，而不是掩膜的准确度。
§7 质量评估与局限性
7.0 阅读本节前需要知道的一件事
用评价普通分割数据集的标准来评价 QUBIQ，会得出几乎全是缺点的结论：数据量小、器官覆盖与现有资源重复、没有统一的采集协议、测试标注不给、榜单不再更新。这些批评每一条都成立，但都打偏了靶子。
QUBIQ 不是一个「供训练用的数据集」，它是一个「供校准用的测试台」。评价测试台的标准不是它有多少数据，而是它的测量是否稳定、是否可解释、是否能区分不同的被测对象。按这个标准看，它的强项在设计与评分规则，弱项在样本量与文档完备度。以下逐项展开。
7.1 规模：268 例是硬约束
| 组 | 例数 | 若按 8:2 划分，测试集约 |
|---|---|---|
| 前列腺 | 55 | 11 |
| 脑生长 | 39 | 8 |
| 脑肿瘤 | 32 | 6 |
| 肾脏 | 24 | 5 |
| 胰腺 | 76 次扫描 | 15 |
| 胰腺病灶 | 42 次扫描 | 8 |
官方说测试集约为训练例数的两成，上表是按此推算的量级。可以看到，除胰腺组外，各组的测试集都在个位数到十余例之间。在这个规模上，一次评测的名次差异很容易被单例的偶然性主导——一例特别难的病例就能把平均分拉低几分。
这个约束无法通过「多跑几次」缓解，因为测试集是固定的。可行的做法是同时报逐例分数与置信区间，而不是只报一个平均值。
7.2 标注者人数不均，跨组不可比
这一点在 §3.3 已经展开，这里只补充量化后果。三人标注时，真值只有四档取值；七人标注时有八档。档位越少，概率图的可分辨度越低，模型输出在阈值化后的行为越粗糙。这意味着脑肿瘤组的分数天然比脑生长组更容易饱和或崩塌，与任务难度混在一起，无法分离。§4.3 的案例里肾脏组那个大跨度，有一部分正来自三标注的四档真值与软输出之间的偶然匹配，而不是方法本身的优劣。
7.3 脑肿瘤组的标签来源需要澄清
官方论文明确写了：脑肿瘤组的三个标签集，一个是 BraTS 原始标注，另外两个是用 BraTS Toolkit 跑五个算法后分别用多数投票与 SIMPLE 融合得到的。也就是说，这一组的三份「标注」里有至少两份不是人类专家独立勾画的结果。
这与其余五组的性质不同。用它来论证「专家之间的分歧」会站不住脚——算法融合产生的差异与人类判读差异不是一回事，前者的分歧模式由算法族决定，后者的分歧模式由解剖模糊性决定。
这是全套数据里最需要在方法学部分声明的一处。官方页面在 2020 与 2021 的参与页都说「三位标注者」，只有翻到论文的 3.1.1 节才能看到标签的真实来源。
7.4 文档不一致清单
| 位置 | 官方表述 | 实际情况 |
|---|---|---|
| 2020 参与页 | 所有数据集约 50 到 100 例 | 实为 24 至 55 例，无一达到 50 以上的下限口径 |
| 2021 参与页 | 7 个二值任务、4 组图像 | 页面自身随后列出 6 组、9 个任务 |
| 2021 参与页任务清单 | 合计写「7 tasks」 | 括号内逐项相加为 3+2+1+1+2=9 |
| 脑肿瘤子任务 | 三个分割任务 | 未逐项命名，仅以 task01 至 task03 索引 |
| 前列腺标注数 | 2020 写 1 例 5 份 | 2021 改为 3 例 5 份，原因是标注质量差 |
| 许可 | Zenodo 记录元数据为 CC BY-ND 4.0 | 文档正文 Data usage agreement 写 CC BY |
这些不一致不构成造假，它们更像是挑战赛网站在两届之间反复改稿留下的痕迹。但对使用者来说，任何引用都必须指明是哪个页面、哪一届，否则会引到已经被覆盖的旧表述。上面第 1 条与第 2、3 条尤其明显：2021 的参与页显然是从 2020 版复制后改的，正文加了新组，开头那句「四组、七个任务」忘了改。
7.5 DAIMS 二十四项评估
DAIMS 从动机、收集、处理、质量、访问、可持续六个角度看一份数据资产的完备度。把它拆成二十四项逐条过一遍，能把「哪里语焉不详」显式列出来。
| 维度 | 检查项 | 表现 | 判定 |
|---|---|---|---|
| 动机 | 目标是否明确 | 首页与 About 页均写明填补不确定性评测空白 | 强 |
| 动机 | 是否有文献支撑 | 引用两项标注者间变异研究作为动机 | 强 |
| 动机 | 任务定义是否可执行 | 九个二值子任务定义清晰 | 强 |
| 动机 | 是否有明确受众 | 面向算法研究者，非临床直接使用 | 中 |
| 收集 | 来源是否可追溯 | 四家机构逐组标注供稿方 | 强 |
| 收集 | 采集协议是否公开 | 未公布扫描参数、层厚、序列细节 | 弱 |
| 收集 | 纳入排除标准 | 未公布病例筛选条件 | 弱 |
| 收集 | 伦理与知情同意 | 设计文档称数据已进入公有领域 | 中 |
| 处理 | 去标识化 | 明确说明已去标识 | 强 |
| 处理 | 格式标准化 | 统一 NIfTI，2020 届统一切 2D | 强 |
| 处理 | 标注是否保留原始形态 | 按 rater 分文件，不做融合 | 强 |
| 处理 | 质控流程 | 2021 届称做过一轮质检并出 v3，细节未公开 | 中 |
| 质量 | 是否有官方基线 | 两届共 24 队提交，榜单公开 | 强 |
| 质量 | 是否有标注一致性统计 | 未提供成对 Dice、ICC 等指标 | 弱 |
| 质量 | 真值构造是否可复现 | 平均法明确，分母随标注人数变动 | 强 |
| 质量 | 测试集是否独立 | 隐藏标注，但规模仅约两成 | 中 |
| 访问 | 是否可免费获取 | 加密压缩包，密码公开在页面 | 强 |
| 访问 | 许可是否明确 | 设计文档写 CC BY，与 Zenodo 元数据不一致 | 中 |
| 访问 | 长期托管 | 依赖 LRZ 机构盘，非通用学术仓库 | 弱 |
| 访问 | 版本可追溯 | 2021 有 v3 标注，但无变更日志 | 中 |
| 可持续 | 是否有正式论文 | arXiv 2405.18435，2024 年 v2 | 强 |
| 可持续 | 是否有后续届次 | 2020 与 2021 两届后停止 | 中 |
| 可持续 | 是否有下游复用 | 后续挑战赛公开引用其多标注数据 | 强 |
| 可持续 | 维护主体是否明确 | 无长期维护机构，靠论文与数据盘存续 | 弱 |
二十四项里，强九项、中八项、弱七项。弱的集中在采集协议、标注一致性统计与长期托管三块，这正好对应「能用于研究、不能作为唯一依据」的定位。
7.6 它为何能持续
两届比赛在 2021 年就结束了，官网首页还停在 2020 年的公告，榜单不再更新。按常规判断，这类资源会在三年内链接失效、无人维护。QUBIQ 没有，原因有三。
第一，它占住了一个结构性的空位。 多标注影像数据不是没人能做，是没人愿意做——成本是单标注的数倍，而收益在旧评测体系里体现不出来。一旦 QUBIQ 成为这个方向的默认参照，后来的工作就必须与它对比，引用关系自我强化。
第二，它被一篇正式论文锚定了。 arXiv 2405.18435 有完整的赛制、榜单与方法综述，2024 年还出了 v2。这篇论文让数据有了可引用的身份，使用者不必为一个「非正式数据包」承担引用风险。
第三，它被下游直接复用。 后续的多标注挑战赛在设计时会明确引用 QUBIQ 的多标注数据并征求其许可，这种复用让数据在新场景里继续产生价值，而不是随着原比赛结束而冻结。
反过来说，它的脆弱点也很清楚：托管在机构网盘上，没有 DOI，没有版本化仓库。论文能保证它被记住，不能保证它被下载到。
§8 版本与生态
8.1 两届，两年，两次口径调整
2020 届的时间线在参与页留得很完整：6 月底训练数据开放、注册开启；7 月中验证数据与榜单开放；9 月 16 日测试阶段启动；10 月 8 日在 MICCAI 线上 workshop 公布结果。测试数据下发后要求 48 小时内交回分割结果，这个窗口短得有点苛刻，也解释了为什么只有部分队伍完成了全部任务。
2021 届的节奏类似但更紧：6 月开放训练数据，8 月 3 日验证数据与榜单开放，8 月 20 日 LNCS proceedings 投稿截止，9 月 6 日上午 10 点（中欧时间）下发测试数据、48 小时窗口，9 月 16 日方法描述截止，10 月 1 日 workshop。
两届之间最重要的变化不是任务增加，而是评测口径的统一。2020 届只有四个图像组，2021 届加了胰腺与胰腺病灶，同时在 8 月 16 日对训练集与验证集做了一轮质检并重新发布 v3 版本，页面明确要求「请使用最新数据集做训练与验证」。这意味着 2021 届的参与者在赛程中经历过一次数据替换，早期下载的版本与最终版不一致。
8.2 参赛规模与方法的演化
两届累计 24 支队伍提交了方案。这个数字在医学影像挑战赛里属于中等偏小——BraTS 单届常有数十队。规模小的原因不难猜：任务要求输出概率图而非二值掩膜，参赛门槛比常规分割赛高一截；而且必须理解「不确定性」这件事本身，不是把现成分割网络改个输出层就能上场。
从论文的方法汇总看，主流做法分三路。第一路是多网络集成，为每位标注者单独训一个网络再融合，代表队伍在 2020 届拿到了最高平均分。第二路是贝叶斯近似，用 MC dropout 或深度集成在单一网络内估计方差。第三路是概率 U-Net 家族，直接学习标注分布的隐变量。
论文的结论里有一句判断值得记下：集成类方法表现突出，而 3D 任务上的不确定性方法仍不成熟。这句话与榜单上胰腺病灶组的集体低分是同一件事的两种说法。
8.3 生态位：它不在器官地图上，在评测地图上
把库里所有分割数据集铺开，横轴是器官，纵轴是标注份数，QUBIQ 会落在「标注份数最高」的那条窄带里，而它的器官覆盖只占很小一段。这个位置决定了它与谁竞争、与谁互补。
与它竞争的是其它多标注数据：LIDC-IDRI 的肺结节四阅片者标注、MICCAI 2012 前列腺挑战赛的多专家标注、ISBI 2015 的 MS 病灶多标注。三者都是单一器官，QUBIQ 的优势是跨器官、跨模态、跨维度，劣势是每个器官的样本都比对应的专用集少。
与它互补的是所有单标注大集。它不试图取代任何一组，它的角色是在大集训完之后提供一次「你的不确定性是否可信」的检查。
8.4 一个没有被回答的问题
QUBIQ 之后，这个方向没有出现第三届。官网首页停留在 2020 年的公告，2021 的页面单独存在但没有指向未来的计划。数据还在，榜单冻结，论文已发表。
这不完全是失败。多标注数据的生产成本决定了它不可能像 BraTS 那样年年扩规模；更现实的路径是把它作为一次性基础设施，供后续工作在方法层面反复引用。从这个角度看，两届、24 队、9 个任务，已经完成了它该完成的事。
§9 使用指引
9.1 三种角色的路径
做不确定性方法研究的：直接从前列腺组或脑生长组入手。这两组标注者多（6 与 7 位），真值档位细，能分辨出模型输出分布的细微差别。先用训练集自评，再对齐论文榜单看量级。
做分割工程落地的：从肾脏组入手。24 例、3 位标注、CT 模态，规模最小、最易跑通，适合先把评测管线搭起来。跑通后再换到前列腺组验证管线在 2D 多任务情形下是否正常。
做标注质量研究的：用前列腺与脑生长两组。六到七位标注者才够算成对一致性，也才够识别离群标注者。三人组在这个用途上没有统计意义。
9.2 一个最小可用的验证流程
#-- 1. 取数: 2021 届训练集为质控后 v3 版本
curl -L -o training_data_v3_QC.zip \
"https://syncandshare.lrz.de/getlink/fi7wpcsxhK9AjyjBU7vj5y8m/training_data_v3_QC.zip"
#-- 2. 解压需要密码, 密码公开在 2021 参与页
unzip -P qubic2021 training_data_v3_QC.zip -d QUBIQ2021
#-- 3. 目录检查: 六组应当都在
ls QUBIQ2021
解压后先做一次完整性检查：六组目录是否齐全、前列腺组是否 55 例、胰腺组是否为 76 个扫描目录。这三项对不上，说明拿到的是旧版本或者压缩包不完整。
9.3 在 AI 流程中的位置
QUBIQ 不适合放在训练环节，适合放在验证环节的最后一关。一个典型流程是：用大集预训练，用目标器官的专用集微调，然后在 QUBIQ 对应组上做不确定性校准。校准的判据不是 Dice 涨了多少，而是多阈值 Dice 的曲线是否单调、高不确定区是否与专家分歧区重合。
如果一定要用它训练，唯一合理的用法是多分支训练：为每位标注者设一个输出头，让模型显式学习「不同判读者会怎么画」，而不是学一个平均答案。这正是 2020 届冠军队伍的做法——为每位标注者单独训一个 2D U-Net，推理时把多个输出平均成概率图。
§10 AI 使用声明
| 项目 | 说明 |
|---|---|
| 性质 | 公开研究数据与挑战赛评测基准，非临床诊断工具 |
| 用途 | 不确定性估计方法的训练、校准与横向比较 |
| 不建议用途 | 直接用于临床决策、作为唯一训练集训练生产模型、跨组比较不确定性绝对幅度 |
| 伦理 | 影像已去标识化；使用者仍需遵守 CC BY 的署名要求 |
| 引用 | 须引用 Li 等，arXiv:2405.18435；使用具体组时建议注明届次与组名 |
| 版本 | 2020 届原始版与 2021 届质控后 v3 版并存，引用时须指明 |
| 状态 | 两届均已结束，榜单冻结，数据仍可下载 |
| 责任 | 数据由各供稿机构提供，使用后果由使用者承担 |
常见误读（避坑清单）
| 常见说法 | 实际情况 | 证据 |
|---|---|---|
| 「QUBIQ 是一个多器官分割数据集」 | 它是多标注评测集，器官覆盖只是载体，规模远不足以训练 | 六组共 268 例，最大一组 55 例 |
| 「每例都有六七个专家标注」 | 只有前列腺与脑生长达到 6 至 7 位，其余组为 2 至 3 位 | 2021 参与页逐组列出标注人数 |
| 「真值是一张概率图，所以专家标注被平均掉了」 | 平均只用于生成评测真值，原始专家掩膜逐份保留可读 | 目录中每位专家独立成文件 |
| 「平均 Dice 高的队伍不确定性做得好」 | 肾脏组跨度从 0.238 到 0.956，高分会受软输出与真值粒度匹配影响 | 2020 届榜单肾脏列 |
| 「24 支队伍、九个任务，说明这个赛很热」 | 24 是两届累计；单届队伍数明显更少，且不少队伍只提交了部分任务 | 论文摘要与榜单缺项 |
| 「2020 届的脑肿瘤组是三位专家独立勾画」 | 一份是 BraTS 原始标注，另两份由算法融合生成 | 论文 3.1.1 节 |
| 「所有数据都是 2D 单张切片」 | 2020 届如此，2021 届新增的胰腺两组是 3D | 2021 参与页写明 2D 切片或 3D 体数据 |
| 「测试集能下载，所以榜单可以离线复现」 | 测试影像公开、标注不公开 | 2021 参与页测试数据说明 |
| 「许可标的是 CC BY-ND，所以不能改数据」 | ND 针对的是设计文档 PDF；数据使用协议写的是 CC BY | Zenodo 4575204 元数据与文档正文 |
| 「脑生长就是胎儿脑，和 FETA 可以直接合并」 | 官方只说归入产前脑一类，未公布孕周、采集协议等对齐所需字段 | About 页仅提及 prenatal brain |
FAQ
Q1：2020 届和 2021 届到底差在哪？
2020 届四组图像、七个二值任务，全部为单张 2D 切片。2021 届保留这四组，另加胰腺与胰腺病灶两组共两个 3D 任务，并把训练集与验证集做了一轮质检后重发为 v3。评测规则、十阈值口径、Q-Dice 在两届之间没有变化。
Q2：为什么胰腺是 76 例而其他组只有几十例？
胰腺组的计数单位是扫描次数而非患者数。38 位患者各有两次扫描，分别在不同时间点，所以是 76。胰腺病灶组同理，21 位患者、42 次扫描。把它当成患者数会把规模高估一倍。
Q3：真值的分母是固定的吗？
不是。真值是同一例所有可用专家掩膜的平均，分母等于该例实际附带的掩膜数。前列腺组有病例只有 5 份标注，这些病例的真值只有五档取值，与六份标注的病例不同。
Q4：我能不能自己造一个共识掩膜来训练？
可以，但要在论文里说明用了哪种融合方式。多数投票、STAPLE、平均后取阈值的结果不一样，而这个选择会直接影响模型学到的不确定性形态。用平均后再二值化是最接近官方真值的做法。
Q5：Q-Dice 与十阈值平均 Dice 应该报哪个？
官方榜单主排序用十阈值平均 Dice。Q-Dice 是论文提出的改进指标，用于分析概率图的层级一致性。写论文时建议两个都报，并注明 Q-Dice 的层数 L。
Q6：榜单分数能复现吗？
不能完全复现。测试集影像公开但标注不公开，榜单分数只能由官方在隐藏标注上算出。训练集与验证集带标注，可以复现自己在这两部分上的分数。
Q7：数据还在吗？
在。2020 届的训练与验证数据在一个加密压缩包里，密码公开；2021 届的训练集为 v3 版本，验证集另有独立压缩包。托管方是 LRZ 的机构网盘，没有 DOI，长期可用性没有保证，建议取到后自行归档。
Q8：为什么肾脏组的分数那么分散？
该组只有 24 例、3 位标注，真值只有四档取值。软输出模型容易与中间档位对上而拿高分，硬输出模型则大面积不符。分数分散反映的是方法与真值粒度的匹配程度，不是肾脏分割本身的可达上限。
Q9：能把 QUBIQ 和 AMOS 混在一起训练吗？
技术上可以，但要清楚后果。AMOS 是单标注多器官，QUBIQ 是多标注少样本，混训会让模型偏向单标注的确定性输出。若目的是学不确定性，混训基本无效；若目的只是增加器官样本，那 QUBIQ 的贡献可以忽略。
Q10：脑肿瘤组的三个子任务分别是什么？
官方页面没有逐项命名，只以 task01 至 task03 索引。使用者需要根据掩膜体积与形态自行判断对应的解剖定义，并在论文中声明这一口径风险。
附录 A 子任务与图像对照
| 组 | 子任务 | 例数 | 标注者 | 模态 | 维度 | 届次 |
|---|---|---|---|---|---|---|
| 前列腺 | task01 | 55 | 6 | MRI | 2D | 2020 / 2021 |
| 前列腺 | task02 | 55 | 6 | MRI | 2D | 2020 / 2021 |
| 脑生长 | task01 | 39 | 7 | MRI | 2D | 2020 / 2021 |
| 脑肿瘤 | task01 | 32 | 3 | 多模态 MRI | 2D | 2020 / 2021 |
| 脑肿瘤 | task02 | 32 | 3 | 多模态 MRI | 2D | 2020 / 2021 |
| 脑肿瘤 | task03 | 32 | 3 | 多模态 MRI | 2D | 2020 / 2021 |
| 肾脏 | task01 | 24 | 3 | CT | 2D | 2020 / 2021 |
| 胰腺 | task01 | 76 次扫描 | 2 | CT | 3D | 2021 |
| 胰腺病灶 | task01 | 42 次扫描 | 3 | CT | 3D | 2021 |
子任务合计九项。按「例数乘标注者数」粗算，全套的专家掩膜文件总量在一千份上下——这个数由官方例数与标注人数相乘得到，不是官方公布的统计值，只用于估算存储与读取开销。
附录 B 标注组织与文件格式
| 项目 | 规格 |
|---|---|
| 影像格式 | NIfTI（.nii / .nii.gz） |
| 掩膜格式 | NIfTI，二值，取值 0 与 1 |
| 掩膜命名 | 按专家与子任务分文件，一位专家一份 |
| 概率图真值 | 由同一例全部专家掩膜逐体素平均生成 |
| 真值取值 | 0 到 1 的离散分数，档数等于该例标注者人数 |
| 提交格式 | 与训练目录同构的 zip，每任务一份概率图 |
| 阈值设定 | 0.1 至 0.9，共十档，逐档二值化后算 Dice |
| 主指标 | 十档 Dice 的平均 |
| 辅助指标 | Q-Dice，按概率分层比对 |
| 测试集比例 | 约为训练例数的两成 |
| 提交窗口 | 测试数据下发后 48 小时 |
附录 C 术语表
| 术语 | 含义 |
|---|---|
| 标注者间差异 | 多位专家对同一结构独立勾画所产生的边界不一致 |
| 多标注 | 同一例影像附带多份独立标注，而非一份融合结果 |
| 不确定性量化 | 让模型输出概率或方差，以表达其判断的可信程度 |
| 概率图 | 取值 0 到 1 的逐体素输出，表示该体素属于目标的概率 |
| 硬标签 | 只取 0 或 1 的掩膜，无中间态 |
| 共识掩膜 | 由多份标注投票或融合得到的单一参考掩膜 |
| 平均真值 | 多份二值掩膜逐体素求平均得到的参考概率图 |
| 阈值化 | 把概率图按某个概率水平切成二值掩膜的操作 |
| 多阈值 Dice | 在多个概率阈值上分别算 Dice 后取平均 |
| Q-Dice | 按概率分层比对预测与真值的改进型 Dice |
| 深度集成 | 训练多个模型并以其输出分布表示不确定性 |
| MC dropout | 推理时保持 dropout 多次采样以近似后验 |
| 概率 U-Net | 学习标注分布隐变量的分割网络 |
| 校准 | 模型输出的置信度与实际正确率的吻合程度 |
| 2D 切片 | 只取三维体数据中的一个层面作为一例 |
| 3D 体数据 | 以整个三维体积作为一例 |
| 供稿机构 | 提供影像与标注的医院或大学 |
| 隐藏测试集 | 影像公开、标注不公开、仅由官方评分的测试集 |
| 榜单 | 官方维护的队伍成绩排序表 |
| 成对一致性 | 两位标注者之间直接比较得到的一致程度 |
附录 D 常见误读 FAQ
Q：QUBIQ 是「量化」还是「分割」挑战赛？
官方全名的最后一个词是 Quantification（量化），不是 Segmentation。首页正文又说它处理的是分割任务上的不确定性量化。两者不矛盾：任务是分割，被评测的能力是量化不确定性。
Q：既然叫不确定性，是不是包含模型不确定性与数据不确定性两类？
数据侧的不确定性由多专家标注直接给出，这是官方提供的那一半。模型侧的不确定性要靠参赛者自己用集成或贝叶斯方法产生，官方不提供。把两者混为一谈是读这篇论文时最常见的误读。
Q：多标注是不是意味着标注质量差？
不是。独立勾画产生的分歧是设计出来的，目的就是保留判读自由度。真正被判定为质量差而剔除的只有前列腺组的三份标注。
Q：九个任务是不是意味着九个不同的模型？
不要求。官方明确说不需要一个算法打通全部任务，参赛者可以只提交单个任务，但总冠军按所有任务的平均分排。
Q：为什么 2021 届的页面开头还写着「四组、七个任务」？
那是从 2020 版复制后未更新的一段。同一页下方逐组列出的已经是六组、九个任务。引用时以逐组清单为准。
Q：这套数据和 LIDC-IDRI 的多阅片者标注有什么不同？
LIDC-IDRI 是单器官、四位放射科医师、以结节为单位；QUBIQ 跨六个器官与模态、2 至 7 位标注、以病例与子任务为单位，且给出了统一的概率图评测协议。前者适合研究肺结节判读，后者适合做跨任务的横向对比。
附录 E 许可与引用
| 项目 | 内容 |
|---|---|
| 数据许可 | CC BY（官方挑战设计文档 Data usage agreement 一节声明） |
| 文档许可 | Zenodo 记录元数据标注为 CC BY-ND 4.0，针对设计文档本身 |
| 署名要求 | 使用数据须署名，并在方法部分注明所用组与届次 |
| 推荐引用 | Li H B, Navarro F, Ezhov I, et al. QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge. arXiv:2405.18435, 2024 |
| 论文许可 | 预印本标注 CC BY-NC-ND 4.0，与数据许可不同 |
| 数据入口 | 2020 届与 2021 届分别在各自的 Grand Challenge 站点，训练数据经 LRZ 网盘分发 |
| 设计文档 | Zenodo 记录 3947852（2020 届）与 4575204（2021 届） |
| 引用陷阱 | 只引论文不注届次，会让读者无法判断你用的是 7 任务版还是 9 任务版 |
编辑说明
核查时间 2026-10-29。主要依据：qubiq.grand-challenge.org 首页、About 页、participation 页；qubiq21.grand-challenge.org 首页与 participation 页；arXiv 2405.18435v2 全文（含 Table 2 的子任务表、Table 3 与 Table 4 的榜单）；Zenodo 记录 4575204 的元数据与正文。例数与标注者数一律以两届 participation 页的逐组清单为准，论文 Table 2 作为交叉核对。千份掩膜的总量为按例数乘标注人数的估算，非官方统计。下载链接在核查时页面可正常打开，但 LRZ 网盘页面依赖 JavaScript，未实际下载压缩包验证内容完整性。未覆盖：各组的扫描参数、层厚、病例纳入排除标准、标注者资历分布——这些官方均未公布。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- medsam2-dataset — 共享标签：医学影像 / 医学图像分割 / 挑战赛数据集 / MRI / CT
- mm-whs — 共享标签：医学影像 / 医学图像分割 / 挑战赛数据集 / MRI / CT
- topcow — 共享标签：医学影像 / 医学图像分割 / 挑战赛数据集 / MRI / CT
- care-challenge — 共享标签：医学影像 / 医学图像分割 / 挑战赛数据集 / MRI / CT
- rsna-aneurysm-2025 — 共享标签：医学影像 / 医学图像分割 / 挑战赛数据集 / MRI / CT
- medical-decathlon — 共享标签：医学影像 / 医学图像分割 / MRI / CT
- amos-abdominal — 共享标签：医学影像 / 医学图像分割 / MRI / CT
- amos — 共享标签：医学影像 / 医学图像分割 / MRI / CT
- chaos — 共享标签：医学影像 / 医学图像分割 / MRI / CT
- segthor — 共享标签：医学影像 / 医学图像分割 / 挑战赛数据集 / CT
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
