MELA 纵隔病灶分析挑战赛

1100 例胸部 CT 的三维纵隔病灶检测基准(训练 770 / 验证 110 / 测试 220),MICCAI 2022 卫星赛,CC BY 4.0 于 Zenodo 公开

来源 上海市肺科医院等机构采集的胸部 CT,转为 NIfTI(.nii.gz)后按 770/110/220 划分;标注为每例一个 CSV 记录集,字段 public_id 与三维框中心坐标(coordX/coordY/coordZ)及三维边长(x_length/y_length/z_length),无类别与置信度列发布时间: 2026-10-18最后更新: 2026-10-18 阅读 20
MELA 纵隔病灶分析挑战赛

信息速览

数据集名称MELA 纵隔病灶分析挑战赛
数据类型人工标注,影像数据,原始数据
规模1100 例胸部 CT(训练 770 / 验证 110 / 测试 220);患者级唯一人数与每例病灶数官方未披露
接入方式上海市肺科医院等机构采集的胸部 CT,转为 NIfTI(.nii.gz)后按 770/110/220 划分;标注为每例一个 CSV 记录集,字段 public_id 与三维框中心坐标(coordX/coordY/coordZ)及三维边长(x_length/y_length/z_length),无类别与置信度列
AI 就绪度

MELA 是 MICCAI 2022 的一场卫星挑战赛,全称 Mediastinal Lesion Analysis,即纵隔病灶分析。它给出胸部 CT 一千余例,其中训练 770 例、验证 110 例、测试 220 例,标注是包住纵隔病灶的三维边界框,任务是在新的 CT 上把这些框找出来。数据以知识共享署名 4.0 许可放在 Zenodo,由武汉大学、上海交通大学、点内科技与上海市肺科医院联合组织。

它补的是一个具体缺口:纵隔里挤着心脏、大血管、气管支气管、食管与淋巴结,病灶种类杂、边界软,放射科医师逐层翻上百张切片的阅片负担很重,而公开的三维病灶检测基准长期集中在肺结节,纵隔这一块此前没有大规模标注语料。MELA 把「一例 CT 里有几个可疑病灶、分别在哪里」变成可以用交并比和灵敏度自动打分的题目。

适合做三维检测、病灶候选生成与弱监督定位的研究者。上手第一件事是读清提交格式与命中判据:八列 CSV、框中心加三维边长、三维交并比大于 0.3 才算命中。同时要留意,官方只开放了两周评测窗口,测试标注至今不公开,220 例的规模也决定了排行榜名次需要谨慎解读。

§1 它是什么

1.1 官方名称与归属

官方页面通栏标题写作「MICCAI 2022 MELA Challenge: Mediastinal Lesion Analysis」,副标题即中文所说的纵隔病灶分析。缩写由三个英文词的词首字母组成:MEdiastinal、Lesion、Analysis。这一点值得在开头讲清楚,因为「MELA」在医学文献里还常被用作黑色素瘤(melanoma)相关研究的口语缩写,也被个别软件项目借用,直接按缩写检索会大量混入无关结果。

挑战赛作为第 25 届 MICCAI(Medical Image Computing and Computer Assisted Intervention)的官方卫星活动(satellite event),在 2022 年 9 月 18 日以线上工作坊形式举行,主会于 9 月 18 日至 22 日在新加坡举行。赛事本身有独立的 Grand Challenge 站点,与主会注册相互独立,参赛者不必赴会。

1.2 任务边界:它做检测,不做分割与诊断

这一点最容易被误读。MELA 的任务定义是三维病灶检测:给定一例 CT,模型输出若干带置信度的三维边界框,系统按框与真值的重合程度判定命中,再按不同假阳性水平下的灵敏度打分。它不要求输出体素级分割掩码,不要求给出病灶的类别(增生、囊肿、肿瘤、转移淋巴结),也不要求给出良恶性判断。

标注文件印证了这一点。公开的 CSV 只有八类与几何有关的字段:患者匿名编号 public_id,框中心的三个体素坐标 coordX、coordY、coordZ,以及三个方向的边长 x_length、y_length、z_length。没有类别列,没有体积列,没有标注者编号列。因此任何「多类病灶检测」「良恶性分类」的表述都超出了数据本身能支持的范围。

1.3 组织方与数据来源

Zenodo 记录列出十八位作者,机构可分四组:

机构 参与角色 署名成员(部分)
武汉大学(计算机学院、人工智能研究院、国家多媒体软件工程技术研究中心) 项目协调、数据整理与评测 Shuang Song、Rui Xu、Yong Luo、Bo Du
上海交通大学(电子信息与电气工程学院) 算法与工具链 Jiancheng Yang、Kaiming Kuang、Bingbing Ni
点内科技(Dianei Technology,上海) 影像人工智能公司侧支持 Kaiming Kuang
上海市肺科医院(同济大学附属) 临床影像来源与标注执行 Yunlang She、Mengmeng Zhao、Chang Chen、Deping Zhao、Dong Xie、Xiwen Sun、Jingyun Shi、Jiajun Deng、Junqi Wu、Tingting Wang

官网「Organized by」一栏以图片形式出现两个标识,图像文件名分别指向「京东」与「普外」,没有文字说明其具体角色(赞助、背书还是合作单位)。这一栏在条目中不作事实陈述,仅记录其存在。

1.4 时间线:一次被压缩到三个月的赛事

赛事从数据发布到提交截止只有约三个月,这在医学影像挑战赛里属于紧凑档期:

日期 事件
2022-03-16 Zenodo 发布挑战赛设计文档(DOI 10.5281/zenodo.6361949)
2022-04-15 训练集与验证集发布,参赛者可注册下载
2022-05-05 标注文件更新,补上 mela_0732 的一处漏标
2022-05-24 Zenodo 训练集与验证集升到 v3.0,影像补回真实 origin 与 spacing
2022-05-31 验证集升到 v4.0,修正 spacing 描述文件的纵轴误差
2022-07-01 测试集发布(220 例,拆两个压缩包)
2022-07-03 至 07-17 提交期,公开排行榜开放,每人每天最多五次提交
2022-09-18 挑战赛工作坊(MICCAI 2022 卫星活动)

紧凑档期带来一个后果:验证集与测试集的间隔只有一个月,参赛队伍的调参空间被压在验证集上,任何在验证集上的过拟合都很难在测试期前被识别出来。

1.5 版本与分发:同一数据集,七条 Zenodo 记录

MELA 不是一个单一 DOI 的数据包,而是七个 Zenodo 记录的组合,各自的 DOI、版本号与发布日都不相同。这些记录由 Zenodo 的版本机制自动编号,并不代表数据被实质修改过七次:

Zenodo 记录 DOI 版本 日期 内容
设计文档 10.5281/zenodo.6361949 — 2022-03-16 挑战赛说明 PDF(2.6 MB)
训练集第一部分 10.5281/zenodo.6575197 v3.0 2022-05-24 Train1、Train2 两个压缩包
训练集第二部分 10.5281/zenodo.6575270 v3.0 2022-05-24 Train3、Train4 两个压缩包
训练集第三部分 10.5281/zenodo.6575407 v3.0 2022-05-24 Train5、Train6 两个压缩包
验证集与标注 10.5281/zenodo.6597131 v4.0 2022-05-31 Val.zip 与两个 CSV
标注单独包 10.5281/zenodo.6520000 2.0 2022-05-05 仅 mela_train_val_annotations.csv
测试集 10.5281/zenodo.6767682 v1.0 2022-07-01 Test1、Test2 两个压缩包

记录 6424034 是验证集记录 v1.0 的前身(2022-04-15 发布,Val.zip 15.5 GB),已被 v4.0 取代,引用时应避开。标注 CSV 在两处出现:既单独成包,也随验证集记录附带,两处内容应当一致,但副本的版本号标注不同(一处 2.0,一处随 v4.0),引用时应指明取自哪条记录。

1.6 一个没有同行评审论文的数据集

官方 Publication 页的内容全部是计划:邀请前五名队伍做报告、邀请前三名提交四页方案(Springer LNCS 格式)、组织方将把队伍方案汇总成一篇挑战赛综述论文,并表示该论文「可能被顶级医学影像期刊接收」。截至 2026 年 10 月,检索 Zenodo 全库与公开文献未发现这篇综述论文。

这意味着 MELA 缺少多数成熟挑战赛都有的那份「赛后分析」:没有各队方法的技术细节汇总,没有冠军分数的同行评审解释,也没有组织方对任务难度的复盘。使用者能依赖的官方材料只有三样:站点上几页说明、Zenodo 上的数据包与一份挑战赛设计 PDF。

§2 数据构成

2.1 规模与划分

三个官方来源(站点概览、任务页、Zenodo 描述)给出的划分完全一致:

子集 例数 是否有标注 分发形式
训练 770 有 6 个压缩包(Train1 至 Train6)
验证 110 有 1 个压缩包(Val.zip,15.5 GB)
测试 220 不公开 2 个压缩包(Test1、Test2,各 110)
合计 1100 — 分散在 7 条 Zenodo 记录

这张表是全文最重要的基础事实,因为它纠正了一个流传的口径混乱:「训练一千一百例、测试一百例」这类说法未获得任何官方支持。总量的分配就是上表三行,任何子集都不存在「一百」这个数字。

训练集的六个包与验证集的一个包合计约 125 GB(按 Zenodo 文件列表逐项相加)。单包体积在 15 至 20 GB 之间,训练集每包承载约 128 例,验证集单包承载 110 例,测试集每包承载 110 例。由体积反推单例 CT 的压缩后体积约在 120 至 150 MB 量级,与常见胸部薄层 CT 的 NIfTI 体积相符,但这是由分包体积推算的量级,官方未逐例披露。

2.2 文件与格式

项目 内容 字段可靠性
影像格式 NIfTI,Zenodo 内为 .nii.gz 压缩 依官方任务页与 Zenodo 文件列表,A 级
标注格式 CSV,一行一个病灶框 依官方任务页,A 级
标注字段 public_id、coordX、coordY、coordZ、x_length、y_length、z_length 依 Zenodo 描述,A 级
坐标语义 框中心的体素坐标,边长同为体素单位 依 Zenodo 描述「in voxel coordinates」,A 级
病例编号 形如 mela_0732,序号可到 mela_1100 依官方评估代码 README 的样例,A 级
附加文件 mela_origin_spacing.csv,逐例给出 origin 与 spacing 依验证集记录文件列表,A 级
每例病灶数 官方未披露 D 级,不可推断
病灶类别 无类别字段 结构缺失,A 级
阳性阴性构成 官方未披露 D 级,不可推断

public_id 是匿名患者编号,官方描述为「用于将影像与标注对应起来的匿名患者 ID」。影像文件名与标注里的 public_id 使用同一套字符串,这是官方评估代码 README 明确要求的一点:提交 CSV 里的 public_id 必须与 .nii 文件名格式一致,否则自动评测无法对齐。

2.3 坐标语义:体素坐标意味着什么

标注使用体素坐标(voxel coordinates)而不是物理坐标(毫米),这一点直接影响下游处理。

体素坐标的优点是解析简单:读入 NIfTI 后数组下标与标注数字一一对应,不涉及仿射矩阵。缺点是它与物理空间之间隔着一层 origin 与 spacing。如果两例 CT 的层厚不同、层间距不同、重建视野不同,那么同样大小的体素坐标差值在两例上对应的物理距离也不同。模型若直接把体素坐标当作度量空间使用,就会在不同层厚的病例上学到互相矛盾的尺度先验。

这正是 2022 年 5 月两次版本更新的由来。官方在 5 月 25 日的公告里承认:早期发布的影像缺少真实的 origin 与 spacing,spacing 被自动置为 1 mm;因为标注基于像素坐标,用旧版数据做检测不受影响,但为了让影像携带真实的 origin 与 spacing,发行了新版本,并额外提供一份 CSV 记录每例的 origin 与 spacing。5 月 31 日又公告说,v3.0 的验证集 mela_origin_spacing.csv 有一个纵轴误差,已在 v4.0 修正,同时说明网盘上的 v3.0 一直是对的。

三条事实合并起来给出一个实用结论:用 v4.0 及之后的包,标注无需换算即可对齐;若要换算到物理毫米,必须读 mela_origin_spacing.csv,不能用压缩包内 NIfTI 头里可能残留的默认值。

2.4 标注是怎么画出来的

官方任务页的描述是:有经验的放射科医师为每例 CT 中的每个纵隔病灶,在轴位、冠状位、矢状位三个方向上同时尽可能贴紧地画出外接框,每个病灶对应一个由三维中心坐标与三维边长组成的标注。

三个方向同时贴合是一个容易被低估的要求。轴位上看到的一个圆形结节,在冠状位与矢状位可能是长条状;只在轴位贴合、另两向放大的框,其三维交并比会显著低于三向都贴合的框。官方选择 IoU 0.3 作为命中阈值,一部分原因也在这里:三维框的三向同时贴合很难做到像二维框那样精确。

官方未披露的内容同样重要:标注者人数、年资、科室分工、双人标注与否、分歧如何仲裁、是否做过一致性统计。多数医学影像挑战赛会在数据论文里报告这些,MELA 没有对应的数据论文,站点也没有写。

2.5 病灶类型的官方表述

官方在背景段落列举纵隔病灶的常见形态:「增生、囊肿、肿瘤,以及自肺部转移而来的淋巴结」。这句话描述的是纵隔这一部位可能出现的病灶谱系,不是标注体系的分类。标注 CSV 里没有类别列,因此数据本身不区分增生、囊肿、肿瘤与淋巴结,所有病灶都以「一个框」的形式存在。

这一点对使用方式有实际影响。如果研究目标是「区分囊性与实性」,MELA 只能提供框的位置作为弱监督信号,类别需要另行标注;如果研究目标是「把可疑区域全部找出来交给医师复核」,MELA 的单类框设计恰好贴合这个用途。同一个数据集在两种目标下的价值差别很大,选择前应当先确认自己的任务是哪一类。

2.6 与「大队列、小测试集」这一结构的对照

这一节把总量与测试集规模两个数字放在一起看。

训练 770 例、验证 110 例、测试 220 例的配比,在挑战赛里是常见形态:训练集要足够大以支撑三维检测网络的收敛,验证集要存在以便参赛者自行调参,测试集要留出一部分作为最终排名的依据。真正的约束在测试集一侧——它同时承担「评测」与「排名」两个职能,而 220 例这个量级使这两个职能都变得不那么稳。

从训练角度看,770 例对三维病灶检测而言并不算宽裕。三维检测网络通常需要上千例量级的标注才能稳定收敛,770 例意味着多数队伍会借助外部预训练或强数据增强,而这两条路径都会把「外部数据依赖」带进最终比较,使排行榜在「纯数据内训练」与「借助外部语料」两类方案之间失去可比性。官方规则对此的处理方式是:允许使用公开数据,但必须在方案里声明。声明之后,比较仍然存在,只是读者需要自行区分。

从评测角度看,220 例的具体含义在下一节展开。这里先记下一个结构事实:MELA 的测试集规模与验证集是同一量级(220 对 110),这意味着验证集分数对测试集分数具有一定的预见力,参赛者不会在验证集上看到一套完全失真的数字;但也意味着两者都不能提供足够的统计分辨率去区分小幅领先。

2.7 数据字典

字段 类型 语义 可靠性
public_id 字符串 匿名患者编号,与影像文件名一致 A:官方描述明确
coordX 数值 框中心在体素坐标系第一轴的坐标 A:官方描述明确
coordY 数值 框中心在体素坐标系第二轴的坐标 A:官方描述明确
coordZ 数值 框中心在体素坐标系第三轴的坐标 A:官方描述明确
x_length 数值 框在第一轴方向的边长 A:官方描述明确
y_length 数值 框在第二轴方向的边长 A:官方描述明确
z_length 数值 框在第三轴方向的边长 A:官方描述明确
probability 数值 仅出现在提交文件,真值标注无此列 A:官方提交格式明确
origin / spacing 数值 逐例影像的物理原点与体素间距 A:文件存在,B:具体列名需打开文件确认

probability 一列在真值标注中不存在、在提交文件中必须存在,这个不对称是理解评估流程的关键:真值只描述「病灶在哪里、有多大」,提交则必须附带「模型有多确信」,因为 FROC 需要按置信度从高到低扫描来绘制曲线。

§3 怎么拿到

3.1 两条入口,同一批文件

MELA 有两套获取路径,指向同一批文件,但门槛不同。

路径一:官网注册。 站点概览页第一行就写着「要访问数据集,请先加入挑战赛」,链接指向注册页。加入之后才能进入数据页。这条路径的用途是取得参赛资格(提交评测需要账号),而不是取得文件本身。

路径二:Zenodo 直链。 影像与标注都在 Zenodo 上按 DOI 公开发布,文件列表、体积与校验值无需任何账号即可读取。七个 DOI 覆盖全部内容,从训练集到测试集齐备。

两条路径的关系可以理解为:官网是赛事的门面与参赛入口,Zenodo 是实际的文件仓库。如果目的只是下载数据做研究,Zenodo 足够;如果目的要复现排行或提交成绩,注册这一步绕不开,因为提交端口与排行榜都挂在账号上。

3.2 分步下载顺序

按照依赖关系,建议的落盘顺序如下:

  1. 先取标注。mela_train_val_annotations.csv 只有几十 KB,来自标注包或验证集包。先读它可以看出 public_id 的范围与行数,据此校准后续解压是否完整。
  2. 再取验证集。Val.zip 15.5 GB,110 例,是调试链路的最小完整单元:有影像、有标注、有 origin/spacing 描述文件。用它验证解析、可视化与本地评测三段流程。
  3. 然后取训练集。六个包约 110 GB,按包逐步下载与解压,每解压完一包就核对病例数与标注覆盖。
  4. 最后才取测试集。30.6 GB,无标注,仅在需要生成提交文件时有意义。

这个顺序的理由是失败成本的差异:若先拉 110 GB 训练集才发现标注解析写错,返工代价最大;先用 15.5 GB 的验证集把链路跑通,发现问题时的成本最低。

3.3 许可:CC BY 4.0 的实际含义

Zenodo 上七条记录的许可以栏一致标注「Creative Commons Attribution 4.0 International」。这份许可允许复制、分发、修改与商业使用,前提是署名。

需要分清三层:

对象 许可 说明
影像与标注(Zenodo 七条记录) CC BY 4.0 允许再分发与商用,须署名
站点说明文字与图表 站点未单独声明 默认受版权保护,引用宜注明出处
挑战赛设计 PDF(6361949) 记录标注 CC BY 4.0 与数据同

官网未就商业用途单独表态。考虑到影像来源涉及具体临床机构,若要把数据用于对外产品、二次分发或作为训练语料进入商业模型,除遵守 CC BY 4.0 的署名义务外,还应自行核对来源机构对影像再分发的具体要求。CC BY 4.0 是发布方给出的许可,不能替代来源机构的合规判断。

3.4 存储与解压的实际账

按 Zenodo 文件列表逐项相加,全部影像约 156 GB(训练约 110 GB、验证 15.5 GB、测试 30.6 GB)。NIfTI 压缩包解压后的体积通常略高于压缩包本身,视压缩率而定,规划磁盘时应预留一倍以上余量。

一个常见的踩坑点是路径。多个压缩包内部可能共用同一层目录名,解压到同一个目录时容易互相覆盖;分目录解压、解压后按 public_id 归并,是更稳的做法。解压完成的第一件事应是统计文件数与 public_id 集合,与标注表比对,缺号或多号都要在训练前查清。

3.5 复核清单

拿到数据后,建议按以下五项核对,任何一项不符都应先查明原因再建模:

  • 训练集影像文件数是否为 770,验证集是否为 110,测试集是否为 220;
  • 训练集与验证集的 public_id 是否都能在标注表中找到;
  • 标注表中最小的框边长是否为正,是否存在零长度或负长度的异常行;
  • mela_origin_spacing.csv 中的 public_id 是否覆盖全部有影像的病例;
  • 抽三例做可视化,确认框在轴位、冠状位、矢状位三向上都位于纵隔区域。

§4 质量与已知问题

4.1 标注质量:官方披露与缺口

质量维度 官方是否披露 结论强度
标注者资质 只写「有经验的放射科医师」 C:单一来源,无人数与年资
标注方向 三向贴合(轴位、冠状位、矢状位) A:任务页明确
双人标注与仲裁 未披露 D:不可推断
一致性统计(如交并比、科恩卡帕) 未披露 D:不存在
漏标检查 有一次实例:补 mela_0732 的漏标 B:单点证据
病灶边界定义 未披露(无纳入排除标准文本) D:不存在

漏标那一条值得展开。2022 年 5 月 5 日官方公告「已更新标注文件,补上 mela_0732 缺失的一处标注」。这是唯一一次公开的标注勘误,它说明初版标注存在至少一处漏标,也说明勘误是通过公告而不是通过数据版本号完成的——使用者若拿到的是 5 月 5 日之前的标注副本,会缺这一条。

4.2 影像质量:spacing 事故及其影响

第六章会重述这一点,此处只记技术后果。早期影像的 spacing 被默认置为 1 mm,且缺少真实 origin。对于只做体素级检测的流程,这不影响结果,因为标注本身就是体素坐标,训练与评测都在同一个体素空间里进行。对于需要物理尺度的流程(例如把预测框换算成毫米、按真实体积筛病灶、或把不同层厚的病例统一重采样到同一物理分辨率),错误 spacing 会让尺度全部失真。

若使用 v4.0 及以后的训练集与验证集包,并配合 mela_origin_spacing.csv,这一问题已经解决。风险残留在两处:一是使用者可能从第三方镜像或旧网盘拿到了 v3.0 之前的影像;二是某些工具默认信任 NIfTI 头里的 spacing 而不读附带 CSV。

4.3 假设—支持—反对三列

对于几个关键的不确定点,把「不知道」写成可检验的陈述:

假设 支持 反对
每例 CT 至少含一个病灶 官方描述为「含一个或多个纵隔病灶的患者」采集 未给出阴性病例比例,无法排除少量零病灶病例;若存在,评测时的假阳性定义会受影响
病灶在纵隔内,不越界到肺野 任务名为纵隔病灶分析,框由放射科医师在三向贴合 官方背景提到「自肺部转移而来的淋巴结」,此类淋巴结可能位于纵隔与肺门交界,边界归属无明文
标注框的尺寸与真实病灶体积相符 三向贴合绘制 三维框是外接框,对不规则病灶必然高估体积;不宜直接用框体积做体积测量
病例来源于单一或少数机构 作者含上海市肺科医院,采集口径集中 官方未明确说明是否多中心;若有其他来源,设备与协议差异会引入域偏移
测试集与训练集同分布 同一批采集,同一套标注流程,按比例划分 划分方式(随机、按时间、按机构)官方未说明;若按时间切分,分布漂移会更大

4.4 与其他公开纵隔或胸部 CT 数据的对照

公开的胸部 CT 标注语料多数集中在肺结节。MELA 的差异在于目标区域:它把标注范围限定在纵隔,而不是肺实质。这一限定使它无法直接替代肺结节数据集,也使它不必面对肺结节数据里「微小结节标注可靠性」的老问题——纵隔病灶通常体积更大,边界更依赖周围结构对比。

另一处差异在规模上。这个总量在三维病灶检测数据集里属于中等偏小:比社区级大数据集小一到两个数量级,但在「有三维框标注」这一约束下并不算少。真正的规模问题不在训练集,而在测试集,下一节展开。

§5 能做什么

5.1 任务清单

任务 数据是否直接支持 说明
三维病灶检测 是 主任务,官方给出完整评测协议
病灶候选生成(region proposal) 是 只要求召回、允许少量假阳性的场景可直接使用
弱监督病灶定位 是 由三维框派生二维投影或中心热图,作为弱标签
病灶分割 否 无体素级掩码;框只能作粗初始化
病灶分类(增生/囊肿/肿瘤/淋巴结) 否 无类别字段
良恶性判断 否 无病理或随访结论,且属诊断任务,超出数据集范围
报告生成 否 无文本标注
影像重建或去噪 部分 只有影像无干净参考,不适合配对重建任务
CT 设备或协议鲁棒性研究 部分 若 origin/spacing 覆盖完整,可做层厚与间距分层分析

5.2 最小可执行示例:从标注到本地 FROC

官方在评估代码仓库里给出了本地复算的路径,验证集可以直接用。流程分四步:

第一步,准备真值文件。 解压 Val.zip 后,按仓库说明找到验证集的真值 CSV(仓库 README 写作 mela-val-gt.csv),列结构应与训练标注一致。

第二步,生成预测文件。 预测 CSV 的八列与提交格式完全相同,每行一个预测框:

public_id,coordX,coordY,coordZ,x_length,y_length,z_length,probability
mela_0881,15.1,12.54,54.22,21,22,20.2,0.75
mela_0881,115.1,152.54,85.16,10,32.1,15.3,0.26

同一例可以有任意多行预测,按 probability 从高到低排列由评测脚本处理。置信度的绝对值不重要,重要的是同一批预测内部的排序是否合理。

第三步,本地评测。 仓库提供的入口是:

python -m MELA/evaluation_mediastinum --gt_dir <ground_truth_csv> --pred_dir <prediction_csv>

第四步,读结果。 报告给出七个假阳性水平下的灵敏度与七点平均分。若本地分数与排行榜差距明显,优先检查三件事:预测框用的是体素坐标还是毫米坐标、public_id 的格式是否与文件名一致、是否有病例完全缺失预测。

这四步的价值在于把评测从黑箱变成可复现流程。挑战赛结束后官方提交端口关闭,本地复算成为复现他人结果的唯一途径。

5.3 为什么要按 FROC 而非单一阈值打分

检测任务与分类任务的评测逻辑不同。分类给一个样本一个标签,错就是错;检测要给出一组候选,每个候选带置信度,系统必须在「找到更多病灶」与「产生更多误报」之间权衡。单一阈值下的灵敏度只能反映权衡曲线上的一个点,不足以描述模型能力。

FROC 的做法是:把所有预测按置信度排序,从高到低逐个 «接受»,每接受一个就更新命中数与假阳性数,画出灵敏度对平均假阳性数的曲线,再在若干指定假阳性水平上取灵敏度。MELA 选了七个水平:每例扫描 0.125、0.25、0.5、1、2、4、8 个假阳性。七点平均即最终分数。

七个点的选择体现了临床取向:最低点 0.125 对应「几乎不允许误报」,最高点 8 对应「宁可多看几眼」。取平均意味着模型必须在整个区间都表现不差,只在低假阳性端精准或只在高端灵敏的模型,平均分都会吃亏。

5.4 命中判据:IoU 0.3 的取舍

官方明确写了为什么用 0.3:三维检测框的交并比通常低于二维框,沿用二维检测的 0.5 对三维任务过严。

这个选择的实际影响值得量化地理解。交并比对框的平移与缩放都敏感,框越大,同样的绝对偏移造成的交并比下降越小。纵隔病灶中的大病灶因此更容易被判为命中,小病灶则需要更精确的贴合。换句话说,同样的框贴合误差,在小病灶上代价更高。如果研究关心小结节的检出,应当额外按病灶尺寸分层报告,而不能只看总平均分,因为总平均分对被大病灶主导。

IOU 0.3 同时带来一个宽容效应:预测框只需要覆盖真值框的主体部分即可命中,模型可以学会输出略大于真值的框来换取容错。这在指标上是合理的,在临床使用上则意味着框的位置不能被当作病灶边界,只能被当作「大致位置」。

5.5 生成提交文件的三个格式陷阱

官方特意强调提交文件必须严格符合格式,否则自动评测无法给出正确结果。三个最常见的失配点:

  • 列名与列序。八列的顺序是固定的,列名须与示例一致,多一列或少一列都会失败。
  • public_id 格式。必须与 .nii 文件名一致。若解压时文件名带了后缀或前缀差异,评测端将无法匹配,表现为整例失配而不是报错。
  • 数值格式。坐标与边长应为数值而非字符串,空值行应删除而不是留空。

还有一处不在格式里但同样致命:坐标空间。若预处理时把影像重采样到统一间距或做了裁剪,预测框必须换算回原始体素坐标系再提交,否则框的位置会整体偏移。

5.6 复现他人结果的最低条件

由于缺少赛后汇总论文,复现他人成绩只能依赖三样东西:官方评估脚本、公开的方法描述(若有)、以及自己的实现。可核对的只有前两样。应对方式是:先复现官方的验证集流程,确认自己的本地分数与官方脚本在同一例上的数值一致;再在验证集上与他人报告的数字比对,注意对方报告的是验证集分数还是排行榜分数——两者不可直接比较。

5.7 训练集的三种用法

同一批 770 例训练数据,在不同研究设计里角色不同:

作为主训练集。 直接训练一个三维检测器,与排行榜对照。这条路径需要处理外部预训练的声明问题。

作为外部验证集。 若模型在别处训练(例如肺结节数据),可在 MELA 上测跨域迁移。此时应只用验证集,保留训练集作为后续微调用。

作为预训练语料。 在 MELA 上做自监督或检测预训练,再迁移到目标任务。这条路径下 770 例的规模是一个可用的量级,特别是纵隔区域的解剖先验具有跨任务价值。

三种用法对数据质量的要求不同:作为外部验证集时,标注的一致性最要紧;作为预训练语料时,影像的数量与多样性更关键。

§6 常见误读与引用陷阱

主打一张表:左列为常见说法,中列为实际口径,右列为证据位置。三维病灶检测的语义细节多,误读集中在缩写、任务边界、划分数字与指标定义四处。

常见说法 实际口径 证据位置
MELA 是 Medial Lobe Analysis 官方全称为 Mediastinal Lesion Analysis(纵隔病灶分析) 站点通栏标题;Zenodo 描述
MELA 是黑色素瘤数据集 与 melanoma 无关,缩写撞名 同上,全文未出现 melanoma 一词
这是分割数据集 任务是三维框检测,标注只有框,没有体素掩码 任务页「Task: Detection」;CSV 字段
规模是训练一千一百例、测试一百例 总量见上表,官方无「一百」这一数字 概览段、任务页、Zenodo 三处一致
验证集是 100 例 验证集 110 例;测试集拆成两个包,各 110 Zenodo 验证集与测试集记录的文件列表
数据集有多个 DOI,说明改过很多版 七条记录由版本机制自动派生,实质修订仅 spacing 与一处漏标 站点 Update 段
命中阈值是 IoU 0.5 官方用 IoU>0.3,理由是三维框 IoU 普遍偏低 评估页明写
指标是 mAP 或 Dice 指标是七点平均 FROC 灵敏度,不含 Dice 评估页;评估代码仓库
排行榜分数可以互相比大小 仅两周窗口内的公开榜单,且无置信区间 规则段与榜单页
标注来自公开数据库 来自临床机构采集,作者含上海市肺科医院 Zenodo 作者与机构
有官方挑战赛综述论文 只有计划,未检索到正式发表 Publication 页措辞为「可能被接收」
病灶有类别标签 无类别列,单类「病灶」 CSV 字段表
框的体积可当病灶体积 外接框对不规则病灶必然高估 框的定义本身
数据可以随便商用 CC BY 4.0 许可允许商用,但来源机构合规需自查 Zenodo 许可栏

表后是三类纯技术陷阱,不占章节级。

陷阱一:坐标空间混用。 标注是体素坐标,提交也必须是原始体素坐标。若预处理阶段做了重采样、裁剪或转置,必须把预测框换算回原始数组下标体系。最常见的症状是分数接近零但预测框肉眼看位置正确——这几乎总是坐标轴顺序(例如把 Z 轴放到了第一维)或原点的换算错了。

陷阱二:spacing 来源混用。 有人读 NIfTI 头,有人读附带 CSV,两者在早期版本里不一致。v4.0 之后应以 CSV 为准,因为公告明确说 CSV 是修正过的。混用会让物理尺度出现系统性偏差,而分数不会立刻报警。

陷阱三:把验证集当测试集调参。 验证集 110 例,与测试集 220 例是同一量级,容易被当成小测试集反复调参。反复调参会把验证集分数推高到不再代表泛化水平,之后在测试集上的落差会被误读为「测试集更难」,实际是验证集被用旧了。

§7 在生态中的位置

7.1 它填补的空白

公开的三维病灶检测基准长期偏肺结节。LUNA16 系列给出了肺实质内结节的完整评测协议,LIDC-IDRI 提供了多层标注的结节语料,后续的数据集多在这条线上扩展。纵隔是另一块区域:结构密度高、病灶类型杂、边界依赖对比关系,标注难度大,公开语料少。MELA 是少数把纵隔单独拎出来做检测基准的公开数据集。

这条定位决定了它的适用边界。它不能替代肺结节数据集,因为两者目标区域不重叠;它也不是通用胸部 CT 病灶检测数据集,因为标注范围限定在纵隔。把它当作「胸部 CT 全病灶」语料使用,会系统性漏掉肺内病灶,而漏掉的这些恰是肺结节检测的主要对象。

7.2 与同期挑战赛的关系

2022 年前后,胸部 CT 相关的挑战赛集中在肺结节检测、COVID 肺炎分割、肺血管分割几条线上。MELA 选择纵隔,是差异化定位:不与肺结节的成熟基准正面竞争,而是覆盖一个标注成本高、公开语料少的区域。

这种定位的代价是可比性。纵隔病灶检测没有前序基准,MELA 的分数无法与任何既有工作直接对照,首届比赛的所有数字都只能内部比较。这也解释了为什么赛后综述论文重要——在没有前序基准的情况下,一篇汇总论文是建立「这个任务的合理分数区间在哪里」的唯一途径,而它没有出现。

7.3 对下游工作的价值

三类工作能从中获益。

临床前置筛查研究。 纵隔占位在常规胸部 CT 上常被发现,但阅片负担重。一个能给出候选框的系统可以把医师的注意力引导到可疑区域,MELA 提供了训练与评测这类系统的公开语料。

跨域迁移研究。 纵隔区域在几乎所有胸部 CT 上都在,解剖结构稳定,是测试「模型能否把在一个数据集上学到的解剖先验迁移到另一个数据集」的合适场景。

评测方法研究。 MELA 的结构(中等规模训练集、同量级验证集与测试集、单类检测、七点 FROC)本身是一个适合讨论「小测试集上的排名有多少信息量」的样本,后文会展开。

7.4 与库内相邻条目的对照

同属胸部 CT 病灶检测范式的条目可以互相参照:GLOBE(globem)与 DeepLesion 同样以框标注与检测指标组织评测,差别在目标解剖与病灶类型;LUNA16(luna16)与 LIDC-IDRI 在标注密度与随访信息上更完整,但区域限定在肺实质;CT-RATE 走的是影像与报告的配对路线,任务形态不同。跨条目比较时,最需要避免的是把不同解剖区域的分数直接对比——检测指标只在同一套真值定义下才有可比性。

§8 质量与评测的统计层

8.1 220 例测试集意味着什么

这一节回答一个不涉及具体分数的结构性问题:在 220 例的测试集上,排行榜相邻名次的分数差异有多少信息量。

先看灵敏度的抽样误差。设某模型在某假阳性水平下的真实灵敏度为 p,测试集含 n 个病灶,则观测到的命中数是二项分布,其标准误为根号下 p(1−p)/n。这个式子有两个直接结论:

  • 标准误随 n 的平方根下降。测试样本从 220 例增加到 880 例(四倍),标准误只减半。要显著提高排名的分辨率,需要成倍扩大测试集,边际收益很小。
  • 在灵敏度接近 1 的区间,标准误变小。p 接近 1 时 p(1−p) 趋近于零。这意味着在低假阳性、高灵敏度的工作点上,分数本身更稳定;而在中等灵敏度区间,波动最大。

再看真值的分布式。n 不是 220,而是 220 例里的病灶总数。官方未披露每例病灶数,若平均每例两三个病灶,则每个假阳性水平上的命中事件数在数百量级;若多数病例只有个位数病灶,事件数更少。事件数越少,同一模型的重复评测波动越大。

最后是多重比较问题。一场挑战赛通常有几十支队伍,排行榜上相邻两名之间的差距可能小于各自的抽样误差。在没有置信区间的情况下,把名次差异解读为能力差异,是把噪声读成了信号。

8.2 为什么这个结构在挑战赛里普遍

「大队列、小测试集」不是 MELA 独有的设计缺陷,而是挑战赛的普遍形态,成因有三。

标注成本。 三维病灶框需要放射科医师在三向上逐层贴合,标注一例的成本远高于给一张二维图打一个分类标签。测试集要留出足够多的标注,就必然压缩规模。

保密需求。 测试集标注不公开,推论是标注者与组织方掌握、参赛者不掌握。为了让「不公开」有意义,测试集不能太小到可以被人手工猜出,也不能太大到标注成本失控。220 例是一个折中。

时间压力。 从数据发布到提交截止只有两周,测试集的标注必须在赛事开始前完成。这进一步限制了规模。

8.3 参赛者与使用者该怎么读榜

针对这个结构,几条具体建议:

看区间不看名次。 若公开了分数,应以「同一档内不可区分」的方式解读。多数挑战赛不给区间,此时可以把相邻几名的分差与自己的验证集波动幅度比较:若分差小于验证集在重复训练中的波动,就应当视为同档。

分层报告。 总平均分会掩盖按病灶大小、按部位、按层厚的差异。自己做评估时,至少按病灶体积分两档报告,能看出模型是否被大病灶主导。

用验证集估方差。 验证集 110 例与测试集 220 例同量级,可以在验证集上做自助重采样,估计分数的不确定性。这个估计对测试集有参考价值,但要承认测试集更大、误差更小。

记录提交次数。 每个参赛者每天最多五次提交,多次提交本身就是一种对公开榜单的拟合。榜单分数是「多次尝试中的最好一次」,与单次评测的期望值不是一回事。

8.4 更稳的用法

对不使用排行榜的研究者,这套数据更适合做对照实验而非排名:在同一测试集上比较几种方法,报告同一套指标,关注方法之间的相对差异是否稳定,而不是绝对分数是否领先。相对差异在同样的小测试集上会部分抵消抽样误差,比绝对分数更耐读。

§9 临床与影像学背景

9.1 纵隔在阅片流程中的位置

纵隔位于两肺之间,前为胸骨,后为脊柱,内含心脏、大血管、气管与主支气管、食管、胸腺与淋巴结。常规胸部 CT 阅片时,放射科医师的顺序通常是先看肺实质,再看纵隔与肺门,最后看胸膜与胸壁。纵隔是容易被「一带而过」的区域:病灶若与血管密度接近,在平扫上不易分辨;淋巴结增大若幅度不大,容易被当作反应性增生。

MELA 这类检测系统的定位是把这个区域重新拉回注意力中心:先由算法给出候选框,再由医师逐个确认。它不替代判读,只改变判读的起点。

9.2 CT 模态本身的判读难点

四个技术因素会系统性影响纵隔病灶的可辨识度与可标注性。

层厚。 薄层(1 mm 级)能看清小病灶与结构间隙,但层数多、阅片时间长;厚层(5 mm 级)层数少、噪声低,但部分容积效应会把小病灶与周围结构混在一起。三维框标注在厚层数据上的 z 向长度存在量化误差,因为一层就是 5 mm,框的上下边界只能落在层边界上。

重建核。 同一组原始数据可以用不同的卷积核重建:肺窗常用锐利核以突出肺纹理,纵隔窗常用软组织核以降低噪声。锐利核会让边缘显得更清晰但噪声更大,软组织核更平滑但边界更软。数据集若混用了不同重建核的影像,模型学到的边缘特征会在两类影像间不一致。

呼吸运动。 胸部 CT 多在屏气状态下采集,但屏气程度因人而异,膈肌位置会有几厘米的差异。这会影响纵隔下部的结构位置,也会让同一患者在两次检查中的框位置出现系统性偏移。对检测任务,这种偏移不改变病灶是否存在,但会改变框的坐标分布。

对比剂时相。 增强 CT 的动脉期、静脉期与延迟期,血管与病灶的密度关系完全不同:动脉期血管极亮,病灶相对低密度;静脉期血管与软组织对比下降,病灶的强化模式才显现。MELA 官方未说明数据是否含增强扫描与哪一时相,这一点对判读影响很大——在平扫上难以分辨的病灶,在增强上可能一目了然。

9.3 对建模的实际含义

上面四条里,对建模影响最直接的是层厚与重建核的不一致。若训练集与测试集在层厚分布上不同,模型的表现会因域偏移而下降,而这种下降在总平均分里看不出来。可控的做法是:在预处理阶段统一重采样到同一物理间距,并在验证集上按层厚分层检查分数。

对比剂时相的不一致则更棘手。若数据混合了平扫与增强,模型可能学到「有对比剂=有病灶」这类伪相关,在单一扫描协议的部署场景下失效。官方未披露时相构成,这是使用这套数据前需要自查的一点。

§10 总结

10.1 三句话

MELA 是 MICCAI 2022 的纵隔病灶检测挑战赛数据集,胸部 CT 按 770/110/220 三份划分,标注是包住病灶的三维框,按七点平均 FROC 与 IoU 0.3 的命中判据评测。

它的价值在于填了一个空白:纵隔这一区域此前没有大规模公开的三维检测标注语料,而它是胸部 CT 阅片中容易被一带而过的部位。

它的局限也同样清楚:测试标注不公开、评测窗口只有两周、赛后没有汇总论文,220 例的测试集使排行榜名次的分辨率有限。

10.2 适合谁

做三维病灶检测的研究者。 这是最直接的使用者:数据格式清晰,评测协议公开,本地可复算。

做胸部 CT 辅助诊断的产品团队。 若产品需要覆盖纵隔区域,MELA 是目前少数可公开获取的纵隔框标注语料。

做评测方法学研究的团队。 中等规模训练集配同量级验证与测试集的结构,是讨论小样本评测不确定性的合适样本。

做跨域迁移的团队。 纵隔解剖结构稳定,适合测试解剖先验的可迁移性。

10.3 不适合谁

需要分割掩码的任务。 数据没有体素级标注,框不能替代掩码。

需要病灶类别或良恶性结论的任务。 数据没有类别字段,也没有病理或随访结果。

需要大规模训练数据的三维检测模型。 770 例训练集对参数量大的网络偏少,需借助外部预训练。

需要长期稳定评测通道的项目。 官方提交端口已随赛事结束关闭,测试标注不公开,外部团队无法在测试集上复现排行榜分数,只能退到验证集。

需要多中心异质性分析的研究。 官方未说明采集是否来自多个中心,来源集中在单一临床机构,用于多中心泛化研究会受到限制。

10.4 三十秒速览

问题 答案
是什么 MICCAI 2022 纵隔病灶分析挑战赛数据集
多大 770 训练 / 110 验证 / 220 测试,三份相加即总量
标注 三维框,六列几何量,无类别
格式 NIfTI 影像 + CSV 标注
指标 七点平均 FROC 灵敏度,IoU>0.3 命中
许可 CC BY 4.0
拿 Zenodo 七个 DOI 公开,或注册后走官网
缺 测试标注、赛后论文、标注一致性统计、病灶数分布
用来做什么 三维检测、候选生成、弱监督定位、跨域迁移
不要用来做什么 分割、分类、良恶性判断、排行榜名次的精确解读

10.5 三条可直接执行的建议

若只做验证,先下验证集。 15.5 GB 的验证集包含影像、标注与 spacing 表,用它可以在一小时内跑通从解析到本地 FROC 的全流程,再决定是否值得投入 110 GB 的训练集。

若做比较实验,报告分层结果。 总平均分会掩盖按病灶大小与层厚的差异。至少在验证集上按体积两档、按层厚两档各报告一次,结论会更站得住。

若引用排行榜数字,先标明是验证集还是测试集。 MELA 的赛后文献缺失,公开可查的数字来源不一,混用会让对比失去意义。若必须引用榜单,应同时说明评测窗口与提交次数限制。

附录 A 关键数字速查

项目 数值 来源
CT 总例数 见第二节划分表 概览、任务页、Zenodo
训练 770 同上
验证 110 同上
测试 220 同上,拆 Test1/Test2 各 110
FROC 假阳性点 0.125、0.25、0.5、1、2、4、8 评估页
命中 IoU 阈值 大于 0.3 评估页
提交列数 8 评估页与代码仓库
每日提交上限 5 次 规则段
提交窗口 2022-07-03 至 07-17 日程段
影像体积(压缩) 训练约 110 GB、验证 15.5 GB、测试 30.6 GB Zenodo 文件列表

附录 B 缩写与术语

缩写或术语 全称或含义
MELA Mediastinal Lesion Analysis,纵隔病灶分析
MICCAI Medical Image Computing and Computer Assisted Intervention
CT computed tomography,计算机断层扫描
NIfTI Neuroimaging Informatics Technology Initiative,一种影像文件格式,扩展名 .nii 或 .nii.gz
FROC free-response receiver operating characteristic,自由响应受试者工作特征曲线
IoU intersection over union,交并比
FP false positive,假阳性
体素坐标 以数组下标计的坐标,与物理毫米之间差一个 origin 与 spacing
spacing 相邻体素在物理空间中的间距
origin 影像数组原点对应的物理坐标
重建核 CT 重建时使用的卷积核,决定图像的锐利度与噪声水平

附录 C 引用与检索模板

引用数据本体时,应指明具体 DOI 与版本,避免只写「MELA dataset」:

Song S, Xu R, Luo Y, Du B, Yang J, Kuang K, She Y, Zhao M.
MELA Dataset: A Benchmark for Mediastinal Lesion Analysis (Validation Set and Annotation), v4.0.
Zenodo, 2022. doi:10.5281/zenodo.6597131

检索时几个提高召回率的组合:「mediastinal lesion detection CT」「纵隔占位 检测 数据集」、加上赛事年份限定;若按缩写检索,应同时限定 MICCAI 或 Grand Challenge,以排除黑色素瘤文献的干扰。

附录 D DAIMS 评估

维度 评级 依据
数据可获得性 A Zenodo 公开直链,七个 DOI,无需注册
许可清晰度 A 全部记录统一 CC BY 4.0
元数据完整性 C 字段说明清楚,但缺每例病灶数、标注者信息、采集协议
标注质量可核性 D 无不一致性统计,无复核流程说明
格式规范性 A 统一 NIfTI,标注统一 CSV,字段固定
文档时效性 B 站点停更于 2022,赛后无更新
复现支持 C 提供本地评估代码,但测试标注不公开,无法复现榜单
规模充分性 C 训练 770 例对三维检测偏少,测试 220 例排名分辨率有限

编辑说明

核验时间 2026-10-18。核验方式:站点概览、任务、评估、发布四个页面直接读取;Zenodo 七条记录的 API 元数据与文件列表逐条读取;官方评估代码仓库 README 读取。

双口径冲突登记三条。其一,派发线索写「1100 / 100」,站点与 Zenodo 均为 1100 按 770/110/220 划分,无 100 这一数字,正文按官方三处一致的口径写。其二,同一数据集的 Zenodo 记录存在四个版本号(训练 v3.0、验证 v4.0、测试 v1.0、标注 2.0),为版本机制自动派生,不代表四次实质修订。其三,站点评估页指向的代码仓库已迁址,旧仓仅保留跳转说明。

未覆盖内容:数据页注册后才可见的附加条款未核(该页返回禁止访问);标注者人数与一致性统计官方未披露;病灶类别是否存在无法从公开字段确认,正文按无类别列处理。

下次复核关注三点:是否发表了挑战赛汇总论文;站点是否重启或延期;Zenodo 是否有新增版本。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • auto-rtp — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
  • 3dteethland — 共享标签:医学影像 / 目标检测 / 挑战赛数据集 / 评测基准
  • trials — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
  • panorama-2026 — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
  • ct-lesion-foundation-model — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
  • uls23 — 共享标签:医学影像 / CT / 目标检测 / 挑战赛数据集 / 肿瘤学
  • cuvas-pdacvi — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准 / 肿瘤学
  • ct-bench — 共享标签:医学影像 / CT / 目标检测 / 评测基准
  • ldctiqac2023 — 共享标签:医学影像 / CT / 挑战赛数据集 / 评测基准
  • pi-cai — 共享标签:医学影像 / 目标检测 / 挑战赛数据集 / 肿瘤学

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集