CCP-COVID19 Lung CT Lesion Segmentation Challenge — 肺部 CT 病灶分割国际挑战赛

NVIDIA+NIH+美国国家儿童医院 2020 年疫情期间组织的 295 幅胸部 CT 肺病灶分割国际挑战赛——199 训练+50 验证+46 测试三源划分,1,096 支团队参赛,Dice/NSD/NAVE 三指标+MSD 排名方案,影像 CC BY 4.0+注释 CC0

来源 两支 TCIA 公开胸部 CT:来源 A「CT Images in COVID-19」(doi:10.7937/tcia.2020.gqry-nc81,272 幅,中国) 用于训练 199+验证 50;来源 B「COVID-19-AR」(23 幅,美国) 仅用于测试;全部 RT-PCR 阳性患者的无造影增强胸部 CT + ITKSnap 修正的 COVID-19 肺病灶 ground truth 掩膜(单类)发布时间: 2026-10-14最后更新: 2026-10-20 阅读 26
CCP-COVID19 Lung CT Lesion Segmentation Challenge — 肺部 CT 病灶分割国际挑战赛

信息速览

数据集名称CCP-COVID19 Lung CT Lesion Segmentation Challenge — 肺部 CT 病灶分割国际挑战赛
数据类型影像数据,人工标注,原始数据
规模295 幅胸部 CT(官方以「图像数=患者数」表述:训练 199 患者 + 验证 50 患者 + 测试 46 患者;来源 A 272 幅、来源 B 23 幅)
接入方式两支 TCIA 公开胸部 CT:来源 A「CT Images in COVID-19」(doi:10.7937/tcia.2020.gqry-nc81,272 幅,中国) 用于训练 199+验证 50;来源 B「COVID-19-AR」(23 幅,美国) 仅用于测试;全部 RT-PCR 阳性患者的无造影增强胸部 CT + ITKSnap 修正的 COVID-19 肺病灶 ground truth 掩膜(单类)
AI 就绪度

INFOBOX — COVID-19-20 一屏速览

维度 内容
本质 国际肺 CT 病灶分割挑战赛 + 配套数据集(COVID-19 Lung CT Lesion Segmentation Challenge - 2020)
组织方 NVIDIA + NIH Clinical Center + Children’s National Hospital;数据经 NCI TCIA 托管
时间 2020-11-02 发布训练+验证集 → 2020-12-08 测试集 → 2020-12-18 测试结果 → 2021-01-11 最终排名
规模 295 幅胸部 CT = 训练 199 + 验证 50 + 测试 46(来源 B 23 幅仅测试)
来源 来源 A「CT Images in COVID-19」(中国,272 幅)+ 来源 B「COVID-19-AR」(美国,23 幅)
模态 无造影增强胸部 CT;RT-PCR 阳性患者;单类 COVID-19 肺病灶掩膜
标注 NVIDIA/NIH 自动模型预分割 → board-certified 放射科医师 ITKSnap 人工裁决修正(3D 一致)
参赛 1,096 支注册团队;225 支完成验证、98 支完成测试
指标 Dice + Normalized Surface Dice (NSD, 1mm) + Normalized Absolute Volume Error (NAVE),MSD 方案组合排名
基线 MONAI 团队公开基线分割模型(Project-MONAI/tutorials)
许可 影像 CC BY 4.0|注释 CC0(双轨);访问须注册+签署数据访问协议
库内互链 covid-ct-lung(1041)、covid-ct(307)、bimcv-covid(207)、mosmeddata(297)

COVID-19-20 是新冠疫情期间最被广泛引用的一批医学图像 AI 挑战赛之一:它把 295 幅来自中美两地的公开胸部 CT 变成一场"谁能最准地圈出新冠肺部病灶"的国际竞赛,1,096 支团队报名、98 支跑完全程。它的价值不只在数据集本身,更在于它留下了一套可复制的挑战赛工程范式——快速组织、公开数据、自动预标注+医师修正、三指标多维度评测、MSD 排名方案——以及一份坦诚记载了注释噪声与域偏移的自曝式论文。

导语读法三则:

  1. 只想拿数据建模:直奔 §6 获取与许可——记住影像是 CC BY 4.0、注释是 CC0,两套许可别混;访问要注册并签协议。
  2. 要复现或对比评测:直奔 §5 任务与基准——Dice/NSD/NAVE 三指标定义、MSD 组合排名、以及"排行榜只按 Dice"这个必须知道的坑,全在那里。
  3. 要区分它和别的 COVID CT 数据集:直奔 §9 库内关系——它和 covid-ct-lung(1041)、covid-ct(307)、bimcv-covid(207)、mosmeddata(297) 是五个不同的资源,别以为是同一份数据的不同名字。

§0 导读:这个数据集解决什么问题

2020 年初,COVID-19 在全球暴发,CT 成为评估肺部受累的关键影像手段:典型表现为磨玻璃影(ground glass opacity, GGO),多灶、双侧、外周分布,病灶的大小与分布随患者年龄、疾病严重度和分期而变化。当临床压力骤增、放射科医师被大量阅片任务淹没时,"AI 能否自动圈出并量化肺部病灶"从一个学术问题变成了一个紧迫的工程问题。

COVID-19-20 挑战赛是这个问题的直接回答。它由 NVIDIA、美国国立卫生研究院(NIH)临床中心、以及华盛顿特区美国国家儿童医院(Children’s National Hospital)的 Sheikh Zayed 儿科外科创新研究所联合组织,2020 年 11 月至 2021 年 1 月间完成从数据发布到最终排名的全过程,最终把成果沉淀为一篇发表于 Medical Image Analysis 的论文和一份持续开放的数据集。

这件事的难度不在"训练一个分割网络"——2020 年时 U-Net 及其变体已相当成熟;真正的难度在三点:一是数据,疫情期间要快速凑齐一批带体素级病灶标注的公开胸部 CT,且必须跨机构、跨国、覆盖不同年龄性别与疾病严重度;二是标注,体素级分割掩膜极其昂贵,全人工标注在疫情期间不现实,必须发明一条"机器预标注+医师修正"的加速流水线,同时诚实面对它引入的噪声;三是评测,单一 Dice 分数无法同时衡量"重叠度"“边界精度”“病灶体积一致性”,而临床上疾病负荷(病灶体积)恰恰是重要指标,因此需要设计一套多指标组合的排名方案。

挑战赛的答案逐层展开:数据层,用两支 TCIA 公开 CT(中国来源 272 幅 + 美国来源 23 幅)凑出 295 幅,划分成 199 训练 / 50 验证 / 46 测试;标注层,先用 NVIDIA/NIH 联合训练的 COVID 病灶分割模型自动预分割,再由 board-certified 放射科医师用 ITKSnap 逐例人工裁决修正,形成三维一致的 ground truth;评测层,用 Dice、Normalized Surface Dice、Normalized Absolute Volume Error 三指标,并按 Medical Segmentation Decathlon(MSD)的统计分析方案组合出单一排名分。

结果是一个"快而有诚意"的挑战赛:1,096 支团队报名、98 支完成测试,产出了当时最强的开源新冠肺病灶分割模型,也产出了一份对自身局限毫不掩饰的论文——注释有噪声、来源 B 只在测试出现、排行榜口径与最终排名不同,这些都写进了官方文档。

§0 读法三则:

  1. 这个条目是"挑战赛+数据集+方法论文+评测基准"的四合一:本体是 295 幅带掩膜 CT,规则是挑战赛制度,方法学是多指标评测,三者都值得单独读——获取与许可见 §6,评测见 §5。
  2. 全文硬数字(295/199/50/46/1,096/225/98、三大指标、1mm 阈值)均出自官方 Data 页、官网 Timeline 与 Medical Image Analysis 论文三源互证;正文与官方页冲突处已在 §10 坑点存照。
  3. 检索时最容易犯的错是把它和 covid-ct-lung(Ma Jun 等 20 例)、covid-ct(307)、bimcv-covid(207)、mosmeddata(297)混为一谈——§9 专门做消歧。

§1 数据集速览:十问十答

Q1:COVID-19-20 到底是什么?
它是 2020 年的一项国际医学图像分割挑战赛及配套数据集,全称 COVID-19 Lung CT Lesion Segmentation Challenge - 2020,官方页面域名 covid-segmentation.grand-challenge.org。任务是在胸部 CT 上自动分割出 COVID-19 相关肺病灶,产出 Three-D 体素级掩膜。它同时是一个比赛(有 leaderboard、有排名)和一个数据集(295 幅带标注 CT 长期开放)。

Q2:谁组织的?
NVIDIA(Holger R. Roth、Ziyue Xu 等)+ 美国 NIH 临床中心(Sheng Xu、Baris Turkbey、Bradford Wood 等)+ 美国国家儿童医院 Sheikh Zayed 研究所(Marius George Linguraru、Carlos Tor-Díez 等)。数据由 “The Multi-national NIH Consortium for CT AI in COVID-19” 提供,经美国国家癌症研究所的 TCIA(The Cancer Imaging Archive)公开网站托管。

Q3:数据从哪来、有多少?
295 幅无造影增强胸部 CT,来自两支 TCIA 公开数据集:来源 A「CT Images in COVID-19」(中国,272 幅)、来源 B「COVID-19-AR」(美国,23 幅)。划分:来源 A 的 199 幅用于训练、50 幅用于验证;测试集 46 幅(来源 A 23 幅 + 来源 B 23 幅)。全部为 RT-PCR 阳性(SARS-CoV-2)患者。

Q4:为什么叫"seen/unseen"?
来源 A 是"seen data source"——参赛者用它训练和验证算法;来源 B 是"unseen data source"——它只在测试阶段出现,参赛者在第一阶段完全看不到它。这是刻意的域偏移压力测试:模型必须在未见过的美国来源数据上也能工作。

Q5:标注是怎么做的?
两阶段。第一阶段,所有影像先用 NVIDIA 与 NIH 联合训练的 COVID 病灶分割模型自动预分割(该模型公开于 NVIDIA NGC);第二阶段,board-certified 放射科医师(RS、JZ、JM)用 ITKSnap 工具在三维多平面视图下逐例人工裁决和修正预分割结果,形成最终 ground truth。官方明确承认这条流水线会留下注释噪声。

Q6:标注有几类?
单类——只标"COVID-19 肺部病灶"。“All lung lesions related to COVID-19 were included”,即所有与 COVID 相关的肺病灶都纳入,没有肺叶、器官、其他病变等类别。这是它作为分割数据集的重要约束:不能直接当多类器官分割用。

Q7:评测用什么指标?
三个:Dice 相似系数(体积重叠)、Normalized Surface Dice(NSD,阈值 1mm)(边界一致性)、Normalized Absolute Volume Error(NAVE)(病灶体积一致性)。最终排名把多指标组合成单一性能分,采用 Medical Segmentation Decathlon(MSD)的统计分析排名方案。

Q8:排行榜分数能直接当排名看吗?
不能。官方页明确:“排行榜仅基于 Dice 分数,不反映最终排名所用的多指标评分”。这是最容易踩的坑之一——看 leaderboard 会低估 NSD 和体积一致性的重要性。

Q9:现在还能拿到数据吗?
能。经 grand-challenge.org 在线注册、签署并归档数据访问协议后通过 API 访问。后挑战阶段(Post-challenge phase)持续开放,数据与要求与第一阶段相同。

Q10:为什么它对 AI-Ready 重要?
它是一份"影像 CC BY 4.0 + 注释 CC0"的双开放许可数据集,且带一套完整的规模、划分、指标、排名方法文档。对做医学图像分割、尤其是想做跨机构泛化评测的团队,它提供了一个历史上被大量引用、可比性好的基准;同时它的注释噪声自曝与域偏移设计,本身就是医学 AI 数据治理的活教材。

§2 数据构成与规格

2.1 规模、来源与机构构成

COVID-19-20 的核心数字非常清晰,且三源(官方 Data 页、官网 Timeline、Medical Image Analysis 论文)一致:

  • 总影像数:295 幅无造影增强胸部 CT
  • 来源 A「CT Images in COVID-19」:272 幅,源自中国
    • 训练集:199 幅
    • 验证集:50 幅
  • 来源 B「COVID-19-AR」:23 幅,源自美国人群,仅用于测试
  • 测试集:46 幅(来源 A 23 幅 + 来源 B 23 幅)

官方 Data 页的表述是"Training and Validation: Unenhanced chest CTs from 199 and 50 patients, respectively … Testing: Additional, unseen 46 patients"——即挑战赛以"图像数=患者数"的口径表述,训练 199 患者、验证 50 患者、测试 46 患者,合计 295 患者。本条目沿用挑战赛原始口径并在此注明该口径约定(见坑点)。

来源 A 的 TCIA 引用为:An P, Xu S, Harmon SA, et al. CT Images in Covid-19 [Data set]. The Cancer Imaging Archive. doi: 10.7937/tcia.2020.gqry-nc81。来源 B「COVID-19-AR」同样发布于 TCIA。

机构构成(论文作者隶属,体现"多机构多国"):

  • NVIDIA(美国 Bethesda):Holger R. Roth、Ziyue Xu、Wenqi Li、Dong Yang、Ahmed Harouni、Nicola Rieke、Mona Flores、Daguang Xu
  • 美国国家儿童医院 Sheikh Zayed 研究所(华盛顿特区):Carlos Tor-Díez、Marius George Linguraru
  • 美国国家儿童医院诊断影像与放射科:Ramon Sanchez Jacob、Jonathan Zember、Jose Molto(board-certified 放射科医师,负责终审注释)
  • 美国 NIH 临床中心放射与影像科学:Sheng Xu、Baris Turkbey、Evrim Turkbey、Bradford Wood
  • 其他合作机构(参赛/合著):西北工业大学(Shishuai Hu、Yong Xia)、德国癌症研究中心 DKFZ(Fabian Isensee、Klaus H. Maier-Hein、Bruno Oliveira)、上海交通大学(Qinji Yu、Qikai Li)、卢森堡大学(Jan Sölter、Andreas Husch)、名古屋大学(Tong Zheng、Luyang Zhang)、白俄罗斯联合信息问题研究所(Vitali Liauchuk、Vassili Kovalev)、深圳大学(Ziqi Zhou、Li Kang)、Fraunhofer MEVIS(Jan Hendrik Moltz、Andreas Husch、Alessa Hering)、葡萄牙米尼奥大学(Bruno Oliveira)、葡萄牙 Cávado e Ave 理工学院(João L. Vilaça)等

2.2 模态与格式规格

  • 模态:胸部 CT(chest computed tomography),无静脉造影增强(unenhanced / without intravenous contrast enhancement)
  • 人群:RT-PCR 阳性(SARS-CoV-2)患者;跨年龄、性别、疾病严重度
  • 数据形态:三维体数据(volumetric CT)+ 三维体素级分割掩膜
  • 格式:NIfTI(CT 体数据 + 掩膜);提交掩膜需与图像尺寸对齐(官方提交说明要求掩膜尺寸与图像一致,允许 blank mask)
  • 标注工具:ITKSnap(itksnap.org)——提供 CT 的多平面重建(multi-planar reformatted)视图,允许在三维中操纵和修正自动分割结果
  • 标注类别:单类——COVID-19 肺部病灶

官方 Data 页还提供了两个来源的影像描述性统计(x/y/z 分辨率、体素体积、CT 强度 HU 分布)作为数据变异性证据,论文 Figure 3 展示:-1000 HU 对应空气、约 750 HU 对应松质骨,并对比两来源的 COVID 病灶体积分布差异。

2.3 影像来源与域偏移设计

COVID-19-20 的一个关键设计选择是把"跨机构泛化"内建进挑战赛:训练与验证完全落在来源 A(中国),而测试集刻意混入来源 B(美国)的 23 幅"未见过"数据。论文原文:

“Of these images, 199 and 50 from Dataset 1 were used for training and validation, respectively. We therefore refer to Dataset 1 as the ‘seen’ data source … The test set contained 23 images each from Datasets 1 and 2 (46 images in total). Hence, Dataset 2 was only used in the testing phase, and we refer to it as the ‘unseen’ data source.”

这个设计有两层含义:其一,参赛者无法通过"记住"来源 B 的图像来作弊;其二,最终排名在一定程度上反映了算法的跨来源泛化能力。论文 Figure 3 还量化了两来源在分辨率、体素体积、病灶体积、CT 强度分布上的差异,为域偏移提供了描述性证据。

对使用者而言,这意味着:用 COVID-19-20 训练出的模型,其在中国来源上的性能与在美国来源上的性能可能显著不同,跨机构部署时必须重新评估。这是它作为"泛化压力测试集"的价值,也是它作为"即插即用训练集"的局限。

2.4 三源划分的完整账目

划分 来源 A(CT Images in COVID-19,中国) 来源 B(COVID-19-AR,美国) 合计
训练集 199 0 199
验证集 50 0 50
测试集 23 23 46
来源小计 272 23 295

这张表把"seen/unseen"和"来源 A/B"两套口径对齐。要点:

  1. 来源 B 从不参与训练与验证,只在测试集占 23 幅;
  2. 验证集(50)与测试集来源 A 部分(23)是不同的影像,参赛者的每日验证提交对应验证集,测试集不显示排行榜;
  3. 训练:验证:测试(来源 A 口径)= 199:50:23,训练集占比约 73%。

2.5 与"体素级"标注的工艺含义

“体素级(voxel-level)分割"在 COVID-19-20 里意味着:掩膜是三维体,每个体素被标为"病灶"或"非病灶”,边界需在三维中保持一致(3D consistency)。官方 Data 页特别强调标注的 “3D consistency”——即医师在 ITKSnap 的多平面视图中同时观察轴位、冠状位、矢状位,确保病灶在三个方向上都连续合理,而非仅在单层上描边。

这一工艺要求的代价是时间,收益是掩膜可用于体积量化——而体积量化正是 NAVE 指标、也是临床疾病负荷评估的基础。对训练分割模型的研究者,这意味着掩膜可以直接用于体素级 Dice 损失;对只想做二维切片级分类的人,则需要自行把体数据切成切片。

2.6 与其他 COVID CT 数据集的边界

COVID-19-20 常被与同类 COVID CT 数据集混淆。这里先给最简边界,§9 再展开:

  • 它不是 covid-ct-lung:后者是 Ma Jun 等的 20 例体数据肺 CT,规模、来源、许可都不同。
  • 它不是 mosmeddata:后者是莫斯科 1,110 例 CT 研究的五级严重度数据集,标签是严重度分级而非病灶掩膜。
  • 它不是 bimcv-covid:后者是西班牙 BIMCV 的 COVID 影像库(含 CXR 与 CT),机构与任务不同。
  • 它也不是 covid-ct(307):库内另一个不同的 COVID CT 条目。

它自身最独特的标识是:295 幅、199/50/46 划分、单类病灶掩膜、NVIDIA+NIH+CNH 组织、Dice/NSD/NAVE+MSD 评测。

2.7 "295"这个数字的三种读法

对 COVID-19-20 的 295,有三种常见读法,须区分清楚:

  1. 图像数读法(挑战赛原始口径):295 幅 CT,训练 199 + 验证 50 + 测试 46。这是本文采用的口径。
  2. 来源读法:来源 A 272 幅(中国)+ 来源 B 23 幅(美国)= 295 幅。这与图像数读法一致,只是按来源重新切分。
  3. 患者数读法:挑战赛以"图像数=患者数"表述,故 295 患者;但 TCIA 原始数据集的患者计数口径可能与之不同(见坑 2)。

任何引用 295 的场合,都应说明用的是哪种读法,避免与"295 幅影像必然等于 295 名唯一患者"的隐含假设混淆。

2.8 数据可变的维度:跨年龄、性别、严重度

官方与论文均强调数据集覆盖"跨年龄、性别与疾病严重度的患者"(“Includes patients of different ages, genders, and with variable disease severity”)。论文 Figure 3 进一步用图表量化了:

  • 分辨率差异:来源 A 与来源 B 在 x/y/z 分辨率上的分布不同;
  • 体素体积差异:两来源的体素体积分布存在差异;
  • 病灶体积差异:两来源标注的 COVID 病灶体积分布不同;
  • HU 分布差异:两来源的 CT 强度直方图不同(-1000 HU 为空气、约 750 HU 为松质骨)。

这些差异是"数据可变性(data variability)"的直接证据,也是 seen/unseen 设计之所以有价值的原因:模型必须面对真实世界的异质性。

2.9 与"AI-Ready"评估相关的数据特征

从 AI-Ready 数据集评估视角,COVID-19-20 具备以下特征:

加分特征:

  • 标准格式(NIfTI),直接可被主流框架读取;
  • 完整的规模/划分/来源/指标文档;
  • 明确的许可声明(双轨);
  • 公开、长期、可复现的获取路径(后挑战阶段持续开放);
  • 提供官方基线(MONAI)降低复现门槛。

减分特征:

  • 规模有限(295 幅),不适合大规模训练;
  • 注释噪声已知且三集同质,评估上限受限;
  • 单类标注,任务弹性小;
  • 获取需注册+协议,非零门槛。

综合而言,它是一份"文档质量与许可清晰度高于均值、获取门槛略高、规模偏小"的数据集——这也是 §11 DAIMS 中可获取性(6)与规模相关的扣分来源。

2.10 数据组织与目录结构(一般形态)

按挑战赛常规组织,COVID-19-20 的数据通常呈现如下形态(具体目录名以官方发放为准):

COVID-19-20/
├── train/                 # 训练集:199 例(来源 A)
│   ├── <case_id>/
│   │   ├── images/        # 胸部 CT 体数据(NIfTI)
│   │   └── labels/        # COVID-19 肺病灶掩膜(NIfTI,单类)
├── validation/            # 验证集:50 例(来源 A)
│   └── <case_id>/ ...
├── test/                  # 测试集:46 例(来源 A 23 + 来源 B 23)
│   └── <case_id>/ ...
└── (提交接口)             # 掩膜须与 image 同尺寸,经 grand-challenge 提交

要点提示:

  • 图像与标签通常按 case_id 配对,掩膜为与 CT 同尺寸的三维体;
  • 测试集的标签(ground truth)在挑战赛期间不发放给参赛者;
  • 后挑战阶段按官方说明可申请,但须遵守同一数据访问协议。

2.11 使用本数据集的合规清单

事项 要求
注册 grand-challenge.org 账户
协议 签署并归档数据访问协议
影像署名 CC BY 4.0,须引用 TCIA 的 CT Images in Covid-19
注释署名 CC0,无强制署名(建议仍署名)
不得声称 将数据用于训练预训练新冠分割模型后声称与官方可比
报告义务 使用外部数据/预训练模型须披露(若参与挑战赛)

§3 注释生产流水线:机器预标注 + 医师修正

3.1 两阶段流水线

COVID-19-20 的注释不是从零手工描绘,而是一条"先机器、后人工"的两阶段流水线。官方 Data 页与论文方法节一致记载:

第一阶段——自动预分割。 所有影像先由一个已训练的 COVID 病灶分割模型自动分割。该模型由 NVIDIA 与 NIH 联合开发,公开于 NVIDIA NGC 目录(模型标识 nvidia:clara_train_covid19_ct_lesion_seg)。它接受完整的胸部 CT 体数据输入,输出体素级的 COVID 病灶分割。“All lung lesions related to COVID-19 were included”——所有与 COVID 相关的肺病灶都纳入预分割范围。

第二阶段——board-certified 放射科医师人工裁决与修正。 预分割结果被作为起点交给 board-certified 放射科医师(论文署名 RS = Ramon Sanchez Jacob、JZ = Jonathan Zember、JM = Jose Molto),他们使用 ITKSnap 工具,在多平面重建视图中逐例检查、修改与纠正自动分割结果,最终形成 3D 一致的 ground truth 注释。

这条流水线是疫情期间"体素级标注不可能全人工完成"这一现实约束下的工程妥协,也是一个可复制的加速范式:机器负责把 90% 的粗边界画出来,医师把精力集中在纠错与边界精修上。

3.2 官方自曝的噪声局限

§3.1 的流水线有一个必须转述的官方声明。官方 Data 页原文:

“A limitation of this approach is the potential noise in the annotations, which would be similar in the training, validation and test sets.”

这句话包含两个关键信息:

  1. 注释存在潜在噪声——因为起点是自动模型的分割,若模型系统性偏差(例如规则地低估或高估病灶边界),该偏差会被带进最终 ground truth;
  2. 该噪声在训练/验证/测试三集中性质相似——这意味着你无法通过留出集来发现或估计这类噪声:留出集上的"好成绩"可能只是模型学会了复现同一套噪声,而非真正学会了病灶边界。

这是一个诚实且重要的自曝。对使用者而言,正确读法是:COVID-19-20 的掩膜接近但不等于"金标准临床边界",它是一条"自动+医师"混合流水线的产物,适用于训练和可比评测,但用它来断言"人类医师的边界应如此"需谨慎。

3.3 挑战赛规则对注释的约束

为避免"用现成的新冠分割模型作弊",挑战赛设置了几条与注释相关的硬规则:

  • 禁止参赛者使用预训练的 COVID-19 病灶分割公开网络——官方点名示例正是 Clara_train_covid19_ct_lesion_seg(也就是注释流水线第一阶段所用的那个模型);理由显而易见:若允许,参赛者可以直接用近乎"标准答案生成器"的模型,比赛失去意义。
  • 允许使用通用预训练网络初始化(如 ImageNet 权重,视为不构成外部数据但须披露)。
  • 允许使用外部数据训练,但必须在摘要中披露。
  • 仅允许(半)自动化方法,禁止提交人工标注。
  • 摘要正文(Evaluation 部分)最多 250 词。
  • 团队不得重复注册。

这些规则把挑战赛的公平性锚定在"算法能力"而非"能否拿到上游模型"上,也间接说明了:注释流水线第一阶段的那个 NVIDIA/NIH 模型在 2020 年已是较强的新冠肺病灶分割器。

3.4 标注工具 ITKSnap 的角色

ITKSnap(itksnap.org)是一款开源的三维医学图像分割与配准工具,在 COVID-19-20 里承担"医师修正工作台"的角色:它同时显示 CT 的轴位、冠状位、矢状位多平面重建视图,允许医师在任意平面上裁剪、涂刷、删除分割体素,且三视图联动更新。官方强调这正是实现 3D consistency 的关键——医师能立刻看到某一层的修改是否在三维中造成不连续或穿出器官边界。

对复现者而言,ITKSnap 的掩膜是标准 NIfTI 格式,可被常见医学图像库(SimpleITK、Nibabel、MONAI 等)直接读取,不存在专有格式锁定问题。

3.5 流水线的可迁移经验

COVID-19-20 的注释流水线提供了三条对后续数据集工程有用的经验:

  1. 预标注显著降低专家时间占比:把"画"变成"审+改",是疫情期间在人力受限下拿到体素级标注的唯一现实路径;
  2. 多平面联动工具是 3D 一致性的必要条件:只给单层视图会系统性产生层间不连续;
  3. 必须显式记录预标注引入的噪声并声明其三集同质性:否则下游使用者无法正确解释模型成绩——COVID-19-20 把这一点写进了官方文档,值得效法。

§4 挑战赛历程与组织

4.1 时间线

官方页面给出的 Timeline 清晰记录了这场"疫情期间极速组织"的挑战赛节奏:

日期(2020-2021) 事件
2020-11-02 23:59 GMT 挑战赛启动,发布训练集与验证集数据
2020-12-08 23:59 GMT 发布测试集数据
2020-12-11 23:59 GMT 测试结果与摘要提交截止
2020-12-18 公布测试结果(非最终排名)与决赛团队名单
2021-01-11(暂定) 公布最终排名,前十名团队线上直播展示方法

从发布训练数据到公布最终排名,全程仅约两个半月——这在医学图像挑战赛史上属于"极速"。论文亦将标题定为 “Rapid Artificial Intelligence Solutions in a Pandemic”,强调的正是这种速度。

4.2 参赛规模与完成率

论文与官方资料一致记载:

  • 1,096 支注册团队
  • 225 支完成训练+验证阶段
  • 98 支完成训练+验证+测试完整流程
  • 98 支完成团队的来源覆盖多国(论文 Figure 1 展示了 98 支团队的国家分布)

从 1,096 到 98,完整流程完成率约 8.9%——这在挑战赛中并不罕见:大量团队在报名后因数据获取门槛、算力、或第一阶段反馈不佳而退出。225→98 的落差还提示,测试阶段的"无排行榜、只有最后一次提交"设定进一步筛掉了犹豫的团队。

4.3 提交与阶段规则

  • 验证阶段:参赛者每日限提交一次(once-a-day),可根据验证 leaderboard 的实时表现迭代算法;
  • 测试阶段:不显示排行榜,最后一次提交用于最终排名;
  • 入场门槛:测试阶段仅对已提交过验证集结果的参赛者开放;
  • 排名公布:最终排名与排行榜均公开托管于挑战赛官网。

这里有一个对复现者极重要的口径:验证阶段的"每日一次+实时排行榜"是刻意设计用于调参的,而测试阶段的"无排行榜+末次提交"是为了防止过拟合测试集。因此,任何声称"我在这项挑战赛上得到 X 分"的说法,都必须标明是验证分、测试分,还是 leaderboard Dice 分。

4.4 组织方与数据托管分工

角色 承担方
挑战赛组织 NVIDIA + NIH Clinical Center + Children’s National Hospital
数据提供 The Multi-national NIH Consortium for CT AI in COVID-19
数据托管 NCI TCIA(The Cancer Imaging Archive)
注释制作 Children’s National Hospital + NVIDIA + NIH 联合;board-certified 放射科医师终审
平台托管 grand-challenge.org
基线模型 MONAI 团队(monai.io,Project-MONAI/tutorials)

这种分工是 2020 年疫情期间"产学研协同"的典型:企业(NVIDIA)提供深度学习工程能力与预训练模型,政府机构(NIH/NCI)提供数据合规渠道与临床专家,医院(Children’s National)提供放射科医师与标注工作台,开源社区(MONAI)提供基线复现入口,学术平台(Grand Challenge)提供评测基础设施。

4.5 基线资源的角色

组织方提供了基于 MONAI 的基线分割模型,托管于 github.com/Project-MONAI/tutorials 的 3d_segmentation/challenge_baseline/ 目录,包含数据预处理、模型训练、验证与推理的完整流程。基线的意义有三:

  1. 降低入场门槛:参赛者可从可运行基线出发,把精力放在方法创新上;
  2. 提供成绩锚点:基线的验证/测试分数给出"合格线"的参照;
  3. 沉淀可复现范式:MONAI 的这份教程后来成为 3D 医学图像分割的标准入门材料之一。

§5 任务定义与评测基准

5.1 任务定义

输入:单例患者的无造影增强胸部 CT 三维体数据。
输出:与该体数据同尺寸的三维体素级分割掩膜,其中体素被标为"COVID-19 肺病灶"或"背景"(单类)。
目标:最大化预测掩膜与 ground truth 掩膜的一致性,同时不牺牲边界精度与病灶体积估计的一致性。
约束:(半)自动化方法;禁止提交人工标注;禁止使用预训练的新冠病灶分割公开网络。

5.2 三大评测指标

论文与方法学文档定义并使用了三个指标,既用于评测算法,也用于估计观察者间变异(interobserver variability):

(1) Dice 相似系数(Dice Similarity Coefficient, DSC / Dice)

衡量预测体积与真实体积的重叠度:

Dice = 2 × |S_gt ∩ S_pred| / (|S_gt| + |S_pred|)

其中 S_gt 为 ground truth 分割体积,S_pred 为预测分割体积。取值 0-1,越接近 1 越好。它是最常用的分割准确度指标,对体积重叠敏感,但对小病灶和边界细节不够敏感。

(2) 归一化表面 Dice(Normalized Surface Dice, NSD)

衡量预测表面与真实表面的吻合程度。COVID-19-20 选择 1 mm 作为"可接受偏差"阈值:即在真实表面 1 mm 邻域内的预测表面点占比越高越好。NSD 对边界精度敏感,是 Dice 的重要补充——两个体积重叠很好但边界犬牙交错的预测,Dice 可能不低,但 NSD 会露馅。

(3) 归一化绝对体积误差(Normalized Absolute Volume Error, NAVE)

衡量预测病灶体积与真实病灶体积的一致性。论文明确说明其设计动机:肺内 COVID-19 病灶负荷(lesion burden)对临床评估有重要作用,因此需要一个直接衡量体积一致性的指标。排名时取该值的负值(因为越大表示越好,需与其他指标方向统一)。NAVE 关注的是"病灶总体积估得准不准",即使边界和形状略有出入,只要总量对,该指标不受太多惩罚——这恰是临床关心的维度。

5.3 MSD 组合排名方案

三个指标各自衡量一个维度,无法简单相加(量纲与敏感度都不同)。COVID-19-20 采用 Medical Segmentation Decathlon(MSD) 使用的统计分析与排名方案(官方链接 medicaldecathlon.com/files/MSD-Ranking-scheme.pdf),把多指标组合为单一性能分。

MSD 排名方案的核心思想是:对每个指标分别对全部参赛者排名,再将各指标排名聚合为综合排名。这样既保留了多维度评测,又给出一个可比的单一序列。它的一大优点是对指标量纲和分布不敏感——只看相对名次而非绝对分数。

关键口径(必须记住):官方页明确——

“The leaderboard is based on Dice scores only and does NOT reflect the multi-metric score used for the final ranking.”

也就是说,在线排行榜只按 Dice 排序,与最终排名所用的多指标组合分不一致。仅凭 leaderboard 位置推断最终名次会出错。这是 COVID-19-20 最容易被误用的评测口径。

5.4 观察者间变异基准

为给 AI 成绩提供人类参照,论文测量了**观察者间一致性(interobserver agreement)**作为基准:把不同的专家注释相互比较,得到人类专家之间的 Dice/NSD/NAVE 水平。这一做法把"AI 与人类专家的差距"变成可量化的问题:如果一个 AI 的分数接近甚至达到人类专家之间的一致性水平,就可以说它"达到了人类水平";如果明显低于,则说明还有提升空间。

需要强调的是:由于 COVID-19-20 的注释本身来自"自动+医师修正"流水线(§3.2),其观察者间变异测量也受该流水线影响——这也是论文坦诚自曝的一部分。

5.5 MONAI 基线

MONAI 团队的基线分割模型提供了一个可运行的参考实现:数据预处理 → 3D 网络训练 → 验证 → 推理提交流程。基线的意义不仅在于分数锚点,更在于它把"如何把 3D 医学图像喂进深度学习模型"的工程细节(重采样、强度归一化、patch 采样、滑动窗口推理等)固化成可复现代码,降低了整个社区复现与对比的成本。

5.6 评测维度的临床意义对照

把三指标映射回临床,可以理解为何要多指标:

指标 衡量什么 临床对应
Dice 整体重叠度 分割整体是否"套得上"
NSD(1mm) 边界精度 病灶边界是否被准确勾画
NAVE 病灶总体积一致性 疾病负荷量化是否可靠

一个只在 Dice 上高分的模型,可能在体积估计上系统性偏大或偏小,从而误导"病灶占比→病情评估"的下游判断。这正是挑战赛坚持多指标、并把最终排名与 leaderboard 口径分开的原因。

5.7 指标计算的技术细节

Dice 的实现要点:需要把预测掩膜与真实掩膜二值化后逐体素比较。若预测为概率输出,须先以阈值(常取 0.5)二值化。Dice 对类别不平衡敏感:当病灶体素极少时,即便预测全背景也可能得到看似不低的分数,故实践中常配合"前景 Dice"或与体积指标联用。

NSD 的实现要点:先提取预测与真实掩膜的表面体素(边界层),然后计算真实表面 1mm 邻域内被预测表面覆盖的比例,与反向比例取平均或取其一(口径需与官方一致)。NSD 依赖表面的正确提取,边界提取算法(如形态学差分或距离变换)会影响结果,复现时须固定实现。

NAVE 的实现要点:只涉及两掩膜的总体积:|V_pred − V_gt| / V_gt(归一化绝对体积误差)。它不关心病灶空间位置是否正确,只看总量——因此一个"位置全错但总量对"的预测在 NAVE 上可能得分不错,这正是需要与 Dice/NSD 联用的原因。

5.8 为什么临床关心病灶体积(NAVE 的动机)

论文明确将 NAVE 的设计动机锚定在临床:肺内 COVID-19 病灶负荷(lesion burden)是评估病情的重要指标。病灶体积占比可以反映肺部受累程度,与疾病严重度、预后相关。因此,一个分割模型即使边界不够完美,只要能可靠地估计病灶总体积,就对临床随访有意义。这解释了为何挑战赛没有止步于 Dice,而要把体积一致性单独列为一个指标——它把"AI 分割"与"临床量化"直接挂上了钩。

5.9 多指标评测的方法论意义

COVID-19-20 的多指标设计(Dice+NSD+NAVE)体现了一条方法论:任何单一指标都是在特定假设下对"好分割"的一种投影,必然有盲区。Dice 盲于边界细节与位置误差在小体积下的放大;NSD 盲于体积总量;NAVE 盲于空间正确性。三者互补,覆盖了"重叠—边界—体积"三个正交维度。配合 MSD 的排名聚合与显式的口径声明,构成了一套"抗误用"的评测设计,值得后续分割基准直接借鉴。

§5’ 挑战赛结果与产出(口径说明)

需要说明的是:本条目不逐项复述各支团队的最终名次与分数,原因有二。其一,挑战赛的最终排名与各队分数托管于官方 leaderboard(“公开托管于挑战赛官网”),本条目无法在当前核验条件下逐条确证每个名次的准确数值,依"核验不到就不编造"的纪律,此处不列具体名次表。其二,论文的重点在方法论与整体结论(“AI 模型可被多样化团队快速设计”“识别出分割 COVID 病灶的最优 AI 模型”),而非逐队成绩排名。

因此,读者若需要具体名次与分数,应以官方 leaderboard 与 Medical Image Analysis 论文的 Results 表格为准;本条目仅提供可确证的整体事实:1,096 支注册、225 支完成验证、98 支完成测试、三指标+MSD 组合排名、排行榜仅按 Dice。

5.10 与其他分割挑战赛评测口径的小对照

挑战赛 主要指标 排名方式 与本条关系
COVID-19-20 Dice + NSD(1mm) + NAVE MSD 组合方案 本条
MSD(Medical Segmentation Decathlon) 多任务多种指标 组合排名(本挑战赛借用其方案) 方法来源
一般语义分割挑战 常以 Dice / IoU 单指标 单指标排序 对照
检测类挑战赛 mAP / FROC 单/多指标 任务不同,不可比

要点:COVID-19-20 是本库中少见的"三指标 + MSD 组合排名 + 显式声明排行榜口径"的数据集,其评测透明度高于单指标挑战赛。

5.11 对复现者的四条提醒

  1. 不要只报 Dice:若论文只给 Dice,可能与最终排名口径不符,审稿人可能质疑。
  2. 不要跨口径比较:leaderboard Dice 与测试集 MSD 组合分不可直接比。
  3. 不要忽略域:来源 A 与来源 B 的表现应分开报告。
  4. 不要忽略体积指标:若研究声称"可用于临床量化",必须报告 NAVE。

§5’’ 数据质量与偏倚速评

5’'.1 来源偏倚

训练+验证 100% 来自来源 A(中国),测试才引入来源 B(美国)。因此:

  • 若研究只报告整体分数,会掩盖来源间的性能差异;
  • 若要声称"跨机构通用",必须单独报告来源 B 上的表现;
  • 数据集的"多国"属性体现在测试集,而非训练集。

5’'.2 标注偏倚

由于注释起点是自动模型,且医师做的是"修正"而非"从零描绘",注释可能继承自动模型的系统性倾向。官方承认噪声存在且三集同质。这意味着:

  • 不能把掩膜当作"唯一正确边界";
  • 观察者间变异测量也受此流水线影响;
  • 用该掩膜训练的模型,其"错误"可能与掩膜的"错误"方向一致。

5’'.3 类别偏倚

单类标注意味着数据集对"非 COVID 肺病变"(如普通肺炎、纤维化、结节)不区分、也不标注。模型可能在真实场景中把这些误判为 COVID 病灶。

§6 获取、许可与访问流程

6.1 双轨许可:影像 CC BY 4.0 + 注释 CC0

COVID-19-20 的许可需要分两件资产来看,这是它最容易被笼统引用的地方。官方 Data 页明确区分:

影像本体(CT 数据):须遵守 Creative Commons Attribution 4.0 International License(CC BY 4.0)。官方原文:

“CT data provided by The Multi-national NIH Consortium for CT AI in COVID-19 via the NCI TCIA public website. Users of the CT data must abide by the Creative Commons Attribution 4.0 International License under which it has been published.”

注释(COVID-19-20 annotation data):CC0。官方原文:

“COVID-19-20 annotation data are available under CC0 license.”

两套许可的差别是实质性的:

  • CC BY 4.0:允许商用、允许再分发、允许改编,但必须署名(attribution);
  • CC0:等同"公共领域奉献",使用时无需署名(尽管署名仍是学术惯例与礼貌)。

因此,如果你只用 CT 影像训练、发布或再分发,需按 CC BY 4.0 署名;如果你使用或再分发 COVID-19-20 的病灶掩膜,则依 CC0 无需强制署名。稳妥做法是两者都署名,并在产物中明确标注"影像依 CC BY 4.0、注释依 CC0"。

6.2 署名要求:官方指定的引用

官方 Data 页给出了使用/再分发时的署名引用清单,包括:

数据引用(Data Citation):

Roth H, Xu Z, Diez CT, Jacob RS, Zember J, Molto J, Li W, Xu S, Turkbey B, Turkbey E, Yang D, Harouni A, Rieke N, Hu S, Isensee F, Tang C, Yu Q, Sölter J, Zheng T, Liauchuk V, Zhou Z, Moltz J, Oliveira B, Xia Y, Maier-Hein K, Li Q, Husch A, Zhang L, Kovalev V, Kang L, Hering A, Vilaça J, Flores M, Xu D, Wood B, Linguraru M. Rapid Artificial Intelligence Solutions in a Pandemic - The COVID-19-20 Lung CT Lesion Segmentation Challenge. Res Sq [Preprint]. 2021 Jun 4:rs.3.rs-571332. doi: 10.21203/rs.3.rs-571332/v1.

CT 影像来源引用:

An P, Xu S, Harmon SA, Turkbey EB, Sanford TH, Amalou A, Kassin M, Varble N, Blain M, Anderson V, Patella F, Carrafiello G, Turkbey BT, Wood BJ (2020). CT Images in Covid-19 [Data set]. The Cancer Imaging Archive. DOI: 10.7937/tcia.2020.gqry-nc81

TCIA 平台引用:

Clark K, Vendt B, Smith K, Freymann J, Kirby J, Koppel P, Moore S, Phillips S, Maffitt D, Pringle T, Tarbox L, Prior F. The Cancer Imaging Archive (TCIA): Maintaining and Operating a Public Information Repository, Journal of Digital Imaging, Volume 26, Number 6, December, 2013, pp 1045-1057. DOI: 10.1007/s10278-013-9622-7

期刊正式论文:Roth HR, Xu Z, Tor-Díez C, et al. Rapid artificial intelligence solutions in a pandemic—The COVID-19-20 Lung CT Lesion Segmentation Challenge. Medical Image Analysis 82 (2022): 102605. doi: 10.1016/j.media.2022.102605(PMID: 36156419)。

6.3 访问流程:注册 + 协议 + API

获取数据不是"点一个下载按钮",而是走一条合规流程:

  1. 在线注册:在 grand-challenge.org 的相关挑战赛页面注册账户;
  2. 签署并归档数据访问协议:注册后需签署数据访问协议(data access agreement)并归档,官方称 “Users must sign and archive the data access agreement”;
  3. API 访问:协议签署后,通过 API 访问数据集,官方强调托管于 grand-challenge.org 并提供安全的数据访问控制。

这一流程是医学影像数据集发布的常规做法:通过"注册+协议"建立可追溯的使用者名册,既满足数据治理合规,又能统计使用规模。

6.4 后挑战阶段(Post-challenge)

官方明确:后挑战阶段(Post-challenge phase)已开放,数据与要求与第一阶段(Phase I)相同。这意味着挑战赛结束后数据集仍可申请使用,且测试数据将保留用于未来挑战。对晚到的使用者,这是一个重要的可持续性信号:它不是一个"比赛结束即封存"的数据集,而是长期维系的公共资源。

6.5 数据获取决策树

我要用 COVID-19-20 的数据做研究
└── 我只需要用来训练/评测分割模型?
    ├── 是 → 注册 grand-challenge.org → 签署数据访问协议 → API 拉取 295 幅 CT + 掩膜
    │        └── 训练用 199、调参用验证 50、正式报告用测试 46(注意来源 A/B 划分)
    └── 我只需要 CT 影像本体(不要病灶掩膜)?
        └── 直接走 TCIA 公开页取「CT Images in Covid-19」(doi:10.7937/tcia.2020.gqry-nc81),
            按 CC BY 4.0 署名;但注意掩膜要另行经挑战赛渠道获取(CC0)

6.6 许可引用的三条纪律

  1. 别一揽子说"COVID-19-20 是 CC BY 4.0"——那是影像的许可,注释是 CC0;
  2. 别把论文许可与数据许可混为一谈——Medical Image Analysis 的论文版权归 Elsevier,与数据许可无关;
  3. 再分发时写清资产与许可的对应关系,尤其是当产物同时包含影像与掩膜时。

§7 生态、影响与复用

7.1 在 COVID-19 影像 AI 生态中的位置

COVID-19-20 是 2020-2021 年 COVID-19 医学影像 AI 浪潮中的分割方向代表。同一时期相关的数据集与资源包括:

  • 分类/筛查方向:大量 COVID 胸部 X 光数据集(如 COVID-19 Radiography、COVIDx 系)聚焦"是否感染"的判别;
  • CT 严重度方向:MosMedData 等提供严重度分级标签;
  • 病灶分割方向:COVID-19-20 与少数同类分割数据集聚焦"病灶在哪、有多大"。

COVID-19-20 的独特性在于:它同时是挑战赛(有排名、有基线、有规则)和数据集(295 幅带掩膜长期开放),且带一套从数据到评测的完整文档。这使得它被后续大量分割方法论文用作基准或对照。

7.2 对后续方法的影响

挑战赛的产出不仅是排名,还包括:

  1. 一批强基线分割方法:98 支完成团队的方案(含 nnU-Net、多种 U-Net 变体、集成方法等)为后续研究提供了参照;
  2. 评测方法的示范:Dice+NSD+NAVE 三指标与 MSD 排名方案,被后续分割挑战赛广泛借鉴;
  3. 跨机构泛化的实验设计:seen/unseen 来源划分成为评测泛化能力的标准做法之一。

论文指出,挑战赛证明了"AI 模型可以被多样化团队快速设计出来",并具有"测量疾病负荷或促进及时、患者特异干预"的潜力。

7.3 数据的复用路径

COVID-19-20 数据的典型复用场景:

场景 用法
分割模型开发 199 训练/50 验证训练体素级分割网络,46 测试报告
跨域泛化研究 用来源 B(美国 23 幅测试)评估中国来源训练的模型的域偏移
评测方法研究 用三指标+MSD 方案研究多指标排名与排行榜口径的差异
预训练/自监督 作为 3D 医学图像预训练语料的一部分
教学 作为 3D 分割、挑战赛复现、数据治理的案例

7.4 局限与已暴露的问题

复用者需要带着以下认知使用:

  1. 规模有限(295 幅)——不足以支撑大规模预训练,容易过拟合;
  2. 注释噪声已知且三集同质(§3.2)——留出集无法估计该偏差;
  3. 来源 B 缺席训练/验证——培训与评测的域不一致;
  4. 单类标注——不能当多类器官分割用;
  5. 访问有门槛——非一键直链,需注册+协议。

这些局限并非缺陷,而是这个数据集"如实记录"的一部分,也使它成为医学 AI 数据治理讨论中被反复引用的正面案例。

§8 方法学启示:三条可迁移经验

8.1 "机器预标注 + 专家修正"是疫情等极端约束下的范式

当体素级全人工标注在时间上不可行时,用已训练的模型做预分割、专家只做"审+改",是把专家时间集中在刀刃上的有效路径。COVID-19-20 证明:在数周内产出数百例体素级标注是可能的。代价是引入注释噪声——因此这条经验必须配上 §8.2。

8.2 注释噪声必须显式声明并记录其三集同质性

COVID-19-20 最重要的方法学贡献之一,是把"注释噪声存在,且在训练/验证/测试三集中性质相似"写进官方文档。这句话给了下游使用者一个明确的解释边界:留出集上的好成绩不等于真实泛化。任何用类似"预标注+修正"流水线生产的数据集,都应当照此声明。

8.3 多指标评测 + 明确口径是避免误用的关键

单一 Dice 会掩盖边界误差与体积偏差,而临床恰恰关心体积负荷。COVID-19-20 用三指标覆盖三个维度、用 MSD 方案组合排名、并明确声明"排行榜只按 Dice,不代表最终排名"。这三件事合起来,构成了一套"抗误用的评测设计"——它主动预防了使用者最常见的错误(拿排行榜 Dice 当最终成绩)。

8.4 快速组织与合规可兼得

从 2020-11-02 发布数据到 2021-01-11 公布最终排名,两个半月的节奏并没有牺牲合规:数据走 TCIA 公开渠道 + grand-challenge 的注册协议访问,署名与许可写得清清楚楚。这说明"快"与"合规"并非对立,关键在于把合规流程标准化、把数据放上成熟平台。

8.5 与同期其他医学影像挑战赛的对照

把 COVID-19-20 放进 2020 年前后的医学影像挑战赛景观,能看清它的位置。同类平台(Grand Challenge、Kaggle、MICCAI 系列)上的挑战赛普遍具备"公开数据+评测服务器+论文沉淀"三件套,COVID-19-20 的特点是在时间压力下把三件套压到两个月内完成:

  • 对照 MSD(Medical Segmentation Decathlon):MSD 提供的是多任务分割基准与排名方法论;COVID-19-20 复用了 MSD 的排名方案,但任务单一(肺病灶)且更专。
  • 对照 Kaggle 类竞赛:Kaggle 竞赛通常不发布正式论文数据集,评测以私有测试集评分为准;COVID-19-20 则同时产出论文+长期开放数据集。
  • 对照分类型 COVID 挑战赛:分类型以"是否感染/严重度"为标签,COVID-19-20 是少见的体素级分割导向。

这一对照说明:COVID-19-20 不是"又一个 COVID 数据集",而是"把成熟的分割挑战赛方法论(MSD 排名、seen/unseen 划分、预标注流水线)快速迁移到疫情场景"的产物,其方法论价值不低于其数据价值。

8.6 对后续 COVID 影像数据集工程的启发

COVID-19-20 之后,COVID 影像数据集的构建普遍吸取了它的几条经验:一是显式声明数据来源与许可分层(影像/注释分开);二是用 seen/unseen 或跨机构留出来量化泛化;三是把注释流水线与噪声写进文档。反之,它的若干局限(规模小、单类、来源偏斜)也提示后续数据集应向更大规模、多类别、多中心均衡采样演进。

§9’ 使用实操指南(面向落地)

9’.1 从零到第一个分割模型的路径

  1. 拿数据:注册 grand-challenge.org → 签协议 → API 下载 295 幅 CT 与掩膜。
  2. 理清划分:训练用 199、调参用验证 50、最终报告用测试 46。
  3. 预处理:NIfTI 读取 → 重采样到各向同性(如 1mm)→ HU 窗(约 -1000~1000)归一化。
  4. 训练:3D U-Net 或 nnU-Net,Dice+CE 组合损失,patch 采样。
  5. 推理:滑动窗口(SlidingWindowInferer)输出整幅掩膜,保证与输入同尺寸。
  6. 评测:分别计算 Dice、NSD(1mm)、NAVE,注意与官方口径对齐。

9’.2 常见工程陷阱与规避

  • 尺寸不匹配:提交掩膜必须与 CT 同尺寸,否则评测端拒绝——推理后务必校验 shape。
  • 各向异性:原始 CT 层厚不一,直接送入 3D 网络会引入偏差——先重采样。
  • 类别极不平衡:病灶体素占比小,纯 Dice 损失可能塌缩——加入正负采样与 CE。
  • HU 窗错误:CT 值需截断到肺窗范围,否则背景主导梯度。
  • 数据泄漏:不要用验证集反复调超参后又报告验证分数当"测试"成绩。

9’.3 评测复现的口径纪律

复现或对比 COVID-19-20 成绩时,必须声明三件事:一是用哪个划分(训练/验证/测试/来源 A 或 B);二是引用哪个指标口径(Dice / NSD / NAVE / MSD 组合 / leaderboard Dice);三是是否使用预训练新冠分割模型(若使用则与官方可比口径不符)。缺任一项,成绩不可比。

§8’ 学术影响与引用背景(可确证部分)

8’.1 被广泛引用

COVID-19-20 的正式论文发表于 Medical Image Analysis 2022 年第 82 卷,是 COVID-19 医学影像 AI 领域被引量较高的方法学论文之一(第三方引文统计如 ORBilu 显示 Scopus 引文约 42 次、OpenAlex 约 59 次、WoS 约 37 次,抓取时点不同数值不同,仅作量级参考)。它被引的场景多为:

  • 作为新冠肺病灶分割方法的对照基准;
  • 作为"疫情期间快速组织 AI 挑战赛"的方法学引证;
  • 作为 seen/unseen 跨来源评测设计的案例。

8’.2 方法学遗产

论文列举的主要贡献(Highlights)可确证包括:呈现挑战赛结果、识别出分割 COVID 病灶的最优 AI 模型、吸引逾千名全球参与者、使用公开的多机构多国精选数据集、涵盖不同年龄性别与疾病严重度的患者、提供评测与比较算法的方法。这些贡献中,“评测与比较算法的方法”(三指标+MSD)与"公开数据"两项,是它能被长期复用的根本原因。

8’.3 对"AI-Ready"理念的示范

COVID-19-20 之于 AI-Ready 数据集的意义在于:它把"数据可获取"“格式标准化”“评测可复现”“许可清晰”“文档透明"这几件事同时做到了及格线以上,尽管规模偏小、获取有门槛。它证明一份医学影像数据集的价值不仅在于"有多少张”,也在于"文档有多清楚、评测有多透明、许可有多明确"。

§9 与库内条目的关系(消歧核心)

COVID-19-20 在库内最需要说清的是"它不是别的什么"。库内已有多个 COVID 相关的 CT/影像条目,它们与 COVID-19-20 是不同的资源,切不可混为一谈。本节逐条对照。

9.1 家族图谱:库内五个易混条目

库内 slug rid 它是什么 与 COVID-19-20 的区别
covid-segmentation(本条) 待入库 COVID-19-20 挑战赛:295 幅胸 CT 肺病灶分割 ——
covid-ct-lung 1041 Ma Jun 等的 20 例体数据肺 CT 规模(20 vs 295)、来源、许可均不同
covid-ct 307 库内另一 COVID CT 条目 与本挑战赛的 295 幅不是同一份数据
bimcv-covid 207 西班牙 BIMCV 的 COVID-19 影像库(含 CXR/CT) 机构(瓦伦西亚 BIMCV)、任务与内容不同
mosmeddata 297 莫斯科 五级严重度 COVID CT 标签是严重度分级,非病灶掩膜;规模也不同

9.2 与 covid-ct-lung(1041) 的消歧

covid-ct-lung 是 Ma Jun 等整理/发布的 20 例肺 CT 体数据资源。它与 COVID-19-20 至少有三处硬区别:

  1. 规模:20 例 vs 295 幅;
  2. 来源与组织方:Ma Jun 等(独立研究者)vs NVIDIA+NIH+美国国家儿童医院+TCIA;
  3. 用途/形态:以体数据(volumetric)为单位的成套 CT,vs 带单类病灶掩膜的挑战赛数据。

两者虽都叫"COVID 肺 CT",但既非同一来源、也非同一规模、也非同一许可体系,检索与引用时务必分开。若产品描述里把二者说成"同一份数据的两种叫法",那是错的。

9.3 与 covid-ct(307) 的消歧

covid-ct(307) 是库内另一个 COVID CT 条目(rid 307),它并不等于 COVID-19-20 的 295 幅数据。二者的关联仅限于"都是 COVID CT 相关",本条的来源与划分(199/50/46、来源 A/B)属于 COVID-19-20 特有,不应转引到 covid-ct,反之亦然。

9.4 与 bimcv-covid(207) 的消歧

bimcv-covid 来自西班牙瓦伦西亚的 BIMCV(Valencian Region Medical Image Bank),是一个包含 COVID-19 影像(胸片与 CT)的机构级影像库。它与 COVID-19-20 的差异:

  • 机构:BIMCV(西班牙)vs NIH/NVIDIA/CNH(美国);
  • 内容:多模态(CXR+CT)影像库 vs 单一任务(肺 CT 病灶分割)数据集;
  • 任务导向:偏"影像资源库" vs 偏"分割挑战赛+基准"。

9.5 与 mosmeddata(297) 的消歧

mosmeddata(MosMedData)是俄罗斯莫斯科团队整理的 COVID-19 胸部 CT 数据集,核心特征是五级严重程度标签(CT severity classes),量化的是"病情有多重",而不是"病灶在哪里、有多大"。它与 COVID-19-20 的关键差异:

  • 标签类型:严重度分级(分类)vs 体素级病灶掩膜(分割);
  • 任务:严重度评估 vs 病灶分割;
  • 规模与来源:莫斯科队列 vs 中美两来源 295 幅。

9.6 检索路径建议

  • 要肺 CT 病灶分割数据 + 挑战赛基准 → 本条(covid-segmentation)。
  • 要少量体数据肺 CT → covid-ct-lung(1041)。
  • 要库内其他 COVID CT 集合 → covid-ct(307)。
  • 要西班牙多模态 COVID 影像库 → bimcv-covid(207)。
  • 要 COVID CT 严重度分级标签 → mosmeddata(297)。
  • 要 COVID 胸片(CXR) → covid-19-radiography(217)、covidx-cxr(197)。
  • 要 COVID 声音/咳嗽数据 → covid-19-sounds(436)。
  • 要 COVID 切肺分割/其他影像分割 → chest-x-ray-segmentation(601)、sar-covid(705)。

9.7 建议互链点

本条目可与以下库内条目互链(均以 rid 反查 url_name 确证):

互链条目 rid 互链理由
covid-ct-lung 1041 同为 COVID 肺 CT,最需消歧
covid-ct 307 同为 COVID CT,需消歧
bimcv-covid 207 同为 COVID 影像库
mosmeddata 297 同为 COVID CT,标签体系对照
covid-19-radiography 217 COVID 影像族
covidx-cxr 197 COVID 胸片族
chest-x-ray-segmentation 601 医学图像分割族
sar-covid 705 COVID 影像/分割对照

9.8 为什么这五个条目容易被混为一谈

三个原因导致混用:

  1. 名称都含"COVID"+“CT”:covid-ct、covid-ct-lung、covid-segmentation 三者名称高度重叠,仅凭缩略名难以区分;
  2. 主题相邻:都围绕新冠胸部影像,检索"COVID CT dataset"会同时命中;
  3. 年份集中:多为 2020-2021 疫情期间发布,时间标签相近。

规避方法是按"标签类型"和"机构+规模"两个维度分辨:标签是分割掩膜还是严重度分级?来源是中国/美国/西班牙/俄罗斯?规模是 20 例、295 幅还是千例级?三问定身份。

9.9 组内协作视角:五个条目如何互补

从研究选题看,这五个条目并不冗余,而是覆盖了 COVID 影像的不同切面:

  • 分割切面:covid-segmentation(肺病灶掩膜)、covid-ct-lung(肺体数据);
  • 分级切面:mosmeddata(严重度五级);
  • 资源库切面:bimcv-covid(多模态影像库)、covid-ct(CT 集合);
  • 筛查切面:covid-19-radiography、covidx-cxr(胸片)。

因此,一篇综述若要谈"COVID 影像 AI",正确做法是把它们并列引用并各述其职,而非当作同一数据的不同版本。

9.10 消歧的一句话记忆法

295 幅、199/50/46、单类掩膜、Dice/NSD/NAVE、CC BY 4.0+CC0、NVIDIA+NIH+CNH——同时满足这六点的,就是 covid-segmentation;任何一点不符,就是别的条目。

§10 避坑清单:九个已踩过的坑

坑 1:名称有三种写法,撞库高发。 官方全名 COVID-19 Lung CT Lesion Segmentation Challenge - 2020,简称 COVID-19-20,任务头写作 CCP-COVID19 Lung CT Lesion Segmentation Challenge;本库 slug 为 covid-segmentation。三者指同一事物,但检索时若用不精确的短语,容易与 covid-ct/covid-ct-lung 撞库。引用前核对官方域名 covid-segmentation.grand-challenge.org。

坑 2:"图像数=患者数"是挑战赛口径,别当通用事实。 官方以"199 patients / 50 patients / 46 patients"表述训练/验证/测试,口径是"1 幅 CT 对应 1 患者"。但 TCIA 原始数据集的患者计数口径可能与之不同(一幅可能对应多期或同一患者多幅)。本条目统一采用挑战赛原始口径并在此存照。

坑 3:许可是双轨,别一揽子引用。 影像 CC BY 4.0、注释 CC0 是两套许可。写"COVID-19-20 是 CC BY 4.0"忽略了注释的 CC0;写"是 CC0 公开"又忽略了影像的 CC BY 4.0 署名义务。二者须分别标注。

坑 4:排行榜 Dice ≠ 最终排名。 官方明确"排行榜只按 Dice,不反映最终排名的多指标评分"。仅凭 leaderboard 名次推断成绩会出错——最终排名用 Dice+NSD+NAVE 的 MSD 组合分。

坑 5:来源 B(美国 23 幅)从不参与训练/验证。 它只在测试阶段出现,是刻意的"unseen"域偏移测试。若有人声称"用来源 B 训练",那与挑战赛设计相悖。训练/验证全部来自来源 A(中国)。

坑 6:注释噪声已知且三集同质,留出集测不出来。 官方自曝"注释存在潜在噪声,且在训练/验证/测试集中性质相似"。这意味着留出集上的高分不能证明真实泛化——读者必须理解这条解释边界。

坑 7:单类标注,不能当多类分割用。 掩膜只含"COVID-19 肺病灶"一类,没有肺叶/器官/其他病变标签。把它当作多类器官分割数据集会直接失败。

坑 8:禁止用预训练新冠分割模型参赛——包括注释用的那个模型。 挑战赛禁止使用 Clara_train_covid19_ct_lesion_seg 等预训练 COVID 分割网络,而这恰是注释流水线第一阶段使用的模型。复现评测时必须遵守此约束,否则成绩不可比。

坑 9:论文发表年份与预印本年份不同。 期刊正式版为 Medical Image Analysis 82 (2022): 102605(doi:10.1016/j.media.2022.102605,PMID 36156419);预印本为 Res Sq 2021(doi:10.21203/rs.3.rs-571332/v1)。引用时区分预印本与正式版,避免年份混淆。

§11 DAIMS 评估

对 COVID-19-20 做 DAIMS(Data Accessibility, Interoperability, Metadata, Sustainability 等维度)评估,逐项打分如下:

维度 评分(1-10) 依据
D 可发现性 8 官方挑战赛页 + TCIA + Medical Image Analysis 论文 + MONAI 基线,多渠道可检索;域名规范
A 可获取性 6 数据可获取(后挑战阶段持续开放),但需注册+签数据访问协议+API,非直链;扣分项是流程门槛
I 可互操作 8 NIfTI 标准格式 + 体素级掩膜 + ITKSnap 工具链,与主流医学图像库(MONAI/SimpleITK/Nibabel)兼容
M 元数据质量 8 规模/划分/来源/指标/排名/许可/注释流水线全部有文档;官方自曝局限,透明度高;扣分在"图像数=患者数"口径需注明
S 可持续性 7 TCIA + grand-challenge 双平台托管,后挑战阶段持续开放,测试数据保留用于未来挑战;单点风险低
综合评级 7.4/10(中上) 文档质量与许可清晰度高于均值;可获取性被"注册+协议"流程拖低

逐项补充说明:

  • 可发现性加分项:挑战赛被大量论文引用,是 COVID 分割方向的标准基准之一;官方页与论文互指,形成完整引用链。
  • 可获取性扣分项:不像某些一键直链数据集,COVID-19-20 需要走合规流程,对想"即开即用"的使用者构成摩擦——但这恰是医学影像数据治理的规范做法,是设计而非缺陷。
  • 互操作性加分项:NIfTI 是 3D 医学图像事实标准,掩膜与体数据同尺寸对齐,无需格式转换即可投入训练。
  • 元数据加分项:官方把注释流水线的噪声局限写进文档,属于"主动披露",在同类挑战赛中并不多见。
  • 可持续性中性项:依赖 NCI TCIA 与 grand-challenge 两个平台,若任一平台策略变化会带来风险,但二者均为成熟长期托管方。

§12 总结

12.1 三句话总结

  1. COVID-19-20 是 NVIDIA+NIH+美国国家儿童医院 2020 年疫情期间组织的肺 CT 病灶分割国际挑战赛:295 幅 CT(199 训练/50 验证/46 测试),1,096 支团队报名、98 支完赛。
  2. 它用自动预标注+医师 ITKSnap 修正的流水线在数周内产出体素级标注,并以 Dice+NSD+NAVE 三指标 + MSD 排名方案建立了抗误用的多维度评测,同时诚实自曝注释噪声与来源域偏移。
  3. 它的许可是影像 CC BY 4.0 + 注释 CC0 双轨,访问经注册+数据访问协议+API,后挑战阶段持续开放,是 COVID 影像分割方向可复现性最好的公开基准之一。

12.2 适合谁

  • 医学图像分割研究者:需要一个历史引用量高、可比性好的 3D 分割基准。
  • 挑战赛组织与评测方法研究者:Dice/NSD/NAVE+MSD 方案与口径设计值得借鉴。
  • 跨域泛化研究者:seen/unseen 来源划分提供现成的域偏移评测设置。
  • 数据治理与标注流水线研究者:预标注+专家修正+噪声自曝是活教材。
  • 教学:3D 分割入门、挑战赛复现、医学影像许可与合规。

12.3 不适合谁

  • 需要大规模预训练语料的团队(295 幅规模有限)。
  • 需要多类器官/病变分割的项目(单类标注)。
  • 需要一键直链即开即用的场景(需注册+协议)。
  • 需要 GPTA/严重度分级标签的任务(那是 mosmeddata 之类的事)。

12.4 30 秒决策卡

你的情况 行动
要立刻做 3D 分割基准 读到 §6,注册 grand-challenge + 签协议 + API 取数
要跨机构泛化评测 用来源 B(美国 23 幅测试)评估中国来源训练的模型
要引用这个数据集 用 §6.2 的 Data Citation + TCIA 引用(影像 CC BY 4.0 需署名,注释 CC0)
要对比评测方法 读 §5——三指标 + MSD + "排行榜只按 Dice"口径
要区分 COVID CT 数据集 读 §9,按 rid 逐个对照
要设计标注流水线 读 §3 + §8,注意噪声三集同质的处理方式

§10’ 深度避坑补充:四类高频误解

10’.1 "它是什么"类误解

  • 误解:“COVID-19-20 就是 covid-ct-lung”。
  • 纠正:COVID-19-20 是 295 幅挑战赛数据;covid-ct-lung(1041) 是 20 例体数据。参见 §9.2。

10’.2 "数据怎么用"类误解

  • 误解:“直接拿全部 295 幅训练,随便切分即可”。
  • 纠正:挑战赛划定了 199/50/46 的固定切分;若与官方可比,须沿用该切分。自行重划只适合探索性研究,并须声明。

10’.3 "成绩怎么报"类误解

  • 误解:“我在 leaderboard 上是第 N 名,所以测试也是第 N”。
  • 纠正:leaderboard 仅按 Dice,最终排名用多指标组合。参见坑 4。

10’.4 "许可怎么引"类误解

  • 误解:“反正是公开数据,随便用”。
  • 纠正:影像 CC BY 4.0 需署名;注释 CC0;获取需注册+协议。参见 §6。

§10’’ 与其他 COVID CT 数据集的横向对比表

数据集 规模 标签 来源 任务 库内 rid
COVID-19-20 295 幅 单类病灶掩膜 中国 272 + 美国 23 分割 本条
covid-ct-lung 20 例 体数据肺 CT Ma Jun 等 分割/分析 1041
covid-ct —— CT 库内条目 CT 集合 307
bimcv-covid 影像库 多模态 西班牙 BIMCV 影像库 207
mosmeddata 千例级 五级严重度 俄罗斯 分类 297

这张表是 §9 家族图谱的数值化补充:把规模、标签、来源、任务、rid 五个维度并列,一眼看清 COVID-19-20 的独特定位——规模中等、单类掩膜、中美双来源、分割任务。

FAQ(高频问答 42 问)

A. 基础认知

Q1:COVID-19-20 是数据集还是挑战赛?
两者都是。它首先是一项国际医学图像分割挑战赛(2020-11 至 2021-01),同时留下了一份长期开放的 295 幅带掩膜 CT 数据集和一篇 Medical Image Analysis 论文。

Q2:名字里的 20 指什么?
指 2020 年(COVID-19-20 = COVID-19 Lesion Segmentation Challenge 2020),不是数量。官方全称是 COVID-19 Lung CT Lesion Segmentation Challenge - 2020。

Q3:谁办的?
NVIDIA + 美国 NIH 临床中心 + 美国国家儿童医院(Children’s National Hospital)Sheikh Zayed 研究所联合组织;数据由 The Multi-national NIH Consortium for CT AI in COVID-19 提供,经 NCI TCIA 托管。

Q4:论文发在哪?
Medical Image Analysis 82 (2022): 102605,doi:10.1016/j.media.2022.102605,PMID 36156419。预印本在 Res Sq 2021(doi:10.21203/rs.3.rs-571332/v1)。

Q5:任务是什么?
在无造影增强胸部 CT 上做三维体素级 COVID-19 肺部病灶分割,单类掩膜。

Q6:它和普通"COVID 分类数据集"有何不同?
分类数据集问"是否感染",COVID-19-20 问"病灶在哪里、有多大",输出是体素级掩膜,不是标签。

B. 数据与规模

Q7:一共多少数据?
295 幅胸部 CT。

Q8:怎么划分的?
训练 199、验证 50、测试 46。训练与验证全部来自来源 A(中国);测试 46 = 来源 A 23 + 来源 B 23。

Q9:来源 A 和来源 B 分别是什么?
来源 A = 「CT Images in COVID-19」(TCIA,doi:10.7937/tcia.2020.gqry-nc81,中国,272 幅);来源 B = 「COVID-19-AR」(TCIA,美国,23 幅)。

Q10:为什么来源 B 只在测试出现?
这是刻意的"unseen"设计:参赛者训练/验证看不到美国来源数据,测试时被迫面对跨来源域偏移。

Q11:患者数是多少?
挑战赛口径:训练 199 患者、验证 50 患者、测试 46 患者,合计 295(图像数=患者数口径,见坑 2)。

Q12:数据格式是什么?
NIfTI(CT 体数据 + 分割掩膜),提交掩膜需与图像尺寸对齐。

Q13:标注有几类?
单类——COVID-19 肺部病灶。没有肺叶/器官类别。

Q14:CT 有没有造影增强?
没有,全部是无静脉造影增强(unenhanced)胸部 CT。

Q15:患者都是确诊的吗?
是,全部为 RT-PCR 阳性(SARS-CoV-2)患者。

C. 标注与流水线

Q16:标注怎么做的?
两阶段:先用 NVIDIA+NIH 的 COVID 病灶分割模型自动预分割,再由 board-certified 放射科医师用 ITKSnap 人工裁决修正为 3D 一致的 ground truth。

Q17:那个自动模型是哪个?
NVIDIA NGC 上的 nvidia:clara_train_covid19_ct_lesion_seg(NVIDIA 与 NIH 联合开发)。

Q18:注释可靠吗?
接近但不等于金标准。官方自曝预分割+修正流程存在注释噪声,且训练/验证/测试三集噪声性质相似。

Q19:为什么"三集同质"重要?
因为留出集无法用来估计这类噪声——模型可能在留出集拿高分却只是复现了同一套噪声,真实泛化被高估。

Q20:评审专家是谁?
board-certified 放射科医师 Ramon Sanchez Jacob(RS)、Jonathan Zember(JZ)、Jose Molto(JM)。

Q21:标注工具 ITKSnap 有什么用?
同时显示轴位/冠状位/矢状位多平面重建视图,医师在任意平面修正后三视图联动,保证三维一致性。

D. 评测与排名

Q22:用什么指标?
Dice、Normalized Surface Dice(NSD,1mm 阈值)、Normalized Absolute Volume Error(NAVE)。

Q23:为什么三个指标?
Dice 看整体重叠、NSD 看边界精度、NAVE 看体积一致性(临床关心病灶负荷)。

Q24:NSD 的 1mm 是什么意思?
真实表面 1mm 邻域内的预测表面点占比——阈值定义"可接受偏差"。

Q25:NAVE 为什么要取负值?
因其越大越好,而排名需与其他指标方向统一,故取负值参与组合。

Q26:最终排名怎么算?
多指标组合为单一分数,采用 Medical Segmentation Decathlon(MSD)的统计排名方案。

Q27:排行榜分数就是最终成绩吗?
不是。官方明确排行榜只按 Dice,不反映最终排名的多指标组合分(坑 4)。

Q28:验证阶段提交有限制吗?
有,每日一次(once-a-day),便于根据实时排行榜调参。

Q29:测试阶段呢?
不显示排行榜,取最后一次提交用于最终排名;且测试阶段仅对已提交验证结果的团队开放。

E. 参赛与规则

Q30:有多少团队?
1,096 支注册,225 支完成验证阶段,98 支完成测试阶段。

Q31:能用人工标注提交吗?
不能,仅允许(半)自动化方法。

Q32:能用预训练新冠分割模型吗?
不能,官方点名禁止 Clara_train_covid19_ct_lesion_seg 等预训练 COVID 病灶分割网络。

Q33:能用外部数据吗?
能,但必须在摘要中披露。通用预训练网络(如 ImageNet 权重)可视为不构成外部数据,但也需披露。

Q34:有基线吗?
有,MONAI 团队提供基线分割模型,托管于 Project-MONAI/tutorials 的 3d_segmentation/challenge_baseline。

F. 许可与获取

Q35:数据许可是什么?
双轨:影像 CC BY 4.0(需署名),注释 CC0(无需强制署名)。

Q36:怎么获取数据?
grand-challenge.org 在线注册 → 签署并归档数据访问协议 → 经 API 访问。

Q37:比赛结束了还能拿数据吗?
能。后挑战阶段(Post-challenge phase)持续开放,测试数据保留用于未来挑战。

Q38:怎么署名?
用官方 Data Citation(Roth et al. 2021 Res Sq)+ TCIA 的 CT 影像引用 + TCIA 平台引用,详见 §6.2。

G. 库内与辨析

Q39:它和 covid-ct-lung(1041) 是一回事吗?
不是。covid-ct-lung 是 Ma Jun 等的 20 例体数据肺 CT,规模/来源/许可都不同。

Q40:它和 mosmeddata(297) 的区别?
mosmeddata 是莫斯科 CT 的五级严重度标签数据集(分类),COVID-19-20 是病灶掩膜分割数据集(体素级)。

Q41:它和 bimcv-covid(207)、covid-ct(307) 呢?
都是不同资源:bimcv-covid 是西班牙 BIMCV 的多模态 COVID 影像库;covid-ct 是库内另一 COVID CT 条目。详见 §9。

Q42:为什么反复强调"坑点"?
因为 COVID-19-20 的原始文档本身带着双轨许可、排行榜口径差异、来源域偏移、注释噪声自曝等易误用点——这些正是 AI-Ready 质检要抓的典型,条目把它们全部存照并给出处理口径。

事实清单(硬事实 46 条)

  1. 官方全称:COVID-19 Lung CT Lesion Segmentation Challenge - 2020。
  2. 官方简称:COVID-19-20。
  3. 任务头称法:CCP-COVID19 Lung CT Lesion Segmentation Challenge。
  4. 官方域名:covid-segmentation.grand-challenge.org。
  5. 组织方:NVIDIA + NIH Clinical Center + Children’s National Hospital。
  6. 数据提供:The Multi-national NIH Consortium for CT AI in COVID-19。
  7. 数据托管:NCI TCIA(The Cancer Imaging Archive)。
  8. 平台托管:grand-challenge.org。
  9. 总影像数:295 幅。
  10. 训练集:199 幅(来源 A)。
  11. 验证集:50 幅(来源 A)。
  12. 测试集:46 幅(来源 A 23 + 来源 B 23)。
  13. 来源 A:CT Images in COVID-19,272 幅,中国。
  14. 来源 B:COVID-19-AR,23 幅,美国。
  15. 来源 A TCIA DOI:10.7937/tcia.2020.gqry-nc81。
  16. 影像模态:无静脉造影增强胸部 CT。
  17. 患者条件:RT-PCR 阳性(SARS-CoV-2)。
  18. 标注类别:单类 COVID-19 肺病灶。
  19. 标注流水线阶段 1:NVIDIA/NIH 模型自动预分割。
  20. 标注流水线阶段 2:board-certified 放射科医师 ITKSnap 修正。
  21. 预分割模型标识:nvidia:clara_train_covid19_ct_lesion_seg。
  22. 标注工具:ITKSnap。
  23. 标注要求:3D 一致性。
  24. 官方自曝局限:注释存在潜在噪声。
  25. 噪声性质:训练/验证/测试三集相似。
  26. 评测指标 1:Dice。
  27. 评测指标 2:Normalized Surface Dice(NSD)。
  28. NSD 阈值:1mm。
  29. 评测指标 3:Normalized Absolute Volume Error(NAVE)。
  30. 排名方案:Medical Segmentation Decathlon(MSD)统计方案。
  31. 排行榜口径:仅按 Dice。
  32. 排行榜与最终排名:不一致。
  33. 注册团队数:1,096。
  34. 完成验证阶段:225 支。
  35. 完成测试阶段:98 支。
  36. 训练+验证数据发布:2020-11-02。
  37. 测试数据发布:2020-12-08。
  38. 测试结果提交截止:2020-12-11。
  39. 测试结果公布:2020-12-18。
  40. 最终排名公布:2021-01-11。
  41. 验证提交频率:每日一次。
  42. 测试提交:取最后一次。
  43. 影像许可:CC BY 4.0。
  44. 注释许可:CC0。
  45. 访问方式:注册 + 数据访问协议 + API。
  46. 正式论文:Medical Image Analysis 82 (2022): 102605,doi:10.1016/j.media.2022.102605,PMID 36156419。

术语表(32 条)

  1. COVID-19-20:COVID-19 Lung CT Lesion Segmentation Challenge - 2020 的简称,本文主体。
  2. CCP-COVID19:任务头对该挑战赛的写法,指同一事物。
  3. SARS-CoV-2:新型冠状病毒,数据集患者均为此病毒 RT-PCR 阳性。
  4. RT-PCR:逆转录聚合酶链反应,确诊新冠的核酸检测方法。
  5. 磨玻璃影(Ground Glass Opacity, GGO):COVID-19 在 CT 上最常见的表现,多灶、双侧、外周分布。
  6. 体素(Voxel):三维像素,分割掩膜的最小单元。
  7. 体素级分割(Voxel-level Segmentation):对体数据每个体素分类为病灶/背景。
  8. 3D 一致性(3D Consistency):掩膜在三个正交方向上连续合理。
  9. Dice 相似系数(DSC):体积重叠指标,2|A∩B|/(|A|+|B|)。
  10. NSD(Normalized Surface Dice):边界一致性指标,本文阈值 1mm。
  11. NAVE(Normalized Absolute Volume Error):病灶体积一致性指标。
  12. MSD(Medical Segmentation Decathlon):提供多指标组合排名方案的十项全能分割挑战赛。
  13. Leaderboard(排行榜):在线实时评分榜,本文仅按 Dice。
  14. ITKSnap:开源三维医学图像分割工具,本文医师修正工作台。
  15. MONAI:Medical Open Network for AI,医学影像深度学习框架,本文提供基线。
  16. nnU-Net:自配置 U-Net,分割挑战赛常用强基线。
  17. U-Net:编码器-解码器分割网络,医学图像分割经典架构。
  18. TCIA(The Cancer Imaging Archive):美国 NCI 的公开医学影像库。
  19. NCI:美国国家癌症研究所。
  20. NIH:美国国立卫生研究院。
  21. NGC(NVIDIA GPU Cloud):NVIDIA 模型与容器目录,预分割模型发布于此。
  22. Grand Challenge:医学图像挑战赛托管平台。
  23. seen / unseen data source:来源 A / 来源 B 的泛化评测口径。
  24. 域偏移(Domain Shift):训练域与测试域分布不一致,本文来源 A/B 差异即此。
  25. NIfTI:神经影像信息学技术倡议格式,3D 医学图像常用格式。
  26. HU(Hounsfield Unit):CT 值单位,空气约 -1000、松质骨约 750。
  27. 观察者间变异(Interobserver Variability):不同专家注释间的一致性度量,本文用作 AI 基准。
  28. 注释噪声(Annotation Noise):标注中系统性/随机误差,官方自曝存在。
  29. 预标注(Pre-annotation):用模型先自动分割再人工修正的加速法。
  30. CC BY 4.0:署名即可自由使用的知识共享许可,本文影像许可。
  31. CC0:公共领域奉献许可,本文注释许可。
  32. 数据访问协议(Data Access Agreement):获取数据前须签署归档的合规文件。

附录

附录 A:条目信息速查卡

项 值
条目 slug covid-segmentation
官方名 COVID-19 Lung CT Lesion Segmentation Challenge - 2020
别名 COVID-19-20 / CCP-COVID19
类型 挑战赛 + 数据集 + 基准
组织方 NVIDIA + NIH + Children’s National Hospital
影像数 295(199/50/46)
来源 A 中国 272 + B 美国 23
模态 无造影增强胸部 CT
标注 单类 COVID-19 肺病灶掩膜
指标 Dice / NSD(1mm) / NAVE
排名 MSD 组合方案
许可 影像 CC BY 4.0 + 注释 CC0
获取 注册 + 数据访问协议 + API
正式论文 Med Image Anal 2022;82:102605
许可 URL https://covid-segmentation.grand-challenge.org/

附录 B:DAIMS 评估全表

维度 评分(1-10) 依据
D 可发现性 8 官网+TCIA+论文+MONAI 基线多渠道可检索
A 可获取性 6 后挑战阶段开放但需注册+协议+API
I 可互操作 8 NIfTI 标准 + 体素掩膜 + 主流库兼容
M 元数据质量 8 规模/划分/指标/许可/流水线全文档化,自曝局限
S 可持续性 7 TCIA + grand-challenge 双平台,后挑战持续开放
综合 7.4/10(中上) 文档与许可清晰,获取门槛拖低可获取性

附录 C:逐项证据链自证

关键数字 来源 位置
295 幅 = 199+50+46 官方 Data 页 + 论文摘要 grand-challenge Data 页 / PMC8183044
来源 A 272 / 来源 B 23 论文 Results(Data sources) PMC8183044
训练 199 / 验证 50 官方 Data 页 + 论文摘要 同上
测试 46(23+23) 论文 Results PMC8183044
1,096 团队 / 225 / 98 论文摘要 PMC8183044
Dice/NSD/NAVE 定义 论文 Evaluation metrics PMC8183044
NSD 1mm 阈值 论文 Evaluation metrics PMC8183044
MSD 排名方案 官方页排名说明 grand-challenge 官网
排行榜仅按 Dice 官方页明示 grand-challenge 官网
影像 CC BY 4.0 官方 Data 页 grand-challenge Data 页
注释 CC0 官方 Data 页 grand-challenge Data 页
自动预分割+医师修正 官方 Data 页 + 论文方法 同上
ITKSnap + 3D 一致性 官方 Data 页 grand-challenge Data 页
注释噪声自曝 官方 Data 页 grand-challenge Data 页
Timeline 五节点 官方页 Timeline grand-challenge 官网
正式论文 DOI 期刊记录 doi:10.1016/j.media.2022.102605

附录 D:数据获取决策树

COVID-19-20 数据获取
├── 目的:训练/评测分割模型
│   └── 注册 grand-challenge.org
│       └── 签署并归档数据访问协议
│           └── API 拉取 295 幅 CT + 掩膜
│               ├── 训练:199 幅(来源 A)
│               ├── 调参:验证 50 幅(来源 A)
│               └── 报告:测试 46 幅(来源 A 23 + B 23)
├── 目的:只要 CT 影像本体
│   └── TCIA 取 CT Images in Covid-19 (doi:10.7937/tcia.2020.gqry-nc81)
│       └── 按 CC BY 4.0 署名
└── 目的:只要标注/掩膜
    └── 仍须经挑战赛渠道(注释 CC0,但仍需注册+协议)

附录 E:三指标计算公式表

指标 公式/定义 方向 敏感维度
Dice 2·\ S_gt∩S_pred\ / (\
NSD(1mm) 真实表面 1mm 邻域内预测表面点占比 越大越好 边界精度
NAVE \ V_pred−V_gt\ /V_gt(排名取负)

附录 F:挑战赛规则速查

规则 内容
方法限制 仅(半)自动化,禁人工标注
预训练限制 禁预训练 COVID 病灶分割网络(如 Clara_train_covid19_ct_lesion_seg)
外部数据 允许,须在摘要披露
通用预训练 允许(如 ImageNet),须披露
验证提交 每日一次
测试提交 取最后一次,不显示排行榜
测试入场 仅限已提交验证结果的团队
摘要长度 Evaluation 部分 ≤250 词
重复注册 禁止

附录 G:库内 COVID/影像条目对照表

slug rid 类型 与本条关系
covid-segmentation 待入库 挑战赛+分割数据集 本条
covid-ct-lung 1041 20 例体数据肺 CT 需消歧,不同资源
covid-ct 307 COVID CT 条目 需消歧,不同资源
bimcv-covid 207 西班牙 BIMCV 影像库 机构/内容不同
mosmeddata 297 莫斯科五级严重度 CT 标签体系不同(分类 vs 分割)
covid-19-radiography 217 COVID 胸片 模态不同(CXR vs CT)
covidx-cxr 197 COVID 胸片 模态不同
covid-19-sounds 436 COVID 声音数据 模态不同
chest-x-ray-segmentation 601 胸片分割 同为分割族,模态不同
sar-covid 705 COVID 影像/分割 同族对照

附录 H:时间线总表

日期 事件
2020-11-02 23:59 GMT 挑战赛启动,发布训练+验证集
2020-12-08 23:59 GMT 发布测试集
2020-12-11 23:59 GMT 测试结果与摘要提交截止
2020-12-18 公布测试结果(非最终排名)与决赛团队
2021-01-11 公布最终排名 + 前十团队线上直播
之后 后挑战阶段持续开放

附录 I:MONAI 基线骨架(代码)

# 3D COVID-19 肺病灶分割基线骨架(示意,非官方完整代码)
# 官方基线见 github.com/Project-MONAI/tutorials 3d_segmentation/challenge_baseline
import monai
from monai.transforms import (Compose, LoadImaged, EnsureChannelFirstd,
                              Spacingd, ScaleIntensityRanged, RandCropByPosNegLabeld,
                              RandFlipd, RandRotate90d)
from monai.networks.nets import UNet

# 1) 数据预处理:读取 NIfTI -> 重采样到各向同性 -> HU 归一化 -> patch 裁剪
train_transforms = Compose([
    LoadImaged(keys=["image", "label"]),
    EnsureChannelFirstd(keys=["image", "label"]),
    Spacingd(keys=["image", "label"], pixdim=(1.0, 1.0, 1.0), mode=("bilinear", "nearest")),
    ScaleIntensityRanged(keys=["image"], a_min=-1000, a_max=1000, b_min=0.0, b_max=1.0, clip=True),
    RandCropByPosNegLabeld(keys=["image", "label"], label_key="label",
                           spatial_size=(96, 96, 96), pos=1, neg=1, num_samples=4),
    RandFlipd(keys=["image", "label"], prob=0.1, spatial_axis=0),
    RandRotate90d(keys=["image", "label"], prob=0.1, max_k=3),
])

# 2) 模型:3D U-Net
network = UNet(spatial_dims=3, in_channels=1, out_channels=2,
               channels=(16, 32, 64, 128, 256), strides=(2, 2, 2, 2), num_res_units=2)

# 3) 损失:Dice + CrossEntropy(分割常用组合)
loss_function = monai.losses.DiceCELoss(softmax=True, to_onehot_y=True)

# 4) 推理:滑动窗口(SlidingWindowInferer)输出整幅体素级掩膜
#    注意掩膜须与输入 CT 同尺寸(挑战赛提交要求)

附录 J:评测复现检查清单

  • [ ] 确认使用的是哪个划分:训练 199 / 验证 50 / 测试 46。
  • [ ] 确认引用的是哪个分数:leaderboard Dice / 验证分 / 测试分 / MSD 组合分(坑 4)。
  • [ ] 确认测试集包含来源 A 与来源 B 各 23 幅(跨域)。
  • [ ] 确认未使用预训练 COVID 分割网络(否则成绩不可比,坑 8)。
  • [ ] 确认掩膜与图像尺寸对齐后方可计算 Dice/NSD/NAVE。
  • [ ] NSD 使用 1mm 阈值。
  • [ ] 若做体积量化报告,优先报告 NAVE 并说明口径。

附录 K:引用模板(BibTeX)

@article{roth2022rapid,
  title   = {Rapid artificial intelligence solutions in a pandemic---The COVID-19-20 Lung CT Lesion Segmentation Challenge},
  author  = {Roth, Holger R and Xu, Ziyue and Tor-D{\'i}ez, Carlos and Sanchez Jacob, Ramon and
             Zember, Jonathan and Molto, Jose and Li, Wenqi and Xu, Sheng and Turkbey, Baris and
             Turkbey, Evrim and others},
  journal = {Medical Image Analysis},
  volume  = {82},
  pages   = {102605},
  year    = {2022},
  doi     = {10.1016/j.media.2022.102605},
  pmid    = {36156419}
}

@misc{ctimagescovid19,
  author    = {An, Peng and Xu, Sheng and Harmon, Stephanie A and others},
  title     = {CT Images in Covid-19},
  publisher = {The Cancer Imaging Archive},
  year      = {2020},
  doi       = {10.7937/tcia.2020.gqry-nc81}
}

附录 L:本文硬数字来源汇总

数字 出处
295 / 199 / 50 / 46 官方 Data 页 + 论文摘要
272(来源 A)/ 23(来源 B) 论文 Results
1,096 / 225 / 98 论文摘要
Dice / NSD / NAVE 论文 Evaluation metrics
1mm(NSD 阈值) 论文 Evaluation metrics
2020-11-02 等时间节点 官方 Timeline
CC BY 4.0(影像)/ CC0(注释) 官方 Data 页
10.1016/j.media.2022.102605 期刊记录(DKFZ/ORBilu/Heidelberg 三源)
10.7937/tcia.2020.gqry-nc81 官方 Data 页 TCIA 引用

尾注

  1. 本条目所有硬数字均来自官方 Data 页(covid-segmentation.grand-challenge.org/Data)、官方 Timeline、以及 Medical Image Analysis 82 (2022): 102605 论文(PMC8183044 预印本与期刊正式版),三源互证。凡官方页与论文表述有差异处,已在正文与坑点小节存照。
  2. 本条目对 DAIMS 的评分为基于公开文档的编辑评估,非官方发布。
  3. 库内互链点 rid 均以 DB url_name 反查确证(covid-ct-lung=1041、covid-ct=307、bimcv-covid=207、mosmeddata=297、covid-19-radiography=217、covidx-cxr=197、chest-x-ray-segmentation=601、sar-covid=705)。
  4. COVID-19-20 与 covid-ct-lung(1041)、covid-ct(307) 是不同资源,本条目已按 slug 消歧要求逐条对照(§9)。
  5. 后挑战阶段的当前实际可用性未逐项实测,按官方声明"持续开放、要求与第一阶段相同"记录,列为遗留待核项。
  6. 影像引用请遵循 CC BY 4.0 署名义务;注释引用可按 CC0 免强制署名,但学术惯例建议一并署名。
  7. 如有更新(如官方发布新排名方案、扩展数据、迁移平台),以官方页面最新状态为准。

附录 M:常见误用与正确说法对照

误用说法 正确说法
“COVID-19-20 是 CC BY 4.0 数据集” 影像 CC BY 4.0,注释 CC0,双轨
“排行榜排名就是最终排名” 排行榜仅按 Dice,最终排名用 Dice+NSD+NAVE 的 MSD 组合分
“训练用了中美两来源数据” 训练/验证仅来源 A(中国);来源 B(美国)仅测试
“它有一千多例 CT” 295 幅;1,096 是注册团队数而非影像数
“它是多类器官分割数据集” 单类:COVID-19 肺病灶掩膜
“295 幅等于 295 名唯一患者” 挑战赛口径如此表述,但原始 TCIA 患者计数口径可能不同
“它和 covid-ct-lung 是同一份数据” 不同资源:20 例体数据 vs 295 幅挑战赛数据
“可以用 Clara 新冠分割模型参赛” 挑战赛明确禁止预训练新冠分割网络

附录 N:机构与作者速查

机构 代表作者 角色
NVIDIA(美国 Bethesda) Holger R. Roth、Ziyue Xu、Wenqi Li、Dong Yang 等 组织、预分割模型、工程
NIH Clinical Center Sheng Xu、Baris Turkbey、Bradford Wood 等 数据、临床
Children’s National Hospital Marius G. Linguraru、Carlos Tor-Díez;RS/JZ/JM 组织、放射科终审注释
NCI TCIA —— 数据托管
DKFZ(德国) Fabian Isensee、Klaus H. Maier-Hein 参赛/方法(nnU-Net)
西北工业大学 Shishuai Hu、Yong Xia 参赛/方法
上海交通大学 Qinji Yu、Qikai Li 参赛/方法
白俄罗斯 UIIP Vitali Liauchuk、Vassili Kovalev 参赛/方法
卢森堡大学 Jan Sölter、Andreas Husch 参赛/方法
名古屋大学 Tong Zheng、Luyang Zhang 参赛/方法

附录 O:来源 A/B 对照卡

维度 来源 A 来源 B
名称 CT Images in COVID-19 COVID-19-AR
产地 中国 美国
幅数 272 23
用途 训练 199 + 验证 50 + 测试 23 仅测试 23
seen/unseen seen unseen
TCIA DOI 10.7937/tcia.2020.gqry-nc81 (TCIA 收录)

附录 P:复现环境建议

  • 框架:MONAI(官方基线同源)或 nnU-Net;
  • 预处理:NIfTI 读取 → 各向同性重采样 → HU 归一化;
  • 模型:3D U-Net / nnU-Net;
  • 损失:Dice + CrossEntropy;
  • 推理:滑动窗口输出整幅掩膜;
  • 评测:Dice / NSD(1mm) / NAVE,并对齐官方口径;
  • 算力:3D 分割显存需求高,建议 patch 训练 + 混合精度。

附录 Q:条目维护触发点

  • 官方 leaderboard 更新或迁移 → 补记 §4;
  • 后挑战阶段关闭或规则变更 → 更新 §6.4;
  • 论文被更正(勘误)或年份/DOI 变化 → 更新 §6.2 与事实清单;
  • 库内新增 COVID 影像条目 → 扩展 §9 家族图谱;
  • 出现基于本数据集的权威第三方评测 → 在 §7 增补。

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • mosmeddata — 共享标签:医学影像 / CT / 医学图像分割 / COVID-19
  • healthy-total-body-cts — 共享标签:医学影像 / CT / 医学图像分割 / 公共卫生与流行病学
  • segthor — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集
  • midrc-ricord — 共享标签:医学影像 / 公共卫生与流行病学 / COVID-19
  • sliver07 — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集
  • btcv — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集
  • toothfairy2 — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集
  • curvas — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集
  • toothfairy3 — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集
  • stsr — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集