信息速览
INFOBOX — ULS23 一屏速览
维度 内容 本质 3D 通用病灶分割挑战赛 + 训练/测试数据集 + 开源基线模型三合一(非单一纯数据集) 主管机构 Radboudumc Diagnostic Image Analysis Group(DIAG,荷兰奈梅亨) 组织者 Max de Grauw、Bram van Ginneken、Alessa Hering;合作方 NIH(Summers 组) 数据提供 Radboudumc + Jeroen Bosch Ziekenhuis(JBZ,荷兰斯海尔托亨博斯) 论文 Medical Image Analysis 2025;102:103525(doi:10.1016/j.media.2025.103525);arXiv:2406.05231 模态 胸-腹-盆 CT(chest-abdomen-pelvis),VOI 256×256×128 体素 训练规模 38,693 病灶(新颖标注 + 10 个聚合公开数据集) 测试规模 775 病灶 / 284 患者(Radboudumc 368 + JBZ 407);最终测试 725/268 新颖标注 DeepLesion3D 743-750 + 骨 697-744 + 胰腺 120-124(双口径) 任务 单点/框提示下的 3D 病灶分割(模拟放射科医生点击) 指标 SP(Dice) + LAE/SAE(SMAPE) + SCS;CS = 0.8·SP+0.05·LAE+0.05·SAE+0.1·SCS 基线 nnUnet-ResEnc+SS 半监督:Dice 0.703 ± 0.240,CS 0.729 许可 CC BY-NC-SA 4.0(非商业+署名+相同方式共享) 平台 Grand Challenge(type II 挑战);数据 Zenodo;代码 GitHub
§0 导读:这个数据集解决什么问题
一句话定位:ULS23(Universal Lesion Segmentation Challenge '23)是 Radboudumc 诊断图像分析组(DIAG)主导发起的 3D 通用病灶分割挑战赛及其配套基准数据集——它让模型学会在胸-腹-盆 CT 上分割任意类型的病灶(淋巴结、骨、肝、肺、肾、胰腺、结肠、腹膜、乳腺等),而不只是某一器官的专属肿瘤。
0.1 它要解决的临床痛点
- 现代肿瘤随访依赖 RECIST 指南(Response Evaluation Criteria In Solid Tumors)对目标病灶做长/短轴测量,一只患者往往跨多器官、多时间点,人工测量耗时且观察者间变异大。
- 已有挑战赛多聚焦单器官:LiTS(肝)、KiTS(肾)、LNDb(肺结节)、MDSC——但这些模型泛化不到罕见病灶类型(如卵巢癌、脾脏病灶)。
- 通用病灶分割(ULS)模型需要多类型、大规模、3D 标注的数据才能训练,而公开资源长期不足。
0.2 ULS23 的三点贡献(论文 Contributions 原文口径)
- 收集大规模多样训练集——新发布针对胰腺与骨病灶的两个数据集,并聚合 10 个含病灶分割成分的公开数据集为单一仓库;
- 建立可复现基准——用两医疗中心的临床相关病灶精心构建测试集,提升 ULS 研究的可复现性;
- 开源基线模型——开发并公开半监督 ULS 基线模型,附带算法容器。
0.3 阅读本条目须知(三条口径声明)
- 全文统计数字均出自论文(Medical Image Analysis 2025;102:103525)正文与 Table 1,以及 Zenodo README / Grand Challenge 官方页;双口径冲突处已在 §10 坑点与附录存照。
- ULS23 不是 DeepLesion:它复用 DeepLesion 的测量信息并重新做 3D 分割,是「复用 + 新标注」的挑战集/基准集,而非 DeepLesion 本体(后者是 32,735 病灶的全集)——详见 §9 库内关系。
- 检索时若把「ULS23」当作纯数据集名会漏掉它的挑战赛属性与基线模型;若把它等同 DeepLesion 则会张冠李戴(坑 1、坑 2)。
0.4 为什么 ULS23 值得单列一个条目
在医学影像数据集谱系里,ULS23 有三重身份叠加,正是它值得细读的原因:
- 临床命题独特:它回答的不是"如何分割肝肿瘤"这种单器官问题,而是"一个模型能否通吃胸腹盆所有病灶类型"——这是通用医学 AI 的核心命题之一。
- 数据工程复杂:它不是"采集—标注—发布"的直线流程,而是"复用旧数据(DeepLesion)+ 新标注(骨/胰腺)+ 聚合公开源(10 个数据集)"的三路拼接,理解其构成本身就是一堂数据工程课。
- 基准持续运行:它 2023 年启动、2026 年仍在更新排行榜,是一个"活"的基准,而非一次性发布的静态快照。
对检索者而言,ULS23 的价值不止于"能下载 3.8 万病灶",更在于它展示了一套在数据稀缺与类型多样之间权衡的可行范式。
0.5 条目组织说明
- §1 十问十答:快速建立整体认知;
- §2 数据构成与规格:三层来源、VOI 设计、双口径;
- §3 采集与构建方法:三条流水线的细节;
- §4 评估体系与基线模型:指标公式与基线成绩;
- §5 挑战赛运行机制:type II 与时间线;
- §6 获取与许可:三件资产的门与 AI-Ready 评估;
- §7 生态、谱系与影响:ULS 研究脉络;
- §8 使用指南:上手路径、训练配置、合规清单;
- §9 库内关系:重点消歧 ULS23 ≠ DeepLesion;
- §10 避坑清单:十个坑;
- §11 总结 + FAQ 48 问 + 事实清单 + 术语表 + 附录 + 尾注。
§1 数据集速览:十问十答
Q1:ULS23 到底是什么?
一个 2023 年启动的 3D 通用病灶分割挑战赛,同时产出一套训练数据集、一个公开测试基准与一个开源基线模型。它由 Radboudumc DIAG 主办,运行在 Grand Challenge 平台上。
Q2:ULS 三个字母指什么?
Universal Lesion Segmentation(通用病灶分割)——核心诉求是让一个模型泛化到多种病灶类型,而非每个器官训一个专用模型。
Q3:23 指什么?
2023 年。挑战于 2023-10-29 发布训练数据,2024 年主赛(2404-04-09 结束)。注意它是 ULS 系列的某一届口径,与往届 ULS19/ULS22 的关系论文未述(见坑 6)。
Q4:它有多少病灶?
论文摘要口径:训练集 38,693 病灶,测试集 775 病灶 / 284 患者。训练集由新颖标注(DeepLesion3D + 骨 + 胰腺)与 10 个聚合公共数据集共同构成。
Q5:它和 DeepLesion 什么关系?
ULS23 的 ULS23_DeepLesion3D 子集复用了 DeepLesion 的病灶测量信息,由学生做 3D 轴位分割(三重复取多数投票)。但 ULS23 ≠ DeepLesion——DeepLesion 是 2017 年发布、含 32,735 病灶的检测数据集,ULS23 是 2023 年的 3D 分割挑战集(坑 2)。
Q6:谁做的?
Radboud University Medical Center(Radboudumc)诊断图像分析组(DIAG)的 Max de Grauw、Bram van Ginneken、Alessa Hering;合作方为美国 NIH(Mathai Tejas、Pritam Mukherjee、Ronald Summers)。
Q7:数据从哪来?
三条来源:(1)复用 DeepLesion 做 3D 重分割;(2)Radboudumc 医院新采集标注的骨与胰腺病灶;(3)聚合 10 个公开数据集(KiTS21/LiTS/NIH-LN/LIDC-IDRI/LNDb/MDSC 等)。
Q8:任务怎么定义?
给定一个 256×256×128 体素的 VOI(其中心必有一个病灶体素,用于模拟放射科医生的"点击"),模型输出该病灶的 3D 分割掩码,并可推长/短轴直径。
Q9:怎么评测?
四项指标:分割性能 SP(Sørensen–Dice)、长/短轴测量误差 LAE/SAE(SMAPE)、点击鲁棒性 SCS(分割一致性分数),加权得挑战分数 CS = 0.8·SP + 0.05·LAE + 0.05·SAE + 0.1·SCS。未使用 NSD(坑 3)。
Q10:怎么获取?许可是什么?
训练数据经 Zenodo 公开下载(Part 1-6 分卷),标注与代码在 GitHub;测试集为 type II 挑战形式不公开分发。数据许可 CC BY-NC-SA 4.0(非商业+署名+相同方式共享)。
§2 数据构成与规格
2.1 规模、来源与机构构成
ULS23 的数据不是一个单一来源的整块数据集,而是一个三层来源的拼接体。理解其构成是理解一切统计数字的前提。
| 层级 | 类别 | 病灶数 | Series | 机构/来源 |
|---|---|---|---|---|
| 新颖标注 | DeepLesion3D | 743(README 口径 750) | 743 | NIH(测量信息复用) |
| 新颖标注 | Radboudumc-Bone | 697(README 口径 744) | 151 | Radboudumc |
| 新颖标注 | Radboudumc-Pancreas | 120(README 口径 124) | 119 | Radboudumc |
| 聚合公开 | KiTS21 | 332 | 300 | 肾 |
| 聚合公开 | LiTS | 832 | 113 | 肝 |
| 聚合公开 | NIH-LN ABD | 557 | 85 | 腹部淋巴结 |
| 聚合公开 | NIH-LN MED | 375 | 90 | 纵隔淋巴结 |
| 聚合公开 | LIDC-IDRI | 2,236 | 750 | 肺 |
| 聚合公开 | LNDb* | 692 | 208 | 肺(不打包) |
| 聚合公开 | MDSC-Lung | 70 | 63 | 肺 |
| 聚合公开 | MDSC-Colon | 131 | 126 | 结肠 |
| 聚合公开 | MDSC-Pancreas | 283 | 281 | 胰腺 |
| 部分标注 | DeepLesion | 31,849 | 14,498 | 半监督用伪掩膜 |
| 部分标注 | CCC18 | 1,211 | 404 | 半监督用伪掩膜 |
上表为论文 Table 1 口径。新颖标注的双口径(743 vs 750、697 vs 744、120 vs 124)是本条目最需要留意的数字陷阱:Zenodo README 与 HuggingFace 镜像页记 750/744/124,论文 Table 1 记 743/697/120。差异源于 held-out 评估掩膜——Zenodo 附带 744 张骨影像,但公开掩码只有 697 个,51 张"无公开掩膜(held-out 评估病灶)"被排除在公开计数外(坑 4)。
测试集:论文摘要口径 775 病灶 / 284 患者,来自两个医疗中心:
- Radboudumc:368 病灶 / 152 患者
- Jeroen Bosch Ziekenhuis(JBZ,荷兰斯海尔托亨博斯):407 病灶 / 132 患者
其中划出验证集 50 病灶 / 16 患者(每中心各 25),验证集与测试集患者级无重叠;扣掉验证集后最终测试集为 725 病灶 / 268 患者。测试集性别分布 53.5% 男性 / 46.5% 女性,51.4% 的病灶在放射报告中明确标注为 baseline 测量。
2.2 VOI 规格与"点击模拟"设计
ULS23 的影像不是整幅 CT,而是围绕每个病灶裁剪的 VOI(volume-of-interest,感兴趣体积),规格固定为 256×256×128 体素,保持原始 scan spacing(不重采样)。
这一设计有两个关键约束:
- 中心必有病灶体素:VOI 采样时保证几何中心落在一个病灶体素内(从病灶掩膜内随机选取),用来模拟放射科医生的一次点击(click)。这决定了 ULS23 的任务本质是"点击提示下的 3D 分割",而非全自动检测。
- 单病灶原则:每个 VOI 仅含 1 个标注病灶;与中心病灶不相连的邻近病灶掩膜会被移除,避免多病灶混淆监督信号。
排除规则:轴径大于 VOI 尺寸的病灶被排除在测试集外;必要时以最小值 -1 填充以标识 padding 位置。加载数据时注意 MONAI 版本需 ≥1.2.0(旧版本有已知加载问题)。
2.3 病灶类型分布与代表性
ULS23 的核心主张是"通用"(universal),因此训练集的病灶类型刻意铺开。DeepLesion3D 子集的选样构成直接体现这一点:
- 200 abdominal(腹部)
- 100 bone(骨)
- 50 kidney(肾)
- 50 liver(肝)
- 100 lung(肺)
- 100 mediastinal(纵隔)
- 150 assorted(其他各类)
合计 750(README 口径;论文 Table 1 为 743)。选样方式为 hard-negative mining(难负样本挖掘):用一个标准 3D nnUnet(在完全标注公开数据上训练)预测病灶轴径,与 DeepLesion 参考测量对比,纳入表现最差的病灶——即模型最容易分割错的那些。这样选出来的病灶最能暴露模型短板。
测试集的病灶类型同样多样:肿大淋巴结,以及肾、结肠、胰腺、骨、肺、肝、腹膜、乳腺等。每个测试病灶都由临床语境识别为"目标病灶"(target lesion),确保多样性与临床相关性。
2.4 骨与胰腺:两个"难啃"的新子集
论文特别强调"针对传统上难以分割的胰腺与骨病灶引入两个新数据集":
- ULS23_Radboudumc_Bone:来自 Radboudumc 医院研究,按放射报告提及骨病选病灶,含硬化性(sclerotic)与溶骨性(lytic)两类骨病灶;由资深放射科医生 3D 分割。
- ULS23_Radboudumc_Pancreas:同样来自 Radboudumc,按放射报告提及胰腺病选病灶;胰腺数据由 Natália Alves、Megan Schuurmans、Henkjan Huisman 采集。
骨病灶解剖边界模糊、胰腺病灶软组织对比度低,二者长期是分割模型的失败高发区,这也是 ULS23 故意纳入它们的原因。
2.5 数据格式与文件组织
ULS23 训练数据在 Zenodo 分 6 个 Part 归档:
- Part 1:新颖标注数据(ULS23_DeepLesion3D、ULS23_Radboudumc_Bone、ULS23_Radboudumc_Pancreas)——zip 分卷约 4.3GB×3 + 3.0GB
- Part 2:处理后的数据(kits21、LIDC-IDRI、LiTS)
- Part 3:处理后的数据(MDSC task 6/7/10、NIH-LN、CCC18)
- Part 4/5/6:处理后的数据(DeepLesion)
标注(labels)与代码在 GitHub 仓库(MJJdG/ULS23 与 DIAGNijmegen/ULS23 两处引用),标注文件经 Git LFS 托管。数据加工代码在仓库的 data_processing 文件夹:裁剪病灶周围 VOI、用 GrabCut 制备半监督数据。
目录结构示意(据 README 转述):
ULS23/
├── annotations/ # 标注(Git LFS)
│ └── ULS23/
│ ├── novel_data/ # 新颖标注
│ │ ├── ULS23_DeepLesion3D/
│ │ │ └── labels/
│ │ ├── ULS23_Radboudumc_Bone/
│ │ │ └── labels/
│ │ └── ULS23_Radboudumc_Pancreas/
│ │ └── labels/
│ └── ... # 聚合源标注
├── baseline_model/ # 基线模型
│ └── nnunetv2/ # 需复制进本地 nnUnetv2 安装
├── GC_algorithm/ # Grand Challenge 容器化代码
└── data_processing/ # 数据加工代码(裁剪 + GrabCut)
2.6 Zenodo Part 1 文件清单与校验
Zenodo 记录(10.5281/zenodo.10035160)的 Part 1 附完整文件清单与 md5:
| 文件 | 大小 | 说明 |
|---|---|---|
LICENSE |
16.7 kB | CC BY-NC-SA 4.0 全文 |
README.md |
8.6 kB | 数据集说明 |
ULS23_Part1.z01 |
4.3 GB | 分卷压缩包分片 1 |
ULS23_Part1.z02 |
4.3 GB | 分卷压缩包分片 2 |
ULS23_Part1.z03 |
4.3 GB | 分卷压缩包分片 3 |
ULS23_Part1.zip |
3.0 GB | 主压缩包 |
分卷压缩需按序解压(z01/z02/z03 在前,zip 在主位),顺序错误会导致解压失败。每个文件均附 md5 校验值,下载后应逐项核对完整性。
2.7 与同类通用病灶分割资源的规模对照
把 ULS23 放到通用病灶分割的资源谱上:
| 资源 | 年份 | 病灶数 | 标注形态 | 3D 掩码 |
|---|---|---|---|---|
| DeepLesion | 2017 | 32,735 | 单切片长/短轴直径 | ❌ |
| ULS23(训练) | 2023 | 38,693 | 3D 分割掩码 + 伪掩膜 | ✅(子集) |
| ULS23(测试) | 2024 | 775 | 3D 金标准掩码 | ✅ |
ULS23 的相对优势在于规模 + 3D 金标准 + 多类型覆盖三者兼具;DeepLesion 规模更大但只有 2D 弱标注。这也是论文反复强调"既往研究 heavy 依赖 DeepLesion 但缺 3D 掩码"的背景。
2.8 硬数字口径速查表
为避免混引,把最常被引用的硬数字与其口径集中列出:
| 数字 | 值 | 口径来源 | 备注 |
|---|---|---|---|
| 训练总病灶 | 38,693 | 论文摘要 | 无逐项加总表 |
| 测试集 | 775 / 284pt | 论文摘要 | 全测试集 |
| 最终测试 | 725 / 268pt | 论文 | 扣验证集后 |
| 验证集 | 50 / 16pt | 论文 | 每中心 25 |
| Radboudumc 测试 | 368 / 152pt | 论文 | 中心 1 |
| JBZ 测试 | 407 / 132pt | 论文 | 中心 2 |
| DeepLesion3D | 743 或 750 | 论文 / Zenodo | 双口径 |
| 骨子集 | 697 或 744 | 论文 / Zenodo | 双口径(51 张 held-out) |
| 胰腺子集 | 120 或 124 | 论文 / Zenodo | 双口径 |
| 部分标注 DeepLesion | 31,849 | 论文 Table 1 | 半监督用 |
| 部分标注 CCC18 | 1,211 | 论文 Table 1 | 半监督用 |
| VOI 尺寸 | 256×256×128 | 论文 | 体素 |
| 基线 Dice | 0.703 | 论文 | nnUnet-ResEnc+SS |
| 基线 CS | 0.729 | 论文 | 加权总分 |
2.9 患者级划分与数据泄漏防范
对使用者而言,划分训练/验证时最需警惕的是患者级泄漏:ULS23 的 VOI 是围绕病灶裁剪的,一个患者/series 可能贡献多个病灶 VOI。因此:
- 划分必须按 patient / series 分组,不能按病灶随机划分——否则同一患者的病灶会同时出现在训练与验证集,导致乐观偏差;
- 论文自身即采用患者级划分(held-out 按患者随机 10%),验证集与测试集也保证患者级无重叠;
- HuggingFace 镜像页特别提示用
series_id做 patient-disjoint split——这是实践层面的重要提醒。
§3 采集与构建方法
ULS23 的构建方法分三条独立流水线,对应三类数据来源。这是全条目最核心的"方法论"章节。
3.1 DeepLesion3D:学生三重分割 + 多数投票
ULS23_DeepLesion3D 的构建流程:
- 来源测量信息:利用 DeepLesion 数据集已有的病灶测量信息(长/短轴直径,记录在单张轴位切片上)。
- Reader study 平台:在 GrandChallenge 上搭建 reader study,由受训的(生物)医学生做 3D 轴位分割——把 DeepLesion 的 2D 测量升级为 3D 掩码。
- 三重标注 + 多数投票:每个病灶分割三次(triplicate),取多数投票结果为最终标签,降低单人注释噪声。
- 难例选样(hard-negative mining):用标准 3D nnUnet 预测轴径,与 DeepLesion 参考测量比对,选出表现最差的病灶纳入,并按胸腹区域配比(200 腹部 / 100 骨 / 50 肾 / 50 肝 / 100 肺 / 100 纵隔 / 150 其他)。
这一流水线的价值在于把 DeepLesion 的"弱标注"(单切片直径)转化为"强标注"(3D 掩码),同时用难例挖掘保证子集对模型有挑战性。
3.2 Radboudumc-Bone / Pancreas:资深放射科医生单专家金标准
骨与胰腺子集不走众包流水线,而是资深放射科医生的 3D 分割:
- 从 Radboudumc 医院研究中,按放射报告提及骨/胰腺疾病筛出候选病灶;
- 一名经验丰富的放射科医生在 3D 中识别并逐病灶分割,形成单专家金标准;
- 骨子集涵盖硬化性与溶骨性两类。
相比 DeepLesion3D 的"学生三重+投票",单专家标注的质量与一致性更高,但规模受专家时间限制(骨 151 series、胰腺 119 series)。
3.3 公开数据集聚合:10 个来源统一为 ULS23 格式
论文称聚合了 8-9 个公开数据集(Table 1 列 9 行含 LNDb,MDSC 拆三项),统一加工为 ULS23 格式:
- 裁剪:围绕每个病灶裁剪 256×256×128 VOI;
- 掩码适配:将各来源原始标注(器官分割/病灶分割)转为统一格式;
- 半监督数据制备:对部分标注数据集(DeepLesion、CCC18)用 GrabCut 生成伪掩膜。
LNDb 特例:其原许可不允许再打包,故未纳入归档,只发布准备代码(data_processing),参与者需自行准备其病灶 VOI。
3.4 半监督伪掩膜:GrabCut 的用法
对只有 RECIST 双向测量、没有像素级掩码的部分标注数据(DeepLesion 31,849 病灶、CCC18 1,211 病灶),ULS23 用 GrabCut 算法(Rother et al.)生成 2D 伪掩膜:
- 依据 RECIST 双向测量定义四个种子区:PFG(probable foreground,可能前景)、PBG(probable background,可能背景)、FG(foreground,前景)、BG(background,背景);
- 在不同窗宽归一化下多次运行 GrabCut;
- 按测量误差择优——在 GrabCut 掩膜与拟合椭圆之间选误差更小的那个作为伪标签。
这批伪掩膜撑起了基线模型的半监督预训练阶段(详见 §4)。
3.5 测试集标注协议:NLP 筛选 + 六人标注 + 放射科医生裁定
测试集(775 病灶)的构建是全流程中最严谨的一段:
- NLP 筛选:用自然语言处理工具分析放射报告,识别出"因临床需要测量目标病灶"的患者;
- 六人标注:6 名具(生物)医学背景的标注者先定位并重新测量报告中指明的病灶;
- 专家审核:由 1 名经验 >10 年的放射科医生审核并按需修正测量;
- 三重分割 + 投票:据此做 3D 分割,每个病灶由 3 名标注者分割,取多数投票后由放射科医生复核修正。
这套"双中心取材 + 临床真实目标病灶 + 多标注者投票 + 专家裁定"的协议,是 ULS23 声称"可复现基准"的底气所在。
§4 评估体系与基线模型
4.1 四项评估指标
ULS23 的评估不走"只看 Dice"的简单路线,而是四项指标加权。这是本数据集在方法学上的一个重要设计。
| 指标 | 全称 | 含义 | 论文是否采用 |
|---|---|---|---|
| SP | Segmentation Performance | 预测 3D 掩膜与参考分割的 Sørensen–Dice 系数 | ✅ 主指标 |
| LAE | Long-axis Error | 长轴测量的对称平均绝对百分比误差(SMAPE) | ✅ |
| SAE | Short-axis Error | 短轴测量的 SMAPE | ✅ |
| SCS | Segmentation Consistency Score | 一致性分数:同一病灶用不同随机中心体素(模拟不同点击位置)生成 VOI,比较重对齐后掩膜的 Dice | ✅ |
| CS | Challenge Score | 加权总分 | ✅ |
| NSD | Normalized Surface Dice | 表面 Dice | ❌ 未采用 |
| Detection F1 | — | 检测 F1 | ❌ 未采用 |
挑战分数公式:
CS = 0.8 × SP + 0.05 × LAE + 0.05 × SAE + 0.1 × SCS
即分割质量(SP)占绝对权重 0.8,长/短轴测量精度各占 0.05,点击鲁棒性(SCS)占 0.1。
SMAPE 定义:
$$\text{SMAPE} = \frac{1}{n}\sum_{i=1}^{n}\frac{|\hat{y}_i - y_i|}{|\hat{y}_i| + |y_i|}$$
其中 $\hat{y}_i$ 为预测直径、$y_i$ 为参考直径。
SCS 的意义:由于 ULS23 的任务是"点击提示下分割",模型对点击位置的鲁棒性至关重要。SCS 通过在同一病灶内换不同中心体素、重新对齐后算 Dice,衡量"换个点会不会崩"。
关键存照(坑 3):部分任务书/二手描述把 ULS23 的指标写成"Dice/NSD",但论文实际未使用 NSD(Normalized Surface Dice),也未用 Detection F1。本条目全文按论文口径(Dice + SMAPE + SCS),NSD 之说已在 §10 与附录存照。
4.2 基线模型:nnUnet 半监督残差编码器
ULS23 的主基线是一个基于 nnUnetv2 框架改造的半监督模型(nnUnet-ResEnc+SS)。其技术要点:
- 骨干:残差编码器(ResEnc)版本的 nnUnet,遵循 nnU-Net 自适应配置哲学;
- 半监督策略:先在弱标注数据(GrabCut 伪掩膜,即 DeepLesion/CCC18 部分标注)上预训练,再在完全标注数据上微调;
- 代码改动:仓库提供少量必要改动——
no_resampling_data_or_seg_to_shape(阻止重采样的 dummy 函数,在 plans 文件中调用)、额外的 trainer 类(支持更多 epoch 与更小初始学习率); - 权重:最佳基线模型的权重与算法容器存于 Zenodo,可直接对 GrandChallenge 上的新数据使用。
4.3 基线结果(论文口径)
| 配置 | 平均 Dice | CS | 长轴 SMAPE | 短轴 SMAPE | SCS |
|---|---|---|---|---|---|
| nnUnet-ResEnc+SS(半监督) | 0.703 ± 0.240 | 0.729 | 11.2% ± 15.8% | 12.0% ± 15.9% | 0.787 ± 0.252 |
| 同上 + TTA | 0.715 ± 0.237 | — | — | — | — |
| 标准自动配置 nnUnet | 0.651 ± 0.253 | — | — | — | — |
细分口径(论文 Table 3 相关):
- 全测试集:Dice 0.703
- FSUP(完全监督子集):Dice 0.714
- PSUP(部分监督子集):Dice 0.631
即模型在完全标注数据上表现更好(0.714),在仅部分标注/更难的数据上较差(0.631),差距约 0.08 Dice。半监督策略相较标准配置带来了约 0.05 Dice 的提升(0.703 vs 0.651)。
4.4 推理速度与算力约束
- 推理速度:不使用 TTA 时,NVIDIA RTX2080 Ti 上单 VOI 推理 < 2 秒;
- 挑战算力限制:提交容器运行于 NVIDIA T4 GPU(16GB VRAM)、8 vCPU、32GB RAM;
- 时间限制:单任务最长 9 分钟,需对 100 个病灶跑完整推理管线。
按 9 分钟 / 100 病灶折算,单病灶预算约 5.4 秒——比"单 VOI 2 秒"宽松,但需预留容器启动、数据加载与后处理开销。设计模型时若单病灶耗时接近 5 秒,务必做实测。
4.5 为什么用这套指标而非"只看 Dice"
传统分割挑战常以单一 Dice 排名,但 ULS23 采用四项加权,背后有明确的临床动机:
- **SP(Dice)**是分割质量的核心,权重 0.8,绝对主导;
- LAE / SAE(SMAPE)各占 0.05——因为临床上真正被读片医生使用的是长/短轴直径(RECIST 的测量量),分割得"像"不代表测"准";
- SCS 占 0.1——因为任务是点击提示,模型必须对点击位置鲁棒,换个点就崩的模型临床不可用。
这套设计把"分割像不像"(SP)、“测量准不准”(LAE/SAE)、“点击稳不稳”(SCS)三个临床关切编码进单一分数,是 ULS23 在评测方法学上的一个贡献点。
4.6 与表面距离类指标的关系(补充说明)
值得注意的是,许多 3D 分割挑战近年改用 NSD(Normalized Surface Dice) 或 HD95(95% Hausdorff Distance) 等表面距离指标,因为它们对边界误差更敏感。ULS23 未采用这类指标(坑 3),仍以体积重叠 Dice 为主。这对使用者的启示:
- 若你需要在 ULS23 之外补充表面距离评估,需自行实现,因为论文不提供;
- 论文口径下"高 Dice"不完全等价于"高表面精度",边界敏感的临床任务需留意;
- 引用 ULS23 基线数字时,只能引 Dice/SMAPE/SCS,不能"顺带"引 NSD。
§5 挑战赛运行机制
ULS23 不只是一个静态数据集,而是一个持续运行的在线挑战赛。其机制设计值得单列一节。
5.1 Type II 挑战形式
ULS23 采用 type II challenge 形式:参与者不能拿到测试集,只能提交 Docker 容器(算法封装),由平台在私密测试集上运行评分。这一设计的好处是:
- 测试集不公开分发,可长期作为基准反复使用,避免数据泄漏与过拟合;
- 保证不同提交在完全相同的算力与数据条件下比较;
- 结束后仍可继续提交(“re-opened the test leaderboard for new submissions”,2025-03-28 公告)。
代价是研究者无法本地复现测试集评估,只能依赖平台反馈。
5.2 三类挑战部署模型的对照
为帮助理解 ULS23 的定位,对比 Grand Challenge 的挑战分类:
| 类型 | 测试集是否可见 | 评测方式 | 代表 |
|---|---|---|---|
| Type I | 可见 | 自行评测 + 上传结果 | 多数老式挑战 |
| Type II | 不可见 | 提交容器在私服评测 | ULS23 |
| Type III | 部分可见 | 分阶段释放 | 少量挑战 |
ULS23 选择 type II,正是为了"长期稳定的可复现基准"——测试集一旦公开就会被反复拟合,失去基准意义。
5.3 关键时间线
| 日期 | 事件 |
|---|---|
| 2023-10-29 | 发布训练数据 |
| 2024-02-01 | 开放验证榜(validation leaderboard) |
| 2024-03-17 | 开放测试集提交 |
| 2024-04-09 | 主赛结束,公布前三名(需击败基线) |
| 2025-03-28 | 挑战赛与基线模型论文发表于 MEDIA;重开测试榜 |
| 2026-10-11 | 新开两个延长推理时限(至 2h)的 leaderboard;新增 LesionLocator、nnInteractive 结果 |
提交次数限制:最终评估阶段每人仅允许 1 次成功提交(防止对测试集过拟合)。
5.4 排行榜可见的算法生态
截至 2026-10-11 的公告,leaderboard 上除组织方基线外,还可见 LesionLocator 与 nnInteractive 等方法的结果。这反映了 ULS23 已从"一次性挑战赛"演化为长期在线的通用病灶分割基准站。
5.5 验证榜与测试榜的区别
ULS23 提供两级榜:
- 验证榜(validation leaderboard):2024-02-01 开放,反馈更频繁,适合调参阶段;验证集 50 病灶 / 16 患者;
- 测试榜(test leaderboard):2024-03-17 开放,主赛评估用;最终阶段每人 1 次成功提交。
两级榜的设计让参与者在调参期可以多次评估,而最终成绩用受限提交保证公平。这也意味着:论文/报告里引用的"测试集 Dice"应特指测试榜口径,验证榜成绩不可混称。
5.6 挑战赛的长期运营意义
ULS23 选择持续运营(而非"赛完即散"),有三层意义:
- 基准新鲜度:新方法(如 2026 年上榜的 LesionLocator/nnInteractive)可持续对照,基准不过时;
- 社区积累:排行榜成为一个公开的方法学档案,反映 ULS 领域的技术演进;
- 复现锚点:任何人可用同一测试集与同一基线做严格对照,消除了"各说各话"的横向比较障碍。
§6 获取与许可
6.1 三件资产、三种获取方式
| 资产 | 获取方式 | 位置 |
|---|---|---|
| 训练数据(影像) | 公开直链下载(分卷 zip) | Zenodo 记录 10035160 / 10035161 |
| 标注(labels)与代码 | 公开直链(Git LFS) | GitHub MJJdG/ULS23、DIAGNijmegen/ULS23 |
| 基线模型权重 | 公开直链 | Zenodo |
| 测试集 | 不可获取(type II) | 仅经 Grand Challenge 容器提交评估 |
| LNDb 子集 | 不可直取 | 仅提供准备代码 |
Zenodo Part 1 文件清单示例(README 口径):ULS23_Part1.z01/z02/z03 各约 4.3GB、ULS23_Part1.zip 约 3.0GB、README.md(8.6KB)、LICENSE(16.7KB)。全部文件附 md5 校验值。
6.2 许可条款细读
数据集许可:CC BY-NC-SA 4.0(Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International)。拆解:
- BY(署名):使用时须注明出处;
- NC(非商业性使用):不得用于商业目的——训练商用模型、集成到商业产品前须另行洽谈;
- SA(相同方式共享):衍生作品(含再分发的加工数据)须以相同许可发布。
LNDb 例外:其原许可不允许重新打包数据,因此 LNDb 影像不在 ULS23 归档内,只发布准备代码。引用时说"ULS23 含 LNDb 692 病灶"需注明该子集不可直接获取。
论文本体:Medical Image Analysis(Elsevier)开放获取;arXiv 预印本 2406.05231。
6.3 AI-Ready 评估
以库内 AI-Ready 检查单过一遍:
- 机器可读元数据:论文开放获取全文 + Zenodo 结构化记录 + Grand Challenge 官方页 + GitHub README——良好。
- 公开直链:训练数据、标注、代码、基线权重均有公开直链(Zenodo + GitHub)——AI-Ready 加分项;测试集为 type II 不可取,但对基准类数据集属预期设计而非缺陷。
- 许可明确性:CC BY-NC-SA 4.0 明确,但 NC 条款对商业用途设限,SA 条款约束衍生数据许可——使用者需自行判断合规边界。
- 可复现性:基线模型开源 + 容器化提交流程 + 数据分卷 md5——高。测试集不可本地复现是 type II 的固有代价。
- 文档自洽:新颖标注数量存在 Zenodo/论文双口径(坑 4);训练总数 38,693 无逐项加总表(坑 5)——自动化抓取需指定口径。
综合:AI-Ready 等级"较高"——三件资产(训练数据/标注代码/基线模型)均有公开直链,文档质量高于均值;测试集不可取属基准设计的合理取舍,NC 许可是唯一实质约束。相较"纯注册墙"或"请求制"数据集,ULS23 的可获取性明显更好。
6.4 与库内可获取性光谱的对照
| 档位 | 库内参照 | ULS23 对应 |
|---|---|---|
| 注册墙(最严) | LMC2(rid 531) | — |
| 请求制 | PANDA-PLUS 掩码型 | — |
| 平台托管(Zenodo) | TopBrain(rid 632) | 训练数据 + 基线权重 |
| Registry 收录 | AWS Registry 型 | — |
| 公开直链 | HF/Zenodo 直链型 | Zenodo 数据 + GitHub 标注代码 |
ULS23 的特色在于"数据-标注-模型三位一体":不仅给数据,还给标注、给代码、给基线模型权重,构成一个闭环的"下载即可训练"资源。这在库内挑战赛条目中属于完整度较高的类型。
6.5 下载实操注意
- Zenodo Part 1 分卷解压:需按
z01 → z02 → z03 → zip顺序,用支持分卷的归档工具(如7z x ULS23_Part1.zip);顺序错误会解压失败; - md5 校验:每个文件附 md5,下载后逐项核对(大数据集建议校验,避免传输损坏);
- Git LFS:GitHub 上的标注是 LFS 指针文件,直接 clone 得到的是指针而非掩码,需先安装
git lfs再git lfs pull; - 体量预估:Part 1 约 16 GB(4.3×3 + 3.0),全部 6 个 Part 体量更大,务必预留磁盘;
- 按需下载:若只关注新颖标注,只下 Part 1 即可;聚合源(Part 2-6)按研究需要选择性下载。
6.6 使用许可的常见误读
| 误读 | 事实 |
|---|---|
| “CC 许可就能随便用” | CC BY-NC-SA 含 NC(非商业)与 SA(相同方式共享)约束 |
| “标注和影像是同一许可” | 数据集整体 CC BY-NC-SA 4.0;LNDb 子集不在内(仅准备代码) |
| “测试集也能下” | 测试集 type II 不公开分发 |
| “用了 ULS23 训的模型就归我” | 训练数据许可约束模型分发边界,需自行确认 |
6.7 引用与署名建议
- 引用数据集:注明 ULS23 Challenge Public Training Dataset(Zenodo doi:10.5281/zenodo.10035160)与许可 CC BY-NC-SA 4.0;
- 引用挑战与基线:引论文(Medical Image Analysis 2025;102:103525);
- 若使用了聚合源(如 KiTS21/LiTS),建议同时引用其原始出处(cite 上游);
- 署名是 BY 条款的硬要求,且 SA 条款要求衍生数据用相同许可。
§7 生态、谱系与影响
7.1 ULS 研究的谱系
ULS23 不是凭空出现,它站在一条研究脉络上。论文将其定位为首个公开的 3D 通用病灶分割基准(“establishing the first public benchmark for the evaluation of 3D universal lesion segmentation models”)。这条脉络的关键节点:
- 2017 — DeepLesion(Yan et al.):首个面向通用病灶检测/分割的大规模公开数据集,32,735 病灶 / 4,427 患者 / 10,594 研究,来自 NIH Clinical Center 的 PACS。但只有单张轴位切片上的长/短轴直径,没有 3D 掩码。
- 2018 — Cai et al.(MICCAI):从 2D RECIST 做 slice-propagated 3D 掩码生成的弱监督分割方法。
- 2020 — Tang et al.(MICCAI):one-click 病灶 RECIST 测量与分割。
- 2021 — Tang et al.(MICCAI):click-driven attention + dual-path connection 的病灶分割与 RECIST 直径预测。
- 2023-2025 — ULS23:把这些散落的弱监督方法学整合进一个统一、可复现、带 3D 金标准测试集的基准。
论文明确定性地说:既往 ULS 研究"多数heavy依赖 DeepLesion",而 DeepLesion 只有单切片直径、不适合 3D 分割模型;且既往评估用的 3D 掩码不公开,阻碍可复现性。ULS23 正是为修补这两点而生。
7.2 与器官特异挑战赛的关系
ULS23 不排斥器官特异挑战赛,而是聚合它们的数据:
- LiTS(Liver Tumor Segmentation):肝肿瘤——被聚合进 ULS23 训练集(832 病灶);
- KiTS19/KiTS21(Kidney Tumor Segmentation):肾肿瘤——KiTS21 被聚合(332 病灶);
- LNDb(Lung Nodule Database):肺结节子任务——被列入 Table 1(692 病灶)但因许可不打包;
- MDSC(Medical Segmentation Decathlon):肺/结肠/胰腺三个任务被聚合(70/131/283)。
ULS23 的逻辑是:通用模型需要吸收各器官的数据,把单器官挑战赛的成果汇聚成通用能力。这与"每个器官一个专用模型"的路线形成对照。
7.3 对下游的影响
- 可复现性提升:给了公开的 3D 金标准测试集(经容器评估),终结了"各研究自造测试集无法横向比较"的局面。
- 基线开源:半监督基线模型公开,降低了入场门槛,也让 ULS 研究有了统一对照。
- 排行榜持续演进:2026-10 增开延长推理榜并纳入 LesionLocator、nnInteractive 等新方法,使 ULS23 成为长期在线的评测站。
- 点击式工作流:强调"放射科医生点一下,模型分好"的临床交互范式,直接对接标注/随访工作流。
7.4 与 nnU-Net 框架生态的关系
ULS23 基线建立在 nnU-Net(no-new-U-Net) 框架之上,这是近年来医学分割领域的一个重要范式。理解这层关系有助于评估 ULS23 的方法学定位:
- nnU-Net 的哲学:不设计新网络,而是让一个基础 U-Net 自适应地从任务数据中提取超参数(patch size、batch size、归一化、损失等),在 Medical Segmentation Decathlon 上击败了当时绝大多数更复杂的模型;
- ULS23 的用法:论文明确"大量使用本框架开发基线",用 **ResEnc(残差编码器)**变体,并做半监督扩展;
- 启示:ULS23 的结果(半监督 nnUnet 0.703 vs 标准 nnUnet 0.651)说明——在无 3D 金标准的弱标注数据上做半监督预训练,比单纯调架构更有效。这与 nnU-Net"好基准胜过花架构"的精神一致。
7.5 竞争与互补资源
在通用/多器官病灶分割与检测方向上,与 ULS23 形成竞争或互补的资源包括:
| 资源 | 定位 | 与 ULS23 的关系 |
|---|---|---|
| DeepLesion | 检测/弱监督分割 | 上游,ULS23 复用其测量并 3D 重标注 |
| MeaFormer / 单点击 ULS 模型 | 单点击分割方法 | 下游,可在 ULS23 上评测 |
| LesionLocator / nnInteractive | 新式交互分割 | 同榜竞争(2026-10 leaderboard) |
| 器官特异挑战(LiTS/KiTS/MDSC) | 单器官分割 | 上游数据源,被聚合进 ULS23 |
ULS23 的独特生态位是"通用病灶 + 3D 金标准 + 点击交互 + 在线基准"四要素的结合,目前库内没有完全同构的条目。
7.6 方法学遗产
ULS23 留下的三条可迁移方法学经验:
- 弱标注→强标注的流水线可复用:DeepLesion 的单切片直径经"学生三重分割+多数投票+难例挖掘"升级为 3D 掩码,这套思路可迁移到其他只有测量值的临床数据;
- 半监督预训练的价值被量化:GrabCut 伪掩膜预训练 + 完全标注微调,带来约 0.05 Dice 提升,为"数据稀缺下的通用分割"提供了实证;
- 临床相关指标优先:用 SMAPE 度量长/短轴直径误差、用 SCS 度量点击鲁棒性,比只报 Dice 更贴近放射科实际使用场景——这套指标设计值得后续挑战借鉴。
§8 使用指南
8.1 快速上手路径
- 取数据:Zenodo 记录 10035160(含 Part 1 新颖标注与 README/LICENSE);后续 Part 2-6 按需下载。
- 取标注与代码:GitHub
DIAGNijmegen/ULS23(或MJJdG/ULS23)的annotations/与data_processing/。 - 准备环境:MONAI ≥ 1.2.0;如需跑基线,将仓库
baseline_model/nnunetv2子文件夹复制进本地 nnunetv2 安装位置。 - 训练基线:使用仓库提供的 trainer 类与 plans 文件;半监督流程先在 GrabCut 伪掩膜数据上预训练,再在完全标注数据上微调。
- 提交评测:将模型封装为 Grand Challenge 兼容容器(参考
GC_algorithm/),上传至 uls23.grand-challenge.org。
8.2 数据字典要点
- 影像:NIfTI 格式,256×256×128 体素 VOI,保持原 spacing;
- 掩码:二值(单病灶)3D 掩膜;padding 位置以最小值 -1 标识;
- 标注结构:
annotations/ULS23/novel_data/ULS23_Radboudumc_{Bone,Pancreas}/labels/等; - 患者级去重:若自建划分,需按 patient/series 分组避免泄漏(一个 series 可能含多个病灶);
- 加载坑:MONAI < 1.2.0 有已知加载问题。
8.3 本地评测的替代方案
由于测试集不可取,无法本地复现官方测试评估。可行的近似方案:
- 用论文 Appendix A.3 的 held-out 划分(对每个完全标注训练集按患者级随机抽 10%)自建验证;
- 用论文 Table 5 列出的各数据集患者 ID 复现其留出集;
- 注意:论文在最终测试前用全部训练数据重训,若做严格对照需对齐这一设置。
8.4 推荐训练配置(据论文基线)
若想复现或对标基线,以下配置点值得注意:
- 架构:nnUnetv2 + ResEnc(残差编码器);
- 重采样:用
no_resampling_data_or_seg_to_shape阻止重采样(保持原始 spacing,因为数据已是统一 VOI); - 训练策略:先在弱标注(GrabCut 伪掩膜)数据上预训练 → 再在完全标注数据上微调,微调时用更多 epoch 与更小初始学习率;
- 推理:可加 TTA(论文口径 +0.012 Dice);
- 资源:单 VOI 推理 < 2 秒(RTX2080 Ti,无 TTA)。
8.5 常见误区清单
- 把 ULS23 当作 DeepLesion 的 3D 版——错,它是独立挑战集,只复用了 DeepLesion 部分病灶并重标注;
- 用 750/744/124 或 743/697/120 混引——须统一口径并注明来源;
- 期待 NSD/F1 指标——论文未用,只有 Dice/SMAPE/SCS;
- 以为测试集可下载——type II 不可取。
8.6 评估与汇报建议
若在论文/报告中引用 ULS23:
- 引基线数字:写明"论文基线(nnUnet-ResEnc+SS)Dice 0.703 / CS 0.729",勿写成"排行榜最佳";
- 引测试集规模:写明口径——775 病灶 / 284 患者(全测试集)或 725 / 268(最终测试);
- 引训练规模:写明 38,693 并注明来源为论文摘要;
- 引新颖标注:必须注明口径(Zenodo 或论文 Table 1);
- 引指标:只引 Dice/SMAPE/SCS/CS,不引 NSD。
8.7 许可合规检查单
- [ ] 用途是否为非商业?(NC 约束)
- [ ] 是否署名了 ULS23(BY 约束)?
- [ ] 若再分发加工后的数据,是否用相同许可(SA 约束)?
- [ ] 是否使用了 LNDb 子集?若是,需自行合规获取(ULS23 归档不含);
- [ ] 训练出的模型许可边界是否已与作者确认?
8.8 提交容器化清单
若要参与 type II 挑战:
- [ ] 容器能在 T4 16GB / 8 vCPU / 32GB RAM 下运行?
- [ ] 100 个病灶总推理时间 < 9 分钟?
- [ ] 是否实现了必输输出(分割掩码 + 长/短轴直径)?
- [ ] 是否处理了 padding 位置(值 -1)?
- [ ] 是否使用 MONAI ≥ 1.2.0?
§9 与库内条目的关系
9.1 家族图谱
ULS 通用病灶分割家族
├── deeplesion(rid 17)──────────────── 上游数据源(复用其测量信息)
│ └── ULS23_DeepLesion3D(ULS23 子集)── 3D 重分割为 743-750 病灶
├── ct-lesion-foundation-model(rid 963)── CT 病灶基础模型同赛道
├── psma-pet-ct-lesions(rid 1031)────── CT/PET 病灶分割亲缘
└── 聚合源(非库内条目)
├── KiTS21(肾)/ LiTS(肝)
├── LIDC-IDRI(肺)/ LNDb(肺)
├── NIH-LN(淋巴结)
└── MDSC(肺/结肠/胰腺)
9.2 重点消歧:ULS23 ≠ DeepLesion(核心)
这是本条目最重要的消歧点,检索者最容易混淆:
| 维度 | DeepLesion(rid 17) | ULS23_DeepLesion3D(ULS23 子集) |
|---|---|---|
| 发布年份 | 2017 | 2023(重标注) |
| 病灶数 | 32,735(全集) | 743-750(子集) |
| 患者/研究 | 4,427 患者 / 10,594 研究 | 743 series |
| 标注形态 | 单张轴位切片上的长/短轴直径(无 3D 掩码) | 3D 分割掩码(学生三重+多数投票) |
| 任务 | 病灶检测 / 弱监督分割 | 3D 通用病灶分割 |
| 归属 | NIH 独立数据集 | ULS23 挑战赛的一个训练子集 |
结论:ULS23 复用了 DeepLesion 的测量信息(作为 reader study 的输入与难例挖掘的参照),并新做 3D 分割标注,形成 ULS23_DeepLesion3D 子集。ULS23 是「复用 + 新标注」的挑战集/基准集,不是 DeepLesion 本身。引用"ULS23 有 750 个 DeepLesion 病灶"时,须理解为"从 DeepLesion 中选取并 3D 重标注的 750 个病灶",而非"DeepLesion 只有 750 个病灶"。
9.3 次要消歧:ULS23 与 ULS 往届(ULS19/ULS22)
ULS 系列可能存在往届挑战(坊间常提 ULS19、ULS22)。需注意:ULS23 论文未提供任何往届版本历史,仅将 ULS23 定位为"首个公开 3D ULS 基准"。因此:
- 不能据 ULS23 论文推断 ULS19/ULS22 的规模、许可或构成;
- 若需往届信息须另查一手来源(本条目遗留疑点,见 §10 坑 6);
- 本条目所有数字均专指 ULS23,不代指往届。
9.4 库内检索路径建议
- 精确检索:用 “ULS23” + “Universal Lesion Segmentation” 组合;勿单用 “DeepLesion”(会召回全集条目);
- 按任务检索:标签组合 “医学影像” + “CT” + “医学图像分割” 可命中本条目与 ct-lesion-foundation-model;
- 按挑战赛检索:“挑战赛数据集” + “评测基准” 命中 ULS23 与同类挑战条目;
- 引用基线数字:引 Dice 0.703(半监督)、CS 0.729,并注明是"论文基线"而非排行榜最佳。
9.5 消歧记忆口诀
为便于记忆三条边界,可记成三句:
- ULS23 是"挑战赛+数据集+模型"三合一,不是一摞图像文件;
- ULS23 里有一段 DeepLesion,但 ULS23 不是 DeepLesion——750 vs 32,735,子集 vs 全集;
- ULS23 只对这一届负责——往届 ULS19/ULS22 的规模与许可,本条目不代传。
9.6 与"通用分割"相邻概念的边界
- 通用病灶分割(ULS)vs 通用医学分割:ULS 专注于病灶(lesion),不含器官分割;通用医学分割(如 TotalSegmentator 类)目标更宽。二者常被混淆;
- ULS23 vs 病灶检测:ULS23 是分割(输出掩码),不是检测(输出框);DeepLesion 同时含检测与弱监督分割,ULS23 只取分割视角;
- ULS23 vs 器官特异挑战:ULS23 聚合了器官特异数据,但任务是通用病灶,不以器官分类为目标。
9.7 库内互链的实操价值
对本库(千方病案医数集)而言,ULS23 与相邻条目互链可以形成检索闭环:
- 检索"CT 病灶分割"→ 同时命中 ULS23(基准数据集)+ ct-lesion-foundation-model(模型);
- 检索"DeepLesion"→ 命中 rid 17(上游)+ 本条目(下游复用),两相对照可完整理解"弱标注→3D 强标注"的转化链路;
- 检索"肿瘤影像定量"→ ULS23(病灶分割)+ psma-pet-ct-lesions(PET/CT 病灶),覆盖 CT 与 PET-CT 双模态。
§10 避坑清单:十个已踩过的坑
坑 1:ULS23 不是纯数据集,是"挑战赛 + 数据集 + 基线模型"三合一。只当数据集处理会漏掉挑战赛机制(type II 容器提交、排行榜、时间线)与开源基线;检索时应同时搜 Grand Challenge 页、Zenodo 记录与 GitHub 仓库。
坑 2:ULS23 ≠ DeepLesion(最易错)。ULS23 有 ULS23_DeepLesion3D 子集,复用 DeepLesion 测量信息并 3D 重标注 743-750 个病灶;DeepLesion 本体是 32,735 病灶的全集。二者是上游数据源 vs 下游挑战子集的关系,详见 §9.2 消歧表。
坑 3:评测指标不是"Dice/NSD"。部分二手描述写 ULS23 用 Dice/NSD,但论文实际用 Dice(SP) + SMAPE(LAE/SAE) + SCS,加权为 CS,未使用 NSD,也未用 Detection F1。引用前务必核论文原文。
坑 4:新颖标注数量三处双口径。Zenodo README / HuggingFace 镜像页记 DeepLesion 750 / 骨 744 / 胰腺 124;论文 Table 1 记 743 / 697 / 120。差异源于 held-out 评估掩膜(如 51 张骨影像无公开掩膜)。混引会自相矛盾——须统一口径并注明来源。
坑 5:训练总数 38,693 无逐项加总表。论文给总数但未解释它与 Table 1 各来源计数之和的口径关系(可能去重或特定组合)。做任何"求和验证"前应先确认口径,不要臆造加总。
坑 6:ULS 往届(ULS19/ULS22)无一手依据。ULS23 论文未述版本沿革,只自称"首个公开 3D ULS 基准"。检索往届规模/许可须另查一手来源,勿从 ULS23 外推(遗留疑点)。
坑 7:GitHub 仓库双地址。MJJdG/ULS23 与 DIAGNijmegen/ULS23 两处均被引为标注/代码仓库,检索时勿只认其一;标注文件经 Git LFS 托管,需 git lfs 才能取到实际掩码。
坑 8:LNDb 子集不可直取。Table 1 列入 LNDb 692 病灶,但归档不含其影像(原许可禁止再打包),仅发布准备代码。引用"ULS23 含 LNDb"须注明该子集需自行获取。
坑 9:许可含 NC + SA 双约束。CC BY-NC-SA 4.0 的 NonCommercial 限制商业用途、ShareAlike 约束衍生数据许可。训练商用模型、集成到产品、再分发加工数据前,务必核对条款或另行洽谈——这不是"随便用"的开放许可。
坑 10:测试集不可本地复现。type II 挑战不公开分发测试集,参与者只能提交容器。任何声称"在 ULS23 测试集上本地评估"的说法都应存疑;本地尽量用论文 held-out 划分近似。
§11 总结
11.1 三句话总结
- ULS23 是 Radboudumc DIAG 主导的 3D 通用病灶分割挑战赛与基准数据集,产出于 Medical Image Analysis 2025;102:103525(arXiv:2406.05231),2023 年启动、持续在线运行。
- 训练集 38,693 病灶由新颖标注(DeepLesion3D 743-750 + 骨 697-744 + 胰腺 120-124)与 10 个聚合公开数据集构成;测试集 775 病灶 / 284 患者来自 Radboudumc 与 JBZ 两中心,type II 挑战不公开分发。
- 核心价值在于:用"复用 DeepLesion + 新标注骨/胰腺 + 聚合公开数据"三路拼出通用病灶训练资源,配套开源半监督基线(Dice 0.703)与容器化评测,许可为 CC BY-NC-SA 4.0。
11.2 适合谁
- 想训练/评测 3D 通用病灶分割模型的团队;
- 研究 DeepLesion 弱标注 → 3D 强标注转换方法的研究者;
- 关注骨/胰腺等难分割病灶的临床影像研究者;
- 需要可复现基准做横向对比的挑战赛参与者;
- 研究点击式(click-driven)分割交互的人机协作方向。
11.3 不适合谁
- 只需单器官分割(应直接用 LiTS/KiTS/LIDC 等器官特异数据);
- 需要商用授权(CC BY-NC-SA 的 NC 条款限制商业用途);
- 想本地复现官方测试评估(type II 测试集不可取);
- 需要 Detection F1/NSD 等特定指标的评测场景。
11.4 30 秒决策卡
| 你的需求 | ULS23 是否合适 |
|---|---|
| 训 3D 通用病灶分割模型 | ✅ 首选之一,训练集 38,693 病灶 |
| 找 DeepLesion 的 3D 掩码版 | ✅ 用 ULS23_DeepLesion3D 子集(注意仅 743-750 个) |
| 商用部署 | ❌ NC 条款限制,需另行洽谈 |
| 本地跑测试集 | ❌ type II 不可取,只能提交容器 |
| 要单一器官的高质量标注 | ⚠️ 走聚合源(KiTS/LiTS/LIDC)更直接 |
FAQ(高频问答 48 问)
A. 基础认知
Q1:ULS23 是什么?
ULS23(Universal Lesion Segmentation Challenge '23)是 Radboudumc 诊断图像分析组(DIAG)主办的 3D 通用病灶分割挑战赛及其配套基准数据集与开源基线模型,运行在 Grand Challenge 平台上。
Q2:ULS 指什么?
Universal Lesion Segmentation(通用病灶分割)。核心目标是让一个模型泛化到胸-腹-盆区域的多种病灶类型,而非每个器官训一个专用模型。
Q3:23 指什么?
2023 年。挑战于 2023-10-29 发布训练数据,2024-04-09 主赛结束。它是 ULS 系列的某一届口径。
Q4:它和 DeepLesion 是一回事吗?
不是(坑 2)。ULS23 有 ULS23_DeepLesion3D 子集复用 DeepLesion 测量信息并 3D 重标注 743-750 个病灶;DeepLesion 本体是 32,735 病灶的全集。二者是上游数据源与下游挑战子集的关系。
Q5:谁做的?
Radboud University Medical Center(Radboudumc)DIAG 的 Max de Grauw、Bram van Ginneken、Alessa Hering;合作方为 NIH(Mathai Tejas、Pritam Mukherjee、Ronald Summers)。
Q6:发表在哪?
Medical Image Analysis(Elsevier),Volume 102, 2025, 103525,doi:10.1016/j.media.2025.103525;arXiv 预印本 2406.05231(2024-06-21)。
Q7:它是挑战赛还是数据集?
两者都是(坑 1)。它是 type II 挑战赛(需容器提交),同时产出训练数据集、公开测试基准与开源基线模型。
B. 数据规模与构成
Q8:训练集有多少病灶?
论文摘要口径 38,693 病灶(胸-腹-盆 CT)。由新颖标注与 10 个聚合公开数据集构成。
Q9:测试集有多少?
摘要口径 775 病灶 / 284 患者(Radboudumc 368/152pt + JBZ 407/132pt)。扣掉 50 病灶 / 16 患者的验证集后,最终测试 725 病灶 / 268 患者。
Q10:新颖标注具体是多少?
双口径(坑 4):Zenodo README 记 DeepLesion 750 + 骨 744 + 胰腺 124;论文 Table 1 记 743 + 697 + 120。差异源于 held-out 评估掩膜未公开部分。
Q11:为什么骨是 744 但掩膜只有 697?
Zenodo 附带 744 张骨影像,但公开掩膜只有 697 个;"51 张无公开掩膜"的影像属 held-out 评估病灶,被排除在公开计数外(HuggingFace 镜像页明确说明)。
Q12:聚合了哪些公开数据集?
论文 Table 1 列 9 行(含 LNDb,MDSC 拆三项):KiTS21(332)/LiTS(832)/NIH-LN ABD(557)/NIH-LN MED(375)/LIDC-IDRI(2236)/LNDb*(692)/MDSC-Lung(70)/MDSC-Colon(131)/MDSC-Pancreas(283)。论文正文称"聚合 8 个公开数据集"。
Q13:为什么 38,693 和各来源加总对不上?
论文未提供逐项加总表,也未解释总数与各来源计数之和的口径关系(可能去重或特定组合)。属遗留疑点(坑 5)。
Q14:部分标注数据用来做什么?
DeepLesion(31,849 病灶)与 CCC18(1,211 病灶)是"部分标注",用 GrabCut 生成伪掩膜,供半监督预训练。
C. 标注与任务
Q15:任务怎么定义?
给定一个 256×256×128 体素的 VOI(中心必有病灶体素,模拟放射科医生点击),模型输出该病灶的 3D 分割掩码,并可推长/短轴直径。
Q16:VOI 为什么中心要塞一个病灶体素?
用来模拟点击——保证模型面对的是"点了一下"的提示,而非全自动检测。这是 ULS23 交互范式的核心。
Q17:DeepLesion3D 是怎么标注的?
受训(生物)医学生在 GrandChallenge reader study 上做 3D 轴位分割,每个病灶分割 3 次取多数投票;病灶用 hard-negative mining 选出。
Q18:骨/胰腺子集是谁标注的?
资深放射科医生逐一 3D 分割(单专家金标准),基于放射报告提及骨/胰腺疾病的病灶选出。
Q19:测试集标注有多严?
NLP 分析报告筛目标病灶 → 6 名医学背景标注者定位重测 → 1 名 >10 年经验放射科医生审核 → 每病灶 3 人分割多数投票 → 放射科医生复核。
Q20:一个 VOI 里有几个病灶?
只有 1 个标注病灶。与中心病灶不相连的邻近病灶掩膜会被移除。
D. 评估与基线
Q21:用什么指标评测?
SP(Sørensen–Dice)+ LAE/SAE(长/短轴 SMAPE)+ SCS(一致性分数),加权为挑战分数 CS。
Q22:挑战分数公式是什么?
CS = 0.8 × SP + 0.05 × LAE + 0.05 × SAE + 0.1 × SCS。分割质量占绝对权重。
Q23:用 NSD 吗?
不用(坑 3)。论文未使用 Normalized Surface Dice,也未用 Detection F1。二手描述的"Dice/NSD"说法有误。
Q24:SCS 是什么?
分割一致性分数:同一病灶换不同随机中心体素(模拟不同点击位置)生成 VOI,比较重新对齐后掩膜的 Dice,衡量模型对点击位置的鲁棒性。
Q25:基线模型是什么?
基于 nnUnetv2 的半监督残差编码器(nnUnet-ResEnc+SS):先在 GrabCut 伪掩膜数据上预训练,再在完全标注数据上微调。
Q26:基线成绩如何?
平均 Dice 0.703 ± 0.240,CS 0.729;长轴 SMAPE 11.2%、短轴 12.0%、SCS 0.787。加 TTA 升至 Dice 0.715。标准 nnUnet 对照为 0.651。
Q27:完全监督和部分监督子集差别大吗?
FSUP(完全监督)Dice 0.714,PSUP(部分监督)Dice 0.631,差约 0.08。
Q28:推理速度?
RTX2080 Ti 上单 VOI < 2 秒(无 TTA)。
E. 获取与许可
Q29:数据从哪下载?
Zenodo 记录 10035160(README/LICENSE + Part 1 分卷);标注与代码在 GitHub DIAGNijmegen/ULS23(或 MJJdG/ULS23);基线权重在 Zenodo。
Q30:测试集能下载吗?
不能(坑 10)。type II 挑战不公开分发测试集,只能提交 Docker 容器由平台评估。
Q31:许可是什么?
CC BY-NC-SA 4.0——署名(BY)+ 非商业性使用(NC)+ 相同方式共享(SA)。
Q32:能商用吗?
CC BY-NC-SA 的 NC 条款限制商业用途(坑 9)。训练商用模型或集成到产品前须另行洽谈。
Q33:LNDb 子集能直取吗?
不能(坑 8)。其原许可禁止再打包,归档不含 LNDb 影像,只发布准备代码。
Q34:加载数据有什么坑?
MONAI 需 ≥1.2.0(旧版本有已知加载问题);标注经 Git LFS 托管,需 git lfs。
F. 生产与库内
Q35:ULS23 和库内哪些条目互链?
deeplesion(rid 17,上游数据源)、ct-lesion-foundation-model(rid 963)、psma-pet-ct-lesions(rid 1031)。
Q36:ULS19/ULS22 的规模是多少?
无法从 ULS23 论文得知(坑 6)。论文未提供往届版本历史,只自称"首个公开 3D ULS 基准"。需另查一手来源(遗留疑点)。
G. 进阶与细节
Q37:DeepLesion3D 的病灶是怎么选出来的?
用难例挖掘(hard-negative mining):先用标准 3D nnUnet 在完全标注公开数据上训练,用它预测病灶轴径、与 DeepLesion 参考测量比对,纳入模型表现最差的病灶。再按区域配比(200 腹部 / 100 骨 / 50 肾 / 50 肝 / 100 肺 / 100 纵隔 / 150 其他)。
Q38:骨子集包含哪几类骨病灶?
硬化性(sclerotic)与溶骨性(lytic)两类(README 口径)。
Q39:胰腺数据是谁采集的?
Natália Alves、Megan Schuurmans、Henkjan Huisman(Zenodo README 署名)。
Q40:测试集为什么要两个中心?
ULS23 强调"多中心"(multi-centre)——用 Radboudumc 与 JBZ 两个独立医疗中心的病灶,检验模型的跨中心泛化,避免单中心偏倚。
Q41:验证集和测试集会不会重叠?
不会。验证集 50 病灶 / 16 患者(每中心各 25),与测试集患者级无重叠。
Q42:测试集病灶都是"目标病灶"吗?
是。测试集每个病灶都由临床上下文识别为目标病灶(target lesion)——即放射科医生在真实临床中需要测量的那种,确保临床相关性。
Q43:训练集里"部分标注"和"完全标注"怎么区分?
完全标注(fully-annotated)= 有像素级 3D 掩码(DeepLesion3D、骨、胰腺、聚合集);部分标注(partially-annotated)= 只有 RECIST 直径、掩膜靠 GrabCut 伪标注生成(DeepLesion 31,849、CCC18 1,211)。
Q44:为什么基线要用半监督?
因为大量数据(DeepLesion/CCC18 共 3 万余病灶)只有弱标注。半监督策略让模型先用这些弱标注预训练、再用少量金标准微调,充分利用数据——实测带来约 0.05 Dice 提升(0.703 vs 0.651)。
Q45:ULS23 现在还能提交吗?
能。2025-03-28 重开了测试榜(“re-opened the test leaderboard”),2026-10-11 又增开了两个延长推理时限的榜。这是一个持续在线的基准。
Q46:延长推理榜是什么意思?
2026-10-11 公告新增两个 leaderboard,把单任务推理时限延长至 2 小时(原为 9 分钟)。这为更耗算力的方法(如大型基础模型、多步推理管线)提供了评测空间。
Q47:有哪些新方法上了榜?
2026-10-11 公告新增 LesionLocator 与 nnInteractive 的结果。
Q48:CT 是三期还是单期?
数据集为胸-腹-盆 CT 的病灶 VOI,未在公开描述中限定对比期相;每个 VOI 围绕单个病灶裁剪,保持原始 scan spacing。
事实清单(Fact Sheet)
| 项目 | 值 | 来源 |
|---|---|---|
| 全称 | Universal Lesion Segmentation Challenge '23 | 官方页 |
| 简称 | ULS23 | — |
| 主管机构 | Radboudumc DIAG(荷兰奈梅亨) | 官方页 |
| 组织者 | Max de Grauw / Bram van Ginneken / Alessa Hering | 官方页 |
| 合作方 | NIH(Tejas / Mukherjee / Summers) | 官方页 |
| 数据提供 | Radboudumc + Jeroen Bosch Ziekenhuis | 官方页 |
| 论文 | Medical Image Analysis 2025;102:103525 | 论文 |
| DOI | 10.1016/j.media.2025.103525 | 论文 |
| arXiv | 2406.05231(2024-06-21) | arXiv |
| 模态 | 胸-腹-盆 CT | 论文 |
| VOI 尺寸 | 256×256×128 体素 | 论文 |
| 训练总病灶 | 38,693 | 摘要 |
| 测试集 | 775 病灶 / 284 患者 | 摘要 |
| 最终测试 | 725 病灶 / 268 患者 | 论文 |
| 验证集 | 50 病灶 / 16 患者 | 论文 |
| DeepLesion3D | 743(README 750) | Table 1 / README |
| 骨子集 | 697(README 744) | Table 1 / README |
| 胰腺子集 | 120(README 124) | Table 1 / README |
| 部分标注 | DeepLesion 31,849 + CCC18 1,211 | Table 1 |
| 主指标 | SP(Dice) / LAE / SAE / SCS | 论文 |
| CS 公式 | 0.8·SP+0.05·LAE+0.05·SAE+0.1·SCS | 论文 |
| 基线 Dice | 0.703 ± 0.240 | 论文 |
| 基线 CS | 0.729 | 论文 |
| 许可 | CC BY-NC-SA 4.0 | Zenodo / 论文 |
| 平台 | Grand Challenge(type II) | 官方页 |
| 数据归档 | Zenodo Part 1-6 | README |
| 代码 | GitHub DIAGNijmegen/ULS23 | README |
| 启动 | 2023-10-29 | 论文 |
| 主赛结束 | 2024-04-09 | 论文 |
术语表(Glossary)
| 术语 | 英文/缩写 | 释义 |
|---|---|---|
| 通用病灶分割 | Universal Lesion Segmentation (ULS) | 用单一模型分割多种类型病灶的任务 |
| 病灶 | lesion | 组织中的异常区域(肿瘤、结节、肿大淋巴结等) |
| VOI | Volume of Interest | 感兴趣体积,围绕病灶裁剪的子体积(ULS23 为 256×256×128 体素) |
| RECIST | Response Evaluation Criteria In Solid Tumors | 实体瘤疗效评价标准,用长/短轴直径测量目标病灶 |
| Dice | Sørensen–Dice coefficient | 分割重叠度指标,ULS23 中记为 SP |
| SMAPE | Symmetric Mean Absolute Percentage Error | 对称平均绝对百分比误差,ULS23 中用于长/短轴测量误差 |
| SCS | Segmentation Consistency Score | 分割一致性分数,衡量对点击位置的鲁棒性 |
| CS | Challenge Score | 挑战加权总分 |
| NSD | Normalized Surface Dice | 归一化表面 Dice(ULS23 未采用) |
| 半监督 | semi-supervised | 结合少量完全标注与大量部分标注/伪标注训练 |
| GrabCut | — | 基于图割的交互式分割算法,用于生成伪掩膜 |
| hard-negative mining | 难负样本挖掘 | 选出模型表现最差的样本纳入训练/测试 |
| nnUnet | no-new-Net | 自适应医学图像分割框架,ULS23 基线的基础 |
| VOI 中心点击 | click prompt | 模拟放射科医生在病灶上点击一次的提示 |
| type II challenge | — | 测试集不公开、只能提交容器评估的挑战形式 |
| JBZ | Jeroen Bosch Ziekenhuis | 荷兰斯海尔托亨博斯的一家医院,ULS23 第二数据来源 |
| PACS | Picture Archiving and Communication System | 医学影像存档与通信系统 |
| TTA | Test-Time Augmentation | 测试时数据增强 |
| CC BY-NC-SA | — | 署名—非商业—相同方式共享 4.0 许可 |
| MONAI | Medical Open Network for AI | 医学影像 AI 开源框架 |
附录
附录 A:核验来源与抓取时点
| 来源 | URL | 用途 |
|---|---|---|
| Grand Challenge 官方页 | https://uls23.grand-challenge.org/ | 机构、组织者、时间线、公告 |
| 论文(arXiv HTML) | https://arxiv.org/html/2406.05231v1 | 硬数字、指标、构成、划分 |
| 论文 DOI | https://doi.org/10.1016/j.media.2025.103525 | 正式发表信息 |
| Zenodo 数据记录 | https://zenodo.org/doi/10.5281/zenodo.10035160 | 规模、许可、文件清单 |
| GitHub README | https://github.com/DIAGNijmegen/ULS23 | 标注流程、Part 划分、基线代码 |
| HuggingFace 镜像页 | https://huggingface.co/datasets/MedOtter/ULS23 | 骨/胰腺掩膜计数交叉验证 |
抓取核验时点:2026-10-14。
附录 B:新颖标注双口径登记表
| 子集 | Zenodo README 口径 | 论文 Table 1 口径 | 差异原因 |
|---|---|---|---|
| DeepLesion3D | 750 | 743 | held-out 评估掩膜 |
| Radboudumc-Bone | 744 | 697 | 51 张无公开掩膜(held-out) |
| Radboudumc-Pancreas | 124 | 120 | held-out 评估掩膜 |
引用规范:注明来源口径;做规模统计时统一用一套;跨源比较时显式说明。
附录 C:聚合数据集全表(论文 Table 1 转)
| 数据集 | 类型 | Series | Lesions |
|---|---|---|---|
| KiTS21 | 肾 | 300 | 332 |
| LiTS | 肝 | 113 | 832 |
| NIH-LN ABD | 淋巴结 | 85 | 557 |
| NIH-LN MED | 淋巴结 | 90 | 375 |
| LIDC-IDRI | 肺 | 750 | 2,236 |
| LNDb* | 肺 | 208 | 692 |
| MDSC-Lung | 肺 | 63 | 70 |
| MDSC-Colon | 结肠 | 126 | 131 |
| MDSC-Pancreas | 胰腺 | 281 | 283 |
*LNDb 因许可限制不直接打包发布,仅提供准备代码。
附录 D:基线结果登记表
| 配置 | Dice | 长轴 SMAPE | 短轴 SMAPE | SCS | CS |
|---|---|---|---|---|---|
| nnUnet-ResEnc+SS | 0.703 ± 0.240 | 11.2% ± 15.8% | 12.0% ± 15.9% | 0.787 ± 0.252 | 0.729 |
| 同上 + TTA | 0.715 ± 0.237 | — | — | — | — |
| 标准 nnUnet | 0.651 ± 0.253 | — | — | — | — |
| FSUP(完全监督子集) | 0.714 | — | — | — | — |
| PSUP(部分监督子集) | 0.631 | — | — | — | — |
附录 E:DAIMS 评估表
| 维度 | 缩写 | 评估 | 说明 |
|---|---|---|---|
| Discoverability | D | ⭐⭐⭐⭐ | 论文开放获取 + Zenodo + GitHub + Grand Challenge 多渠道 |
| Accessibility | A | ⭐⭐⭐⭐ | 训练数据/标注/模型均公开直链;测试集 type II 不可取(设计使然) |
| Interoperability | I | ⭐⭐⭐⭐ | 标准 NIfTI + MONAI 兼容;统一 VOI 格式便于流水线接入 |
| Metadata | M | ⭐⭐⭐⭐ | 论文详述 + Zenodo 结构化 + README;一处计数双口径(坑 4) |
| Sustainability | S | ⭐⭐⭐ | Grand Challenge + Zenodo + GitHub 三重托管,长期可访问 |
附录 F:许可条款细读
- CC BY:署名——须注明出处与许可;
- NC:非商业性使用——不得用于商业目的;
- SA:相同方式共享——衍生数据须以相同许可发布;
- 例外:LNDb 子集不打包(仅准备代码);论文本体开放获取(Elsevier MEDIA);
- 实操建议:商用前书面确认;再分发加工数据时附相同许可;训练模型的许可边界须自行判断。
附录 G:ULS23 与 DeepLesion 消歧对照
| 维度 | DeepLesion(rid 17) | ULS23_DeepLesion3D |
|---|---|---|
| 年份 | 2017 | 2023 |
| 病灶数 | 32,735(全集) | 743-750(子集) |
| 患者/研究 | 4,427 / 10,594 | 743 series |
| 标注 | 单切片长/短轴直径 | 3D 分割掩码 |
| 归属 | NIH 数据集 | ULS23 训练子集 |
| 关系 | 上游数据源 | 下游 3D 重标注 |
附录 H:时间线总表
| 日期 | 事件 |
|---|---|
| 2017 | DeepLesion 发布(上游数据源) |
| 2023-10-29 | ULS23 发布训练数据 |
| 2024-02-01 | 开放验证榜 |
| 2024-03-17 | 开放测试集提交 |
| 2024-04-09 | 主赛结束,公布前三名 |
| 2024-06-21 | arXiv 预印本 2406.05231 |
| 2025-03-28 | MEDIA 正式发表;重开测试榜 |
| 2026-10-11 | 增开延长推理榜;新增 LesionLocator / nnInteractive 结果 |
附录 I:坑点档案(与 §10 对照)
| 坑 | 主题 | 存照处 |
|---|---|---|
| 1 | ULS23 非纯数据集 | §0.3 / §5 |
| 2 | ULS23 ≠ DeepLesion | §9.2 / 附录 G |
| 3 | 指标非 Dice/NSD | §4.1 / FAQ Q23 |
| 4 | 新颖标注双口径 | §2.1 / 附录 B |
| 5 | 38,693 无加总表 | §2.1 / 附录 C |
| 6 | 往届 ULS19/22 无依据 | §9.3 / FAQ Q36 |
| 7 | GitHub 双地址 | §2.5 / §6.1 |
| 8 | LNDb 不可直取 | §2.5 / §6.2 |
| 9 | 许可 NC+SA 双约束 | §6.2 / 附录 F |
| 10 | 测试集不可本地复现 | §8.3 / §11.4 |
附录 J:检索路径示范
| 目标 | 关键词组合 |
|---|---|
| 本条精确命中 | “ULS23” + “Universal Lesion Segmentation” |
| 上游数据源 | “DeepLesion” + “lesion detection” |
| 同赛道条目 | “CT” + “lesion” + “segmentation” |
| 挑战赛类 | “挑战赛数据集” + “评测基准” |
| 聚合源 | “KiTS21” / “LiTS” / “LIDC-IDRI” / “MDSC” |
附录 K:本条目生产档案
- 生产代理:agent-b-uls23
- 生产时点:2026-10-14
- 成稿方式:五块直写拼接(p1-p5)
- 核验方式:三源互证(Grand Challenge 官方页 + arXiv 论文 + Zenodo/GitHub README)
- 记忆事故规避:私有区分片、每 part 落盘、cat 拼接
附录 L:病灶类型覆盖一览
| 区域/器官 | 来源 | 是否含 3D 金标准 |
|---|---|---|
| 腹部(abdominal) | DeepLesion3D | ✅ |
| 骨(bone,硬化+溶骨) | DeepLesion3D + Radboudumc-Bone | ✅ |
| 肾(kidney) | DeepLesion3D + KiTS21 | ✅ |
| 肝(liver) | DeepLesion3D + LiTS | ✅ |
| 肺(lung) | DeepLesion3D + LIDC-IDRI + LNDb* + MDSC-Lung | ✅ |
| 纵隔(mediastinal) | DeepLesion3D + NIH-LN MED | ✅ |
| 淋巴结 | NIH-LN ABD/MED | ✅ |
| 结肠(colon) | MDSC-Colon | ✅ |
| 胰腺(pancreas) | Radboudumc-Pancreas + MDSC-Pancreas | ✅ |
| 其他(assorted) | DeepLesion3D + CCC18 | 部分 |
附录 M:指标计算公式与符号
| 符号 | 名称 | 公式/含义 |
|---|---|---|
| SP | 分割性能 | Sørensen–Dice 系数 = 2·\ |
| LAE | 长轴误差 | SMAPE(长轴预测, 长轴参考) |
| SAE | 短轴误差 | SMAPE(短轴预测, 短轴参考) |
| SCS | 一致性分数 | 同病灶换中心体素后重对齐掩膜的 Dice |
| CS | 挑战分数 | 0.8·SP + 0.05·LAE + 0.05·SAE + 0.1·SCS |
| SMAPE | 对称平均绝对百分比误差 | (1/n)Σ\ |
附录 N:Grand Challenge 挑战类型对照
| 类型 | 测试集可见性 | 评测地点 | ULS23 |
|---|---|---|---|
| Type I | 可见 | 参与者本地 | — |
| Type II | 不可见 | 平台私服 | ✅ |
| Type III | 分阶段 | 混合 | — |
附录 O:参与 type II 挑战的容器规范要点
- 运行环境:NVIDIA T4(16GB VRAM)/ 8 vCPU / 32GB RAM;
- 时间预算:单任务 ≤ 9 分钟(原榜)/ ≤ 2 小时(2026-10 新增榜);
- 输入批量:每任务 100 个病灶;
- 输入:256×256×128 VOI,中心含病灶体素;
- 输出:3D 分割掩码 + 长/短轴直径;
- 特殊值:padding 位置为 -1;
- 依赖:MONAI ≥ 1.2.0。
附录 P:与库内条目的互链表
| 库内条目 | rid | 关系 | 检索价值 |
|---|---|---|---|
| deeplesion | 17 | 上游数据源(ULS23 复用其测量) | 消歧关键 |
| ct-lesion-foundation-model | 963 | CT 病灶基础模型同赛道 | 方法论对照 |
| psma-pet-ct-lesions | 1031 | CT/PET 病灶分割亲缘 | 跨模态拓展 |
| pulsedb | 182 | 命名含 lesion/DB(弱相关) | 检索噪声 |
附录 Q:双口径与遗留疑点登记表
| 项 | 口径 A | 口径 B | 处置 |
|---|---|---|---|
| DeepLesion3D 数 | 750(Zenodo) | 743(论文) | 双列+注明来源 |
| 骨子集数 | 744(Zenodo) | 697(论文) | 双列+说明 51 张 held-out |
| 胰腺子集数 | 124(Zenodo) | 120(论文) | 双列 |
| 训练总数 | 38,693(摘要) | 无加总表 | 标遗留疑点(坑 5) |
| 指标 | “Dice/NSD”(二手) | Dice/SMAPE/SCS(论文) | 按论文,二手存照(坑 3) |
| 往届 ULS19/22 | 坊间提及 | 论文无 | 标遗留疑点(坑 6) |
附录 R:检索决策树
目标 = 通用病灶分割基准?
├── 要 3D 金标准 → ULS23(本条目)
├── 只检测/弱监督 → DeepLesion(rid 17)
└── 单器官分割
├── 肝 → LiTS(ULS23 聚合源)
├── 肾 → KiTS21(ULS23 聚合源)
└── 肺 → LIDC-IDRI / LNDb / MDSC-Lung
附录 S:引用规范示例
de Grauw MJJ, Scholten ET, Smit EJ, Rutten MJCM, Prokop M, van Ginneken B, Hering A. The ULS23 challenge: A baseline model and benchmark dataset for 3D universal lesion segmentation in computed tomography. Medical Image Analysis. 2025;102:103525. doi:10.1016/j.media.2025.103525.
数据集引用时附加:ULS23 Challenge Public Training Dataset, Zenodo, doi:10.5281/zenodo.10035160;许可 CC BY-NC-SA 4.0。
附录 T:维护计划与触发点
| 触发点 | 动作 |
|---|---|
| ULS23 排行榜更新(如新方法上榜) | 更新 §5.3 / §7.4,复核附录 P |
| 论文出新版本/新卷期 | 复核所有硬数字,更新附录 A |
| Zenodo 记录更新 | 复核 Part 清单与规模 |
| 测试集规模披露变化 | 更新 §2.1 与事实清单 |
附录 U:缩写速查
| 缩写 | 全称 |
|---|---|
| ULS | Universal Lesion Segmentation |
| VOI | Volume of Interest |
| RECIST | Response Evaluation Criteria In Solid Tumors |
| SP | Segmentation Performance |
| LAE / SAE | Long-axis / Short-axis Error |
| SCS | Segmentation Consistency Score |
| CS | Challenge Score |
| NSD | Normalized Surface Dice(未采用) |
| SMAPE | Symmetric Mean Absolute Percentage Error |
| TTA | Test-Time Augmentation |
| PACS | Picture Archiving and Communication System |
| JBZ | Jeroen Bosch Ziekenhuis |
| DIAG | Diagnostic Image Analysis Group |
| MONAI | Medical Open Network for AI |
| DAIMS | Discoverability/Accessibility/Interoperability/Metadata/Sustainability |
附录 V:与 PANDA-PLUS 条目(同批生产)的结构对照
| 维度 | ULS23 | PANDA-PLUS |
|---|---|---|
| 本质 | 挑战赛+数据集+基线 | 重标注数据集 |
| 模态 | CT | 病理 WSI |
| 任务 | 3D 病灶分割 | 像素级 Gleason 分割 |
| 许可 | CC BY-NC-SA 4.0 | 三层异构 |
| 获取 | Zenodo 公开直链 | 掩码请求制 |
| 核心消歧 | ≠ DeepLesion | ≠ PANDA |
附录 W:研究使用检查清单(12 项)
- 口径确认:明确用 Zenodo(750/744/124)还是论文(743/697/120)口径;
- 许可合规:确认用途非商业;再分发时用相同许可(SA);
- 患者级划分:按 patient/series 分组,杜绝泄漏;
- VOI 中心:确认业务逻辑处理了"中心必有病灶体素";
- padding 值:处理值为 -1 的位置;
- MONAI 版本:≥1.2.0;
- Git LFS:取标注前先
git lfs pull; - 上游引用:使用聚合源数据时同时引其原始出处;
- 基线对照:与论文基线(Dice 0.703)而非排行榜最佳对齐;
- 指标口径:只报 Dice/SMAPE/SCS,不臆造 NSD;
- 算力预算:若参赛,按 T4/9min/100 病灶约束设计;
- 版本记录:记录下载时点的 Zenodo 版本与 md5。
附录 X:Zenodo Part 划分速查
| Part | 内容 |
|---|---|
| Part 1 | 新颖标注(DeepLesion3D / Bone / Pancreas)+ README/LICENSE |
| Part 2 | 处理后的 kits21 / LIDC-IDRI / LiTS |
| Part 3 | 处理后的 MDSC 6/7/10 / NIH-LN / CCC18 |
| Part 4 | 处理后的 DeepLesion |
| Part 5 | 处理后的 DeepLesion |
| Part 6 | 处理后的 DeepLesion |
附录 Y:关键数字的"一句话解释"
- 38,693 → 训练集总病灶(胸腹盆 CT),无加总表;
- 775 → 公开测试集病灶数(284 患者);
- 725 → 扣验证集后的最终测试病灶数;
- 743-750 → DeepLesion3D 子集(双口径);
- 697-744 → 骨子集(双口径,51 张 held-out);
- 120-124 → 胰腺子集(双口径);
- 31,849 → DeepLesion 部分标注病灶(半监督);
- 0.703 → 半监督基线平均 Dice;
- 0.729 → 半监督基线挑战分数 CS。
附录 Z:三步识别"这是不是 ULS23 的问题"
- 问题是否针对一个模型通吃多类型病灶?若是,属 ULS 范畴;
- 问题是否针对 DeepLesion 那 3 万+ 病灶的全部?若是,指向 DeepLesion(rid 17),非 ULS23;
- 问题是否涉及骨/胰腺新标注或 type II 在线评测?若是,确定指向 ULS23。
附录 AA:ULS23 的三层资产一览
| 资产 | 内容 | 获取 |
|---|---|---|
| 训练数据 | Zenodo Part 1-6(VOI + 掩码) | 公开直链 |
| 标注与代码 | GitHub annotations / data_processing / baseline_model / GC_algorithm | 公开直链(LFS) |
| 基线模型 | nnUnet-ResEnc+SS 权重 + 算法容器 | Zenodo |
| 测试基准 | 775 病灶私密测试集 | 仅容器提交评估 |
附录 AB:与库内可获取性档位的一句话定位
ULS23 落在"平台托管 + 公开直链"双档:数据与模型走 Zenodo 公开直链(download 即用),测试评估走 Grand Challenge 平台托管(容器提交)。它不是注册墙,也不是请求制——这是它相较库内请求制条目(如 PANDA-PLUS 掩码)的核心获取优势。
附录 AC:常见问题速答卡
| 你若问 | 答案 |
|---|---|
| 有 3D 掩码吗? | 训练子集有;DeepLesion/CCC18 为伪掩膜 |
| 能商用吗? | 否(CC BY-NC-SA 的 NC 约束) |
| 测试集能下吗? | 否(type II) |
| 用 NSD 吗? | 否(Dice/SMAPE/SCS) |
| 和 DeepLesion 一样吗? | 不一样(子集 vs 全集) |
| 有多少病灶? | 训练 38,693;测试 775 |
尾注
本条目为 AI-Ready Wikipedia 数据集条目,生产于 2026-10-14,抓取与核验时点见附录 A。事实陈述以论文(Medical Image Analysis 2025;102:103525 / arXiv:2406.05231)、Grand Challenge 官方页与 Zenodo/GitHub 记录为源;新颖标注数量双口径(Zenodo 750/744/124 vs 论文 743/697/120)、训练总数无逐项加总表、指标 NSD 误传、ULS 往届无一手依据等原始文档歧义已在 §10 坑点与附录 B/I 存照。
本条目与库内 deeplesion(rid 17)、ct-lesion-foundation-model(rid 963)、psma-pet-ct-lesions(rid 1031)等条目互链,构成 CT 病灶分割与检测的完整检索面。核心消歧:ULS23 是「复用 DeepLesion + 新标注骨/胰腺 + 聚合公开数据」的 3D 通用病灶分割挑战集/基准集,而非 DeepLesion 本体(后者为 32,735 病灶全集)——详见 §9.2 与附录 G。
后续维护触发点:ULS23 排行榜持续更新(2026-10-11 已增开延长推理榜),若论文更新版本或测试集规模披露变化,按附录 A 来源复核。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- lndb — 共享标签:医学影像 / CT / 医学图像分割 / 目标检测 / 挑战赛数据集
- lidc-annot-nlst501 — 共享标签:医学影像 / CT / 医学图像分割 / 目标检测 / 肿瘤学
- mela — 共享标签:医学影像 / CT / 目标检测 / 挑战赛数据集 / 肿瘤学
- segrap — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学
- kits23 — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学
- structseg2019 — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学
- kits — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学
- lits — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学
- flare — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学
- autopet-v — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集 / 肿瘤学
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

