信息速览
INFOBOX — MedSAM2 Annotated Datasets 一屏速览
维度 内容 本质 MedSAM2(SAM2.1 微调的 3D 医学分割基础模型)团队在人机协同标注中产出并公开的新标注数据产品整合——非单一数据集,而是四件套 + 两个挑战赛关联集 团队 多伦多大学 / UHN bowang-lab,通讯 Bo Wang,共同一作 Jun Ma、Zongxin Yang;合作含 Harvard、Vector Institute、Roche Canada 论文 arXiv:2504.03600(2025-04-04 提交)「MedSAM2: Segment Anything in 3D Medical Images and Videos」 模型 SAM2.1 底座全模型微调;455K+ 3D 图像-掩码对 + 76K+ 视频帧训练语料 发布物 1 CT_DeepLesion-MedSAM2:DeepLesion 派生 5,000 CT 病灶 3D 掩码(NIfTI) 发布物 2 LLD-MMRI-MedSAM2:498 患者 3,984 肝病灶 × 8 个 MRI 序列 3D 掩码 发布物 3 RVENet-MedSAM2:831 患者超声心动视频中标注 1,800 段 → 251,550 帧掩码(仅掩码,原图另取) 发布物 4 LUNA25-MedSAM2:LUNA25 挑战赛肺结节分割集(CC-BY-NC-4.0) 关联集 FLARE25 泛癌 RECIST-to-3D 挑战赛任务数据(Efficient MedSAM2 官方基线) 标注效率 单病灶 525.9s→74.3s(CT)、520.3s→65.2s(MRI);视频吞吐 >12×;人工成本降 >85% 性能 DSC:CT 病灶 86.68% / MRI 病灶 88.37% / PET 病灶 87.22%(vs EfficientMedSAM-Top1 +5~13pp) 许可 代码 Apache-2.0|模型 CC-BY-SA-4.0|LUNA25 CC-BY-NC-4.0|其余三件未标注(随上游) 撞名警告 Zhu et al. 2024(Oxford)「Medical SAM 2」是另一篇论文——本条目主体与其无关 库内互链 deeplesion(17)、flare(387)、flare-2026(940)、luna16(237)、echonet-dynamic(526)、kvasir-seg(112)、amos(76) 等
MedSAM2 Annotated Datasets 是一个「模型反向生产数据」的教科书样本:多伦多大学 bowang-lab 团队先把 Meta 的 SAM2.1 微调成 3D 医学分割基础模型 MedSAM2,再让模型反过来当标注员——研究者给一张 2D 提示(一段 RECIST 径线或一个框),模型把掩码传播到整个 3D 体数据或整段视频,人工只做修订。论文用三轮大规模用户研究证明这条流水线把单病灶标注时间从近 9 分钟压到 1 分钟出头、把视频标注吞吐抬高 12 倍以上,其产物就是本条目主体:5,000 个 CT 病灶的 3D 掩码、3,984 个多序列肝 MRI 病灶的 3D 掩码、251,550 帧超声心动视频掩码,全部在 HuggingFace 公开可取。
需要特别声明条目定性:MedSAM2 本身是模型(权重+代码),本条目的主体是其可获取的数据发布物——模型训练语料 455K+ 对并未整体公开,公开的是人机协同标注产出的四件数据产品。检索「MedSAM2 dataset」的人还要过两道坑:一是与 Oxford 团队 2024 年的「Medical SAM 2」撞名(那是另一篇论文,无数据发布物);二是把四件发布物当成一个叫「MedSAM2 dataset」的单一数据集(不存在)。
导语读法三则:
- 只想下数据:直奔 §2 逐件规格表与 §6 获取许可——注意 RVENet-MedSAM2 只有掩码没有原图,license 四件各不相同。
- 关心标注方法论:直奔 §3 人机协同流水线——三轮迭代、时间数字、用户研究设计是全文最硬的部分。
- 做模型评测或挑战赛:直奔 §5 与 §7——DSC 对照表、LUNA25/FLARE25 基线、3D Slicer/Colab 部署链路。
§0 导读:这个数据集解决什么问题
医学图像分割在 2D 领域已经有了 SAM 之后的一整代通用模型,但 3D 体数据(CT/MRI/PET)和医疗视频(超声、内镜)长期缺乏一个「打一个提示就能全程分割」的通用工具。3D 标注的痛苦是结构性的:一个肝病灶横跨几十上百层切片,逐层手绘既慢又前后不一致;一段超声心动视频动辄上百帧,人工描完一个心腔轮廓,另一段视频又得从头再来。MedSAM 论文(同一一作 Jun Ma 的前作)曾把 2D 医学分割的交互式标注带进主流,但 3D 与视频的缺口一直空着。
2025 年 4 月,bowang-lab 给出两段式回答。第一段是模型:把 SAM2.1 当底座做全模型微调,训练语料 455,000+ 个 3D 图像-掩码对加 76,000+ 个视频帧,让 SAM2 的「视频目标追踪」机制直接吃下 3D 体数据——CT 的 z 轴切片序列和超声的时序帧序列在模型眼里是同一种东西。第二段是数据:用微调后的模型做「模型生成初掩码→人工修订→再迭代微调」的人机协同标注,论文称之为迄今最大规模的标注用户研究——5,000 个 CT 病灶、3,984 个肝 MRI 病灶、251,550 帧超声视频帧——并把产物整体公开。
对 AI-Ready 视角来说,这个条目有两个特殊价值。其一,它是「标注成本」被量化得最彻底的公开数据集之一:每种模态都有逐病灶/逐帧的时间账(525.9→74.3 秒、520.3→65.2 秒、>12× 吞吐),可以直接进入标注成本核算模型。其二,它是「模型-数据飞轮」的实证:模型越好标注越快、标注越多模型越强,三轮迭代的每一轮都有数字存档——研究标注流水线经济学的人很难找到比这更完整的公开样本。
§0 读法三则:
- 这个条目是「模型+数据产品+标注方法」三合一:主体是四件 HF 数据发布物,模型权重与代码是生产工具,标注流水线是方法副产品——三者的许可与获取方式各不相同(§6)。
- 全文统计数字以 arXiv 摘要、官方 GitHub README 与 HuggingFace API 实测为第一口径;二手转载(Neurohive/ChatPaper)仅在训练语料构成等摘要未覆盖处补充,且已在坑 2、坑 6 存照区分。
- 检索时遇到「Medical SAM 2」请先看作者与年份:Zhu et al.(Oxford,2024-08)与 Ma et al.(Toronto,2025-04)是两篇独立工作,坑 1 有完整对照。
§1 数据集速览:十问十答
Q1:「MedSAM2 dataset」到底指什么?
不是一个单一数据集。它是四件 HuggingFace 发布物的统称:CT_DeepLesion-MedSAM2(CT 病灶 3D 掩码)、LLD-MMRI-MedSAM2(多序列肝 MRI 3D 掩码)、RVENet-MedSAM2(超声视频帧掩码)、LUNA25-MedSAM2(肺结节分割集),外加一个关联的 FLARE25 泛癌 RECIST-to-3D 挑战赛任务数据。每件的图像来源、格式、许可都不同(§2、§6)。
Q2:这些掩码是新的还是从别处搬来的?
是新的。DeepLesion 原始数据只有 2D RECIST 标注框,从来没有 3D 病灶掩码;LLD-MMRI-2025 原始发布不含肝病灶 3D 掩码;RVENet 原始视频完全没有帧级标注。三件核心发布物的掩码都是 MedSAM2 人机协同流水线新产出的标注层——这也是本条目不构成「已有数据集组合视图」的核心依据(§9)。
Q3:图像从哪来?
图像本体来自四个既有公开来源:DeepLesion(NIH,4,427 患者 10,594 检查 32,735 病灶的 CT 底册)、LLD-MMRI-2025(498 患者多序列肝 MRI)、RVENet(831 患者 3,583 段经胸超声心动视频)、LUNA25 挑战赛 CT。MedSAM2 团队只负责标注层,图像获取须遵循各上游的条款——RVENet 尤其特殊,发布物里没有图像(§2.4)。
Q4:谁标的,怎么标的?
模型先标:MedSAM2 接收 2D 提示(RECIST 径线、框或初始掩码),把掩码传播到 3D 体数据全部切片或视频全部帧。人后修订:标注者修正传播错误,修订结果回流用于下一轮微调。论文做了三轮迭代,每轮模型变强、人工变少。这套流水线的全程时间账在 §3。
Q5:标注到底快了多少?
三种模态三本账:CT 病灶从 525.9 秒/病灶降到 74.3 秒/病灶(三轮后),MRI 肝病灶从 520.3 秒降到 65.2 秒,超声视频吞吐提升超过 12 倍。论文口径为「人工成本降低超过 85%」。这些数字是用户研究的实测均值而非厂商宣称(§3.3)。
Q6:四件发布物的格式是什么?
CT 与 MRI 两件是 NIfTI(.nii.gz)图像加 3D 掩码,注释元数据分别是 CSV(DeepLesion_Dataset_Info.csv)与 JSON(LLD_MMRI_Annotation.json);RVENet-MedSAM2 是一个 Annotations-MedSAM2.zip 压缩包,只装帧级掩码;LUNA25-MedSAM2 与 FLARE25 关联集另有 NPZ 数组格式(imgs/recist/gts 三键,供 RECIST 提示推理直接读取)。
Q7:license 能商用吗?
分件回答:代码 Apache-2.0(可商用,保留声明即可);模型权重 CC-BY-SA-4.0(可商用但需相同方式共享);LUNA25-MedSAM2 明示 CC-BY-NC-4.0(禁商用);CT_DeepLesion、LLD-MMRI、RVENet 三件 HF 卡没有标 license,需要按各自上游数据的条款判断——DeepLesion 与 RVENet 原始数据都有研究用途限制(§6.1)。
Q8:MedSAM2 模型本身在哪拿?
HuggingFace 模型库 wanglab/MedSAM2(CC-BY-SA-4.0),GitHub 仓库 bowang-lab/MedSAM2(Apache-2.0)提供 download.sh 拉取 ckpt;除整体 ckpt(MedSAM2_latest.pt)外还有任务特化版:MedSAM2_CTLesion.pt(CT 病灶)、MedSAM2_MRI_LiverLesion.pt(MRI 肝病灶)、MedSAM2_US_Heart.pt(超声心动)。3D Slicer 插件、Gradio 页面与两个 Colab notebook 全部公开。
Q9:和库内已有的 3D 分割数据集是什么关系?
上游与同域两类。上游:CT_DeepLesion-MedSAM2 的图像来自库内 deeplesion(17) 条目的原始数据;FLARE25 关联集与 flare(387)/flare-2026(940) 同属 FLARE 系。同域:amos(76)、totalsegmentator(422)、btcv(377)、chaos(337) 是同一代 3D 分割生态的器官级数据集,与本病灶级定位互补;echonet-dynamic(526) 等超声心动数据集与 RVENet 同模态但无视频掩码。完整对照在 §9、§10。
Q10:为什么它对 AI-Ready 重要?
三点。第一,公开直链、标准格式(NIfTI/JSON/NPZ),HF 平台可脚本化拉取,无需注册申请。第二,它是目前公开数据集中「交互式标注成本」数据最完整的一个,可直接用于标注预算建模。第三,它的许可异构现状(一件 NC、三件未标)本身就是 AI-Ready 评估的现实教材——数据可用不等于许可清晰(§8 DAIMS 表逐维打分)。
Q11:MedSAM2 与 SAM2.1 原版在医学数据上差多少?
零样本迁移的 SAM2.1 各档在医学 3D 任务上的 DSC 大约落在 70-84% 区间(按任务不同),MedSAM2 微调后为 86-89%(§5.2 表)。差距在病灶类任务上最大(约 +15pp)——SAM2.1 的通用预训练没见过大量医学病灶掩码,域适配才是瓶颈。另一个反直觉发现:SAM2.1 四档之间差异无统计显著性(p>0.05),说明医学域适配与模型容量解耦。
Q12:训练语料的 455K 对能下载吗?
不能整体下载。公开的是四件套发布物(§2)与两个挑战赛关联集——它们是用户研究产出与挑战赛配套,合计规模远小于 455K。若要重建近似语料,可从 FLARE/TotalSegmentator/AMOS 等公开器官分割集(库内多条目)自行组装,但与论文语料的逐项构成无法对齐(论文未给逐数据集清单,§10.4 待核)。
Q13:掩码质量有金标准对照吗?
没有逐掩码的金标准复标对照。证据链是间接的:标注者全权修订模型输出、修订后掩码训练的模型在评测集 DSC 上升、三轮迭代单调改善(§3.4)。对质量敏感场景建议抽样人工复核——发布物不含「修订量」字段,无法从数据本身分辨模型直出与人工重画的比例。
Q14:可以直接用发布物训练 2D 分割模型吗?
可以但绕路。3D 掩码沿 z 轴切片即得 2D 掩码序列(CT/MRI 件),视频掩码本身按帧组织——它们天然是 2D 掩码的超集。但注意这批数据的采集与修订都以 3D/视频一致性为优化目标,2D 任务若追求逐切片最优(如独立帧的边界精修),特化 2D 数据集(库内 kvasir-seg(112)、refuge(62) 等)仍是更直接的来源。
Q15:RVENet 的 1,800 段为什么只占底册一半?
底册 3,583 段、标注 1,800 段——官方描述只说「在 human-in-the-loop 流水线中标注了 1,800 段」,未公开子集选择标准(§10.4)。使用者应把这 1,800 段视为「有掩码的子集」而非「随机抽样」,做流行病学式推断前先检查患者覆盖。
Q16:四件套的患者有重叠吗?
四件对应四个互不相同的上游数据源(DeepLesion/LLD-MMRI-2025/RVENet/LUNA25),彼此患者不重叠。但与库内其他条目可能同源:deeplesion(17) 与 CT 件同源——若你的训练集同时含两者,同一患者的 CT 会以「原始框标注」与「3D 掩码标注」两种形态出现,跨集去重要做患者级对齐(DeepLesion 患者编号可作键)。
Q17:Efficient MedSAM2 与原版什么关系?
Efficient MedSAM2 是基于 Meta EfficientTAM(arXiv:2411.18933)的轻量分支,2025-07-05 作为 FLARE25 泛癌 RECIST-to-3D 官方基线发布,卖点是 CPU 可跑的推理成本。它共享 MedSAM2 的训练方法论,但底座与算力档位不同。部署资源受限时选它,追求精度上限时选原版(§5.2 对照)。
Q18:能拿发布物做商业产品吗?
拆开回答(§6.1):模型权重 CC-BY-SA-4.0 与代码 Apache-2.0 允许商用(注意 SA 的相同方式共享义务);LUNA25-MedSAM2 明确 NC 禁商用;CT/MRI/RVENet 三件未标注,商用前必须核查上游条款——DeepLesion 与 RVENet 的原始数据均以研究用途为主线,保守判断是「科研可以、产品化要法务过会」。本条目不给未核实许可背书。
Q19:为什么用 RECIST 径线做提示而不是点/框?
RECIST(Response Evaluation Criteria in Solid Tumors)径线是肿瘤疗效评估的国际标准动作——放射科医生本来就要画。用它当分割提示有三个好处:临床零学习成本、歧义性低于点提示、径线端点天然框定病灶范围利于跨层传播。FLARE25 把「RECIST→3D」设为独立任务正是这一方法论的竞赛化(§3.5、§5.4)。
Q20:这条流水线标注的数据会持续更新吗?
有明确证据。GitHub 仓库持续更新(抓取时点最后更新 2026-10-06),LUNA25-MedSAM2 数据集 2026-05-28 仍在修改,团队公开征集无标注 3D 数据的合作(README 原文「actively looking to collaborate on annotating new large-scale 3D datasets」)——模型-数据飞轮仍在转,四件套大概率不是终点。订阅其 mailing list(README 链接)可跟踪新增发布物。
§1.5 快速事实卡:三十条一句话硬事实
以下三十条事实卡把全文最硬的数字与结论压成一句话,每条尾注给出处章节。用于快速核查与引用前对表。
模型侧(10 条):
- MedSAM2 的底座是 Meta 的 SAM2.1,全模型微调而非轻量适配器(§4.1)。
- 训练语料 455,000+ 个 3D 图像-掩码对(§4.2)。
- 训练语料 76,000+ 个视频帧(§4.2)。
- 语料 3D 侧拆分:CT 363,161 / MRI 77,154 / PET 14,818,求和 455,133(§4.2,转载口径)。
- 语料视频侧拆分:内镜 56,462 / 超声 19,232,求和 75,694(§4.2,转载口径)。
- 论文 arXiv:2504.03600 于 2025-04-04 提交,唯一版本(§2)。
- 代码仓库 2025-04-01 创建,抓取时点 727 stars / 139 forks(§6.4)。
- SAM2.1 四档在医学域差异无统计显著性(p>0.05),Tiny 够用(§4.1)。
- 任务特化 ckpt 有三枚:CTLesion / MRI_LiverLesion / US_Heart(§4.5)。
- Efficient MedSAM2 基于 EfficientTAM,CPU 可推理(§4.6)。
数据侧(10 条):
- 四件套:CT_DeepLesion / LLD-MMRI / RVENet / LUNA25 四件 HF 发布物(§2.1)。
- CT 件:DeepLesion 派生 5,000 病灶 3D 掩码(§2.2)。
- DeepLesion 底册:4,427 患者 / 10,594 检查 / 32,735 病灶(§2.2)。
- MRI 件:498 患者 3,984 病灶 × 8 序列(§2.3)。
- 八序列:C-pre / C+A / C+V / C+Delay / DWI / InPhase / OutPhase / T2WI(§2.8)。
- 超声件:831 患者 3,583 段底册,标注 1,800 段(§2.4)。
- 超声件产出 251,550 帧掩码,均值约 140 帧/段(§2.4)。
- 超声件只发掩码 zip,原图走 RVENet 官方渠道(§2.4)。
- LUNA25 件是四件套中唯一明示 license 者:CC-BY-NC-4.0(§2.5)。
- FLARE25 关联集 NPZ 三键:imgs / recist / gts(§2.5)。
标注与评估侧(10 条):
- CT 病灶标注时间:525.9 → 74.3 秒/病灶,三轮(§3.3)。
- MRI 病灶标注时间:520.3 → 65.2 秒/病灶(§3.3)。
- 超声标注吞吐提升 >12 倍(§3.3)。
- 总口径:人工成本降低 >85%(§3.3)。
- 评估指标:DSC 为主、NSD 为辅(§5.1)。
- DSC 五行:CT 器官 88.84 / CT 病灶 86.68 / MRI 器官 87.06 / MRI 病灶 88.37 / PET 病灶 87.22(§5.2)。
- 病灶类任务对 EfficientMedSAM-Top1 优势 5-13pp(§5.2)。
- 视频侧:超声追踪与 SUN 内镜双档一致领先(§5.3)。
- 挑战赛双基线:LUNA25 推理脚本 + FLARE25 Efficient MedSAM2(§5.4)。
- 平台四形态:3D Slicer / Gradio / Colab / 脚本批处理(§7.3)。
事实卡与正文冲突时的仲裁规则:以正文 §2-§6 的带口径版本为准——本卡是索引不是替代。
§2 数据构成与规格
2.1 四件套总览
MedSAM2 团队的公开数据发布物按「图像源 × 标注层 × 渠道」拆成四件,外加一个挑战赛关联集。先给总览,再逐件展开:
| 发布物(HF 仓库) | 图像源 | 模态 | 标注层(新增) | 规模 | 格式 | license 标注 | 下载量* |
|---|---|---|---|---|---|---|---|
| CT_DeepLesion-MedSAM2 | DeepLesion(NIH) | CT | 病灶 3D 掩码 | 5,000 病灶 | NIfTI + CSV | 未标注 | 5,965 |
| LLD-MMRI-MedSAM2 | LLD-MMRI-2025 | MRI(8 序列) | 病灶 3D 掩码 | 3,984 病灶 / 498 患者 | NIfTI + JSON | 未标注 | 5,063 |
| RVENet-MedSAM2 | RVENet | 超声心动视频 | 帧级掩码 | 1,800 段 / 251,550 帧 | ZIP | 未标注 | 419 |
| LUNA25-MedSAM2 | LUNA25 挑战赛 | CT | 肺结节分割标注 | 挑战赛口径 | NIfTI/NPZ | CC-BY-NC-4.0 | 178 |
* 下载量为 hf-mirror API 2026-10-09 实测值(lifetime 计数,随时间增长)。
四件的定位并不相同:CT 与 MRI 两件是用户研究的主产品(论文摘要点名的 5,000+3,984 两笔账),RVENet-MedSAM2 是视频模态的大规模产物(251,550 帧),LUNA25-MedSAM2 则是为 LUNA25 挑战赛配套发布的分割集。若把四件当作一个整体引用,需逐件核对许可与来源;若只想解决单一模态问题,按行取用即可。
2.2 CT_DeepLesion-MedSAM2:给 5,000 个 CT 病灶补上三维掩码
上游底册。DeepLesion 是 NIH 在 2018 年发布的通用病灶挖掘数据集:从 4,427 名唯一患者的 10,594 项 CT 检查中汇总 32,735 个病灶,横跨全身部位与病灶类型(肺结节、肝转移、淋巴结、骨病变等)。DeepLesion 的原生标注是 2D 的——每个病灶在影像科医生标记的那一层切片上有一个 RECIST 径线(最长径与最长垂直径)构成的轴对齐框。这个设计让 DeepLesion 天然适合「检索/检测」类任务,但做 3D 分割训练就缺一口气:没有体素级掩码。
本发布物做了什么。MedSAM2 团队从中选取 5,000 个病灶,以 RECIST 径线中层面为 2D 提示起点,让 MedSAM2 把掩码传播到整个 z 轴范围,再由人工修订,产出每个病灶的完整 3D 分割掩码。这正是论文摘要里第一笔用户研究账的载体(525.9→74.3 秒/病灶,§3.3)。
文件组织。仓库内容三类:
images/:CT 体数据与掩码,NIfTI 压缩格式(.nii.gz)。文件名完整沿用 DeepLesion 的编码规则{患者编号}_{检查编号}_{系列编号}_{起始层-终止层}_{截取序号}.nii.gz——例如000001_02_01_008-023_0000.nii.gz表示 1 号患者 2 号检查 1 号系列、第 8-23 层的第 0 个片段。不熟悉 DeepLesion 命名的使用者应先读原始文档(坑 5)。DeepLesion_Dataset_Info.csv:病灶级元数据表(对齐上游 8 键坐标体系)。README.md:使用说明与引用要求。
HF 元数据实测(2026-10-09):lastModified 2025-08-21;仓库顶层 size_categories 标 10K<n<100K 而卡面 cardData 标 1K<n<10K——HF 自家字段不一致,以实际文件清单为准(坑 5);下载 5,965 次、likes 20;无 license 标签、未设 gated。
使用要点。图像与掩码同仓库分发,开箱即训;但引用时按官方要求必须同时引用 DeepLesion 原始论文(Hosseinzadeh et al., 2018, doi:10.1117/1.JMI.5.3.036501)——下游论文只引 MedSAM2 不引 DeepLesion 属于违反上游条款的常见错误。
2.3 LLD-MMRI-MedSAM2:八序列肝 MRI 的 3D 病灶掩码
上游底册。LLD-MMRI-2025 是一个多序列肝脏 MRI 数据集(正式论文见 Neural Networks,ScienceDirect S0893608025001078 口径),核心特色是每个病灶配齐 8 个 MRI 序列:平扫(C-pre)、动脉期(C+A)、门脉期(C+V)、延迟期(C+Delay)、弥散加权(DWI)、同相位(InPhase)、反相位(OutPhase)、T2 加权(T2WI)。共 498 名唯一患者的肝病灶影像。多序列同病灶对齐正是肝影像 AI 的刚需——临床读片本来就是在期相之间来回比对,单序列模型在真实工作流里站不住。
本发布物做了什么。对其中 3,984 个肝病灶做 3D 分割掩码标注:先在某一序列生成 2D 掩码,再跨序列、跨层面传播并人工修订。这是论文摘要第二笔用户研究账的载体(498 患者、520.3→65.2 秒/病灶,§3.3)。
文件组织:
images/:多序列 NIfTI,文件名模式{MR编号}_{病灶号}_{序列名}_0000.nii.gz,序列后缀直接可读(C+A、C+Delay、C+V、C-pre、DWI、InPhase、OutPhase、T2WI)。LLD_MMRI_Annotation.json:病灶级标注 JSON(掩码索引与属性)。README.md。
HF 元数据实测:lastModified 2025-07-07;task_categories 显式标 image-segmentation;size 1K<n<10K;下载 5,063 次、likes 16;无 license 标签。
使用要点。八序列全配齐的病灶与只出现部分序列的病灶并存(上游采集决定),按序列过滤后再组批训练更稳;掩码与各序列的空间对齐依赖上游配准质量,做跨序列一致性实验前建议先抽验对齐误差。
2.4 RVENet-MedSAM2:25 万帧超声心动掩码,但不含原图
上游底册。RVENet 是一个经胸超声心动(TTE)视频数据集与筛查模型项目(rvenet.github.io),本体含 3,583 段视频、831 名唯一患者。超声心动视频的标注成本是医学视频之最——帧率高、探头运动大、心腔边界对比度低,逐帧手绘一个左心室轮廓对熟练标注员也要分钟级。
本发布物做了什么。团队用 MedSAM2 人机协同流水线对其中 1,800 段视频完成帧级掩码标注,产出 251,550 帧的掩码序列(平均每段约 140 帧),吞吐较纯人工提升 12 倍以上(§3.3)。这是论文摘要第三笔账,也是四件套里规模最大的一件(HF size 层级 100K<n<1M)。
关键限制——只发掩码。仓库文件只有一个 Annotations-MedSAM2.zip(帧级掩码与索引)加 README。原始超声视频不在发布物内,官方 README 明确要求「遵循 RVENet 的 guideline 获取原始图像」——即先从 rvenet.github.io/dataset 渠道取得 3,583 段原图,再把掩码 zip 对齐解压。这是四件套里唯一「掩码与图像分离分发」的一件(坑 3)。
HF 元数据实测:lastModified 2025-07-07;下载 419 次;无 license 标签;tags 含 task_categories:image-segmentation。
使用要点。第一,拿掩码之前先确认能拿到原图,否则这份数据无法独立使用。第二,RVENet 原图获取有自己的条款,下游研究要叠加两层许可考量。第三,视频掩码的组织方式与 RVENet 原始视频索引绑定,做训练前先对齐视频 id 与帧号。
2.5 LUNA25-MedSAM2 与 FLARE25 关联集:挑战赛侧的发布物
LUNA25-MedSAM2。LUNA25 是 lung nodule 检测/分割的挑战赛系列(luna25.grand-challenge.org),是老牌 LUNA16 的当代后继。2025 年 4 月 23 日,MedSAM2 团队发布 wanglab/LUNA25-MedSAM2,为挑战赛提供肺结节 CT 分割标注(官方更新日志口径)。这是四件套里唯一明确标注 license 的一件:CC-BY-NC-4.0——可以自由分享改编,但禁商用。HF 实测:lastModified 2026-05-28(仍在维护)、下载 178 次、likes 3。
FLARE-Task1-PancancerRECIST-to-3D。FLARE 系挑战赛(库内 flare=387、flare-2026=940)2025 届的任务一「泛癌 RECIST-to-3D」直接把 MedSAM2 的标注思路产品化:给肿瘤中层面的 RECIST 径线标记,要求模型产出全 3D 肿瘤掩码——模拟临床肿瘤测量工作流。数据以 NPZ 分发,每个文件三键:
imgs # (D, W, H),灰度 [0, 255]
recist # (D, W, H),{0,1} 二值 RECIST 径线标记(肿瘤中层面)
gts # (D, W, H),3D 肿瘤真值掩码(测试集不含此键)
团队同时发布了 Efficient MedSAM2(基于 EfficientTAM 的轻量版)作为该任务官方基线,训练配置 sam2.1_hiera_tiny512_FLARE_RECIST.yaml 公开。对参赛者而言,这套 NPZ + 配置 + 基线就是「挑战赛视角的 MedSAM2 数据包」。
2.6 上游谱系总表:图像从哪来,标注新在哪
| 发布物 | 上游数据集 | 上游原生标注 | 本发布物新增标注层 | 组合视图判定 |
|---|---|---|---|---|
| CT_DeepLesion-MedSAM2 | DeepLesion(4,427 患者/32,735 病灶) | 2D RECIST 框(key slices) | 3D 体素级病灶掩码 ×5,000 | 非组合视图:掩码层为新增 |
| LLD-MMRI-MedSAM2 | LLD-MMRI-2025(498 患者) | 多序列影像本体(无 3D 病灶掩码) | 3D 病灶掩码 ×3,984 × 8 序列 | 非组合视图 |
| RVENet-MedSAM2 | RVENet(831 患者/3,583 段) | 无帧级标注 | 帧级掩码 ×251,550(1,800 段) | 非组合视图 |
| LUNA25-MedSAM2 | LUNA25 挑战赛 CT | 挑战赛检测/分割标注 | 挑战赛配套分割集 | 挑战赛数据再分发 |
| FLARE25 关联集 | FLARE 2025 任务一 | RECIST 径线(输入) | gts 3D 真值掩码 | 挑战赛数据再分发 |
这张表同时是本条目的「反组合视图声明」:三件核心发布物的价值全部在新增标注层,图像本体按行指回上游——库内已有 deeplesion(17) 等上游条目承担图像源角色,本条目不重复登记上游图像。
2.7 格式与加载:从 HF 到 DataLoader 的最短路径
四件套的格式策略是「医学影像原生格式 + 平台友好元数据」:体数据一律 NIfTI(.nii.gz),元数据 CSV/JSON,视频掩码打 ZIP,挑战赛用 NPZ。这决定了加载路径:
- CT/MRI 两件:
huggingface-cli download wanglab/CT_DeepLesion-MedSAM2(或 LLD-MMRI-MedSAM2)后用 NiBabel/MONAI 直接读 NIfTI;元数据表用 pandas 读 CSV/JSON 做病灶级 split。 - RVENet-MedSAM2:
pip install datasets后按 HF datasets 接口拉取掩码;原图走 RVENet 渠道,本地按视频 id/帧号对齐。 - FLARE25 关联集:
np.load(..., allow_pickle=True)读三键数组,recist键直接喂给medsam2_infer_CT_lesion_npz_recist.py做提示推理。
平台侧的最低门槛是「有 HF 账号 + 磁盘配额」:无 gated、无注册审批、无邮件申请环节。这是 AI-Ready 光谱上最开放的一档;扣分项集中在许可元数据(三件未标 license)与 RVENet 的原图分离分发(§8 DAIMS)。
2.8 LLD-MMRI 八序列逐项解读:每个序列在临床上看什么
LLD-MMRI-MedSAM2 的核心资产是「同一病灶 × 八个 MRI 序列」的配齐结构。对不熟悉腹部 MRI 的算法工程师,逐序列说明其临床角色与算法含义:
| 序列(文件后缀) | 中文名 | 临床角色 | 算法含义 |
|---|---|---|---|
| C-pre | 平扫 | 注入对比剂前的基线影像 | 与增强期相减可解出强化模式 |
| C+A | 动脉期 | 肝细胞癌典型「快进」时相 | 病灶强化检测的经典特征位 |
| C+V | 门脉期 | 门静脉供血占优时相,转移瘤低强化 | 期相间对比是恶性指征核心 |
| C+Delay | 延迟期 | 观察「快出」廓清模式 | HCC诊断「快进快出」的后半证据 |
| DWI | 弥散加权 | 细胞密度/水分子弥散,弥散受限提示恶性 | 高信号病灶定位的辅助通道 |
| InPhase | 同相位 | 化学位移成像,水脂同相 | 与 OutPhase 配对做脂肪定量 |
| OutPhase | 反相位 | 水脂反相,含脂病灶信号下降 | 腺瘤/脂肪变特征的判别通道 |
| T2WI | T2 加权 | 液体成分敏感,囊肿/血管瘤高亮 | 囊实性鉴别的第一通道 |
三点使用提示:其一,「快进快出」(动脉期高强化 + 延迟期廓清)是肝细胞癌的影像学主征,算法做期相间特征融合时 C+A 与 C+Delay 的配对最关键;其二,八序列在原始采集里的空间对齐由上游数据集完成,掩码跨序列共享同一病灶索引,做多序列输入(channel-wise 堆叠或跨序列特征融合)时可直接按文件后缀组批;其三,并非每个患者都完美配齐八序列,实际可用序列数以 LLD_MMRI_Annotation.json 的索引为准,组批前先做序列完整性统计。
2.9 DeepLesion 上游档案深读:CT 件为什么这样设计
CT_DeepLesion-MedSAM2 的诸多「怪设计」都源于 DeepLesion 的原生结构,读懂上游档案就懂了发布物:
- 为什么病灶是「片段」而不是整个 series:DeepLesion 以「key slice ± 上下文」的方式切出病灶相关层段(文件名里的
008-023就是层段范围),发布物沿用了这一切片逻辑——每个 NIfTI 是围绕病灶的局部体数据,不是完整 CT 系列。这既是存储效率设计(32,735 病灶全系列会膨胀数十倍),也是训练便利设计(掩码范围与层段范围天然对齐)。副作用是:做「全肝/全肺背景建模」的研究者需要回上游取完整系列。 - 为什么文件名是数字密码:
{患者}_{检查}_{系列}_{层段}_{片段}的编号体系与 DeepLesion 官方 8 键坐标(world coordinates)联动,保证发布物掩码可以与上游任何标注、任何衍生工作对齐——这是「增量标注层」类数据集的标准做法:不改上游命名,只加层。 - 为什么 5,000 而不是 32,735:5,000 是用户研究的标注量口径(§3.3),不是上游全量。选择过程论文未披露逐例清单,metadata CSV(DeepLesion_Dataset_Info.csv)是病灶级使用的权威索引。不要在论文里写「DeepLesion 全量 3D 重标注」——5,000 是样本,32,735 是底册。
2.10 超声心动模态档案:RVENet 为什么值得单独一节
四件套里 RVENet-MedSAM2 的模态最特殊,值得单独展开:
- 任务位:经胸超声心动(TTE)的结构分割/追踪——心腔(左室、左房、右室、右房)、心肌、瓣膜结构的帧级掩码。库内 echonet-dynamic(526)、echonet-lvh(530)、camus(533) 都是这一模态的定量任务数据集,但都不发布逐帧分割掩码(EchoNet-Dynamic 给的是 EF 值与轨迹点,CAMUS 给的是双视角关键帧掩码)。RVENet-MedSAM2 的 251,550 帧掩码是公开超声心动里规模最大的帧级分割标注资产。
- 难点位:超声的噪声(斑点噪声)、探头运动导致的视野跳变、心腔边界的低对比度,让逐帧人工描画的一致性极差——这正是模型传播收益最大的场景(>12× 吞吐的来源)。
- 用法位:帧级掩码可用于视频分割模型训练、心脏功能定量(舒张末/收缩末容积从掩码直接算)、以及作为超声基础模型的预训练监督。注意 1,800 段是 3,583 段底册的子集,掩码 zip 内的索引决定可用视频清单。
2.11 下载决策树:按场景选件
你的需求是什么?
├─ CT 病灶分割/检测训练
│ ├─ 要 3D 病灶掩码 → CT_DeepLesion-MedSAM2(掩码+图像齐备,开箱即用)
│ └─ 只要 2D 框/RECIST → 回上游 deeplesion(库内条目 17)
├─ 肝脏 MRI 多序列研究
│ ├─ 要病灶 3D 掩码(八序列对齐)→ LLD-MMRI-MedSAM2
│ └─ 要序列本身的影像学新发现 → 回上游 LLD-MMRI-2025
├─ 超声心动视频分割
│ ├─ 已能获取 RVENet 原图 → RVENet-MedSAM2 掩码 zip 对齐使用
│ └─ 拿不到原图 → 改用库内 echonet-lvh(530)/camus(533) 的关键帧掩码
├─ 肺结节挑战赛 → LUNA25-MedSAM2(注意 CC-BY-NC-4.0)
├─ RECIST→3D 肿瘤测量自动化 → FLARE25 关联集 + medsam2_infer_CT_lesion_npz_recist.py
└─ 只要模型不要数据 → HF wanglab/MedSAM2 权重 + GitHub 代码
决策树的三个隐藏约束:第一,「开箱即用」仅 CT 件成立——MRI 件要自组序列批、超声件要自取原图;第二,商用场景只剩代码与模型权重两块(SA 许可允许)加 MRI/CT 三件「未标注」的法务核查,LUNA25 件直接排除;第三,所有件都要求捆绑引用上游(§6.3),论文投稿前把引用链一次配齐。
2.12 从 DICOM 到训练集:四件套在数据管线中的位置
把四件套放进一个完整的医学影像 AI 数据管线,能看清它们「补在哪一段」:
原始采集(PACS/超声机/内镜工作站)
→ DICOM 归档与匿名化 ← 上游数据集的领地(DeepLesion/LLD-MMRI/RVENet/LUNA25)
→ 格式标准化(NIfTI/NPZ) ← 四件套沿用上游标准化成果
→ 【分割标注】 ← 四件套的领地:病灶 3D 掩码 + 帧级掩码
→ 质控与清洗 ← 使用者领地(§3.9 启发式 + 附录 E 清单)
→ 数据集划分(患者级 split) ← 使用者领地(附录 E)
→ 训练/评测 ← 使用者领地(MedSAM2 ckpt 可作基线)
→ 部署 ← 团队提供的平台栈(附录 N 五形态)
三个定位要点:第一,四件套精确卡在管线里最贵的一段(3D/视频标注),且以「新增标注层」形态叠加在上游标准化成果之上——不重复做归档、不重复做匿名化、不重复造格式;第二,标注段的上游(格式标准化)与下游(质控划分)都是使用者的领地,四件套不越界包办,这是它保持许可简洁性的原因之一;第三,管线两端的工具(标准化参照上游文档、部署走团队平台栈)都是现成的,使用者的工程量集中在中间的质控与划分——这正是附录 E 清单覆盖的环节。
对管线规划者的一个实用推论:评估引入四件套的成本时,只算「标注段替换收益」(对比纯人工 525.9 秒/病灶)加上「质控段新增成本」(模型在环掩码的抽样复核),不要把上游格式段的既有成本重复计入——那是任何数据源都要付的固定成本。
§3 标注流水线:模型在环的三轮迭代
3.1 流程骨架
MedSAM2 的标注流水线是一条「模型出力、人工兜底、数据回流」的闭环:
- 2D 提示:标注者在某一关键切片/帧上给出提示——RECIST 径线(临床肿瘤测量的原生工作流)、边界框,或一笔初始掩码。提示之所以选 2D 而非 3D,是因为框与径线的歧义性远低于 3D 输入,且对临床医生零学习成本。
- 模型传播:MedSAM2 以记忆注意力机制把 2D 提示沿 z 轴(CT/MRI)或时间轴(超声/内镜)传播,生成全 3D/全视频掩码初稿。
- 人工修订:标注者检查传播结果,修正泄漏、漏检与边界漂移。
- 数据回流:修订后的掩码进入下一轮微调集,模型更新后重新上线标注——重复至收敛。
这套流程的官方入口包括 3D Slicer 插件(MedSAMSlicer,面向临床医生桌面端)、Gradio 网页界面(本地 python app.py,支持视频上传、点/框/笔画提示、会话隔离)与 Colab notebook(云端快速试跑)。三种入口共享同一个传播内核,区别只在交互层。
3.2 为什么「3D 即视频」
流水线的可用性建立在 MedSAM2 的一个视角转换上:把 3D 体数据当作视频。SAM2 原生处理「帧序列中的目标追踪」,其记忆模块把当前帧特征与历史帧预测耦合。CT 的切片序列与超声的时序帧序列在数学结构上同构——都是「相邻帧差异小、目标连续」的序列。于是同一个微调后的模型同时服务三种输入:2D 图像(退化为单帧)、3D 体数据(z 轴当时间轴)、真视频(时序帧)。这个统一视角让标注流水线不用为每种模态写一套逻辑,也让下游训练数据可以在「3D 对」与「视频帧」之间自由换算。
论文对 2D 任务的处理方式值得注意:MedSAM2 对 2D 医学图像的支持主要靠把多张 2D 图像「伪序列化」(Zhu et al. 2024 版本则为此设计了自排序记忆库,两家技术路线在此分岔,坑 1)。对本条目而言,关键是 3D 与视频侧——那才是发布物数据的来源。
3.3 三笔时间账:用户研究的硬数字
论文的三轮用户研究是本条目数据价值的核心。三轮的机制是「每轮标注 → 模型微调 → 下一轮用更强的模型标更快」:
| 用户研究 | 模态/对象 | 上游规模 | 标注量 | 首轮时间 | 终轮时间 | 降幅 |
|---|---|---|---|---|---|---|
| 研究 1 | CT 病灶(DeepLesion 派生) | 32,735 病灶底册 | 5,000 病灶 3D 掩码 | 525.9 s/病灶 | 74.3 s/病灶 | 约 86% |
| 研究 2 | 肝 MRI 病灶(LLD-MMRI-2025 派生) | 498 患者 × 8 序列 | 3,984 病灶 × 8 序列 | 520.3 s/病灶 | 65.2 s/病灶 | 约 87% |
| 研究 3 | 超声心动视频(RVENet 派生) | 3,583 段 / 831 患者 | 1,800 段 → 251,550 帧 | 人工基线 | 吞吐 >12× | 成本降 >85% |
三个数字的口径要点:
- 525.9→74.3 秒与 520.3→65.2 秒是逐病灶全程(含修订)的均值,跨三轮取点比较;「>85%」是论文对总人工成本的统一口径(摘要原文「reduce manual costs by more than 85%」)。
- 251,550 帧是 1,800 段视频的掩码总帧数(均值约 140 帧/段);「>12×」是与纯人工逐帧描画的吞吐对比。
- 三笔账的底层素材(DeepLesion 底册 32,735 病灶、LLD-MMRI 498 患者、RVENet 3,583 段)在论文与上游文档间口径一致,可与 §2.6 谱系表互验。
3.4 标注质量的证据边界
人机协同掩码与纯专家手绘掩码之间必然存在差异,论文的证据链有三环:其一,标注者全程可修改模型输出(修订自由度保底);其二,MedSAM2 自身在评测集上的 DSC 高于被替代的人工流程基线(§5.2);其三,标注时间的大幅下降若有质量崩塌会立即反映在下游模型迭代上——三轮迭代确实单调改善。但要注意:发布物未附「逐掩码人工修订量」的明细字段,使用者无法从数据本身分辨某个掩码是「模型直接输出、人工零改动」还是「模型跑偏、人工重画」。对质量敏感的场景(如放疗靶区),建议抽样人工复核后再投入训练(rai:dataLimitations 已存照)。
3.5 与传统标注流水线的成本对照
把 MedSAM2 流水线放进标注成本谱系,位置一目了然:
| 流水线模式 | 代表案例 | 单位成本量级 | 一致性保障 |
|---|---|---|---|
| 纯专家逐层手绘 | 传统 3D 分割数据集 | 525-520 s/病灶量级(论文基线) | 高(专家自校) |
| 众包/学生初标+专家终审 | PANDA-PLUS 三层流水线(库内 panda-plus 条目) | 10-15 min/张复核 | 分层复核 |
| 模型在环修订 | MedSAM2 流水线(本条目) | 65-74 s/病灶;视频 >12× | 模型传播一致性+人工修订 |
| 纯模型自动标注(无人工) | 各类 SAM 蒸馏方案 | 秒级 | 无兜底,噪声未知 |
MedSAM2 流水线的独特卖点是「临床工作流原生提示」:RECIST 径线是肿瘤科医生每天都在画的东西,把它直接当分割提示,等于让「测量」与「标注」共用同一动作——这也是 FLARE25 把 RECIST-to-3D 设为独立任务的方法论背景。
§4 模型与训练语料:发布物数据的上游
4.1 模型底座与微调策略
MedSAM2 的底座是 Meta FAIR 的 SAM 2.1(Segment Anything Model 2 的 2024-09 更新版;原始 SAM2 论文 arXiv:2408.00714,ICLR 2025)。架构要点:Hiera 层级视觉 Transformer 骨干 + 流式记忆库(memory bank)+ 记忆注意力(memory attention),后者把当前帧特征条件化于历史帧的预测——这正是「3D 即视频」传播能力的来源。
微调策略(论文与官方配置口径):
- 全模型微调(full-model fine-tuning),非 LoRA/adapter 轻量方案;
- 差异化学习率:图像编码器用低学习率(保住预训练特征),其余组件用高学习率(适配医学域);
- 论文主配置用 SAM2.1-Tiny(hiera_tiny,512 输入口径),官方训练脚本 single_node_train_medsam2.sh 与多节点 sbatch 模板公开;
- 评测显示 SAM2.1 四档(Tiny/Small/Base/Large)在医学域表现无统计显著差异(p>0.05)——这也是选 Tiny 做主线的效率依据。
模型发布形态:wanglab/MedSAM2(HF,模型卡 license cc-by-sa-4.0)+ GitHub checkpoints 目录。ckpt 矩阵:MedSAM2_latest.pt(通用)、MedSAM2_CTLesion.pt(CT 病灶)、MedSAM2_MRI_LiverLesion.pt(MRI 肝病灶)、MedSAM2_US_Heart.pt(超声心动)。2025-07 又追加 Efficient MedSAM2(EfficientTAM 底座,面向 CPU/低算力推理,作为 FLARE25 基线)。
4.2 训练语料构成:455K 对 + 76K 帧
论文摘要口径:455,000+ 3D 图像-掩码对 + 76,000+ 视频帧。模态拆分取 Neurohive 转载口径(摘要未给明细):
| 语料块 | 数量 | 占比 |
|---|---|---|
| CT 图像-掩码对 | 363,161 | 79.8% |
| MRI 图像-掩码对 | 77,154 | 17.0% |
| PET 图像-掩码对 | 14,818 | 3.3% |
| 3D 对合计 | 455,133 | 100% |
| 内镜视频帧 | 56,462 | 74.6% |
| 超声视频帧 | 19,232 | 25.4% |
| 视频帧合计 | 75,694 | 100% |
两组拆分数求和分别落在 455K+ 与 76K+ 的摘要口径内,自洽;但ChatPaper 二手摘要把 77,154 记为 PET 对、与 Neurohive 互换——两处转载必有一误(坑 6 存照,条目正文取求和自洽的 Neurohive 口径并全程标注「转载口径」)。
与发布物的关系必须说清:训练语料 ≠ 发布物。455K 对语料是团队从公开与机构来源整合的微调集,论文未整体公开;公开的是用户研究产出的四件套(§2)。换言之,你能下载到「模型标注的新数据」,但拿不到「训练出模型的全量数据」——这是本条目与「数据集即论文附件」型条目的本质区别。
4.3 评测用的对比模型族
论文对照组三方:SAM2.1 原版四档(Tiny/Small/Base/Large,直接零样本迁移医学域)、EfficientMedSAM-Top1(EfficientTrack Anything 系的高效变体)、以及各模态任务特化 SOTA。指标为 DSC(Dice Similarity Coefficient)与 NSD(Normalized Surface Distance)。结果概览(Neurohive 转载口径):
| 任务 | MedSAM2 | EfficientMedSAM-Top1 | 最强 SAM2.1 变体 |
|---|---|---|---|
| CT 器官 | 88.84% (80.03-94.03) | 83.55% (67.20-91.78) | 约 80% |
| CT 病灶 | 86.68% (74.32-91.14) | 77.95% (69.15-84.81) | 约 70% |
| MRI 器官 | 87.06% (82.96-90.04) | 74.83% | 约 84%(Base) |
| MRI 病灶 | 88.37% (79.91-93.26) | 82.25% (68.30-90.53) | 约 72% |
| PET 病灶 | 87.22% (79.07-90.45) | 77.85% | 约 80%(Large) |
病灶类任务的优势最大(+7~16pp)——正是发布物数据聚焦的对象。细节展开见 §5。
4.4 模型-数据关系定性(条目边界声明)
为避免「模型条目伪装成数据集条目」,此处固定本条目的边界:
- 主体(入库对象):四件 HF 数据发布物 + FLARE25 关联集——可获取、可下载、有明确许可结构(哪怕异构)的数据对象。
- 工具(不入库主体):MedSAM2 模型权重、代码、插件——作为发布物数据的「生产工具与获取上下文」写入 §4/§7,供使用者复现标注或扩展数据。
- 方法(不入库主体):人机协同流水线(§3)——作为标注方法学背景与成本数据来源保留。
这一边界同时回应了 R002 类「模型名当数据集名」的证伪模式:本条目之所以成立,是因为存在独立可下载的数据发布物,而非把模型名虚指为数据集。
3.6 提示形式的工程细节
流水线的三种提示在工程侧各有明确入口,逐项拆解:
RECIST 径线提示。FLARE25 关联集的 NPZ 格式把 RECIST 标记存为与体数据同形状的 (D, W, H) 二值数组 {0,1}——径线只出现在肿瘤中层面(middle slice)。推理脚本 medsam2_infer_CT_lesion_npz_recist.py 的工作方式是「在中间层面模拟一个框提示」:把径线包围盒转换成 SAM2.1 的 box prompt 输入,再走 3D 传播。这条链路的意义在于:临床系统里已经存在的 RECIST 测量结果可以直接喂给模型,不需要重新设计交互。
边界框提示。3D CT 推理主入口 medsam2_infer_3D_CT.py 接收图像目录与框/元数据(README 示例:-i CT_DeepLesion/images -o CT_DeepLesion/segmentation),按批处理体数据并输出 NIfTI 掩码。框提示的歧义性低、与 SAM 家族训练分布一致,是批量标注场景的默认选择。
初始掩码提示。视频入口 medsam2_infer_video.py(-i 输入视频 -m 初始掩码 -o 输出)采用「首帧(或任意帧)给掩码、全段传播」模式——这正是 RVENet-MedSAM2 标注的实际工作方式:人工精描若干关键帧,模型把掩码铺满 251,550 帧。掩码提示的表达力最强(直接给出形状先验),代价是关键帧的人工成本最高;团队在时间账里摊平的正是这个成本(§3.3)。
3.7 三轮迭代的机制:为什么每一轮都更快
用户研究的三轮结构不是简单的重复劳动,而是一个嵌套的反馈系统:
- 第一轮:SAM2.1 底座 + 初版医学微调 ckpt 上线标注。模型对医学域的传播习惯尚未定型,错误模式集中在边界泄漏与跨层漂移——人工修订量大,525.9 秒/病灶(CT)的账单主要付在这里。
- 第一轮微调:修订后的掩码(约数千病灶级)进入训练集做增量微调。医学域的层间几何(各向异性 spacing、造影剂时相差异)被写进模型权重。
- 第二轮及以后:同类型新病灶的传播质量上升,人工修订量下降到 74.3 秒/病灶——省下的约 450 秒里,一部分是传播正确率提高(改得少了),一部分是修订置信度提高(改得快了)。
论文摘要对这套机制的表述是「human-in-the-loop pipeline to facilitate the creation of large-scale datasets」——注意主语是创建数据集:模型是手段,三轮迭代的每一轮产出都是发布物的增量。这也是「模型-数据飞轮」的字面实现:同一份人工预算下,第 N 轮的产出量显著高于第 1 轮,团队选择把每一轮的产出都发布出来而非只发最终轮。
4.5 ckpt 矩阵与选用表
官方发布的权重按任务粒度分层,选用逻辑如下:
| ckpt | 覆盖范围 | 适用场景 | 提示形式 |
|---|---|---|---|
| MedSAM2_latest.pt | 通用 3D/视频 | 新模态探索、通用管线 | 框/掩码 |
| MedSAM2_CTLesion.pt | CT 病灶 | CT 病灶批量分割(CT_DeepLesion 同分布) | 框/RECIST |
| MedSAM2_MRI_LiverLesion.pt | MRI 肝病灶 | 多序列肝 MRI 管线(LLD-MMRI 同分布) | 框 |
| MedSAM2_US_Heart.pt | 超声心动 | 心腔结构追踪(RVENet 同分布) | 初始掩码 |
| sam2.1_hiera_tiny.pt(底座) | 通用视频 | 从头医学微调的起点 | 框/点/掩码 |
| Efficient MedSAM2 | 通用(轻量) | CPU/低算力部署、FLARE25 基线 | RECIST/框 |
选用三原则:其一,有明确任务且与发布物同分布时优先任务特化 ckpt——它们的训练数据就是对应发布物,分布偏移最小;其二,跨模态泛化任务从 MedSAM2_latest.pt 起步,用自有数据微调;其三,底座 sam2.1_hiera_tiny.pt 只在复现论文训练流程(single_node_train_medsam2.sh + 自建语料配置)时需要。
4.6 算力档位与部署形态对照
| 形态 | 入口 | 算力需求 | 典型用户 |
|---|---|---|---|
| 桌面临床 | 3D Slicer 插件(MedSAMSlicer) | 单卡/工作站 | 放射科、肿瘤科医生 |
| 本地 Web | python app.py(Gradio 3.38.0 + ffmpeg) |
单卡 | 科室级标注组 |
| 云端试用 | Colab 双 notebook(CT/视频) | 免费 GPU 配额 | 评估者、教学 |
| 批量推理 | medsam2_infer_3D_CT.py 等脚本 | 单卡起,可并行 | 数据团队 |
| 低算力推理 | Efficient MedSAM2 | CPU 可跑 | 资源受限环境 |
| 训练复现 | single_node/multi_node 脚本 | 多卡(sbatch 模板给 HPC) | 算法团队 |
这张表的实际含义:四件套发布物的「生产环境」对使用者完全开放——你既可以用发布物训练模型,也可以把同一条流水线搬回自己的机构数据上复现同样的标注经济学(§3.3 的时间账就是可行性证明)。
3.8 时间账的换算与外推:把论文数字用到你自己的预算里
用户研究的三个数字(§3.3)可以直接换算成工程预算口径。换算前先记两条纪律:第一,这些是流水线终轮的均值,冷启动项目的首轮成本要按 525-520 秒档预估;第二,均值背后有任务方差(小病灶快、大而粘连的病灶慢),预算要留方差余量。
CT 病灶账。终轮 74.3 秒/病灶的构成近似为:提示放置(约 10 秒)+ 传播等待(秒级到十秒级)+ 修订扫描(约 40-60 秒)。外推:100 病灶的批量标注任务 ≈ 2 个工作小时(含抽查);1 万病灶 ≈ 2-3 个熟练标注员周。对照纯人工 525.9 秒/病灶(1 万病灶 ≈ 6 个人月),这就是「>85%」的成本差在排期上的样子。
MRI 多序列账。65.2 秒/病灶的性价比要看序列数:八序列配齐的病灶,掩码跨序列共享,人工修订一次覆盖八份影像——折算到「每序列每病灶」约 8 秒级,比任何逐序列独立标注方案便宜一个量级。做期相对比研究(§2.8)时这个折算优势会被进一步放大,因为期相间一致性天然有保障。
视频账。251,550 帧 / 1,800 段 ≈ 140 帧/段,吞吐 >12× 的另一面是:纯人工按每帧 15-20 秒保守估计,一段 140 帧的视频要 35-47 分钟;流水线把它压到分钟级。以「每视频 3 分钟」外推,1,800 段 ≈ 90 个标注小时——这就是为什么 25 万帧的掩码资产在纯人工时代不可能由一个小组完成。
外推的三条边界。其一,以上换算基于论文任务分布(全身 CT 病灶、肝 MRI、心超标准切面),换成极端任务(微小结节、术后解剖变异)要重估;其二,修订人员的熟练度曲线未在论文中单列,首轮到终轮的提速含学习效应;其三,GPU 推理吞吐按官方脚本与单卡口径,批量工程要自己压测流水线并行度。把这三条边界写进立项书,预算评审时能省掉一轮来回。
4.7 训练语料 × 发布物 × 库内条目:三层对照总表
本条目最容易混淆的就是「数据出现在三个层次上」。总表收束:
| 层次 | 内容 | 可获取性 | 在库位置 |
|---|---|---|---|
| 模型训练语料(输入侧) | 455K+ 3D 对(CT 363,161 / MRI 77,154 / PET 14,818)+ 76K 视频帧(内镜 56,462 / 超声 19,232) | 未整体公开(论文口径,逐数据集清单未披露) | 不入库(不可获取) |
| 标注发布物(输出侧,本条目主体) | CT 5,000 病灶 3D 掩码 / MRI 3,984 病灶×8 序列 / 超声 1,800 段 251,550 帧 / LUNA25 分割集 | HF 公开直链 | 本条目 medsam2-dataset |
| 上游图像源(发布物的素材层) | DeepLesion、LLD-MMRI-2025、RVENet、LUNA25、FLARE25 | 各自公开渠道/申请制 | deeplesion(17)、flare(387)、flare-2026(940)、luna16(237) 等对应条目 |
三层各回答一个问题:语料层回答「模型为什么会」,发布物层回答「模型标出了什么」,上游层回答「影像本体从哪来」。检索与引用时先定位层次,再落到对应来源——跨层混淆是本条目全部坑点(坑 2/3/6/8)的共同根源。
4.8 2D 任务定位的补充讨论
四件套全部是 3D/视频侧产物,MedSAM2 对 2D 的支持是「顺带」的:3D 掩码沿 z 轴切开就是成套 2D 掩码,视频掩码本身就是逐帧 2D。这个设计的隐含立场是:2D 医学分割的公开数据已经过剩(库内 kvasir-seg(112)、refuge(62)、isic 系等数十条),缺的是 3D 与视频的一致性标注。对使用者有两点提示:其一,若研究目标就是 2D 任务,用本条目数据要自己承担「从 3D 切 2D」的预处理与分布论证;其二,若做 2D/3D 统一模型研究,本条目数据正好提供「同一病灶在 2D 切片与 3D 体素两种监督粒度」的天然配对素材——这是纯 2D 数据集给不了的结构。
4.9 与 EfficientMedSAM 系的方法论对照
论文对照组里的 EfficientMedSAM-Top1 值得单独一节——它代表的是「同一条 SAM 医学化浪潮中,从算力约束出发的另一条路线」,两者的差异对本条目使用者的选型有直接含义。
出发点不同。MedSAM2 追求的是 3D/视频传播质量上限:SAM2.1 全模型微调、记忆注意力全程在线、训练语料 455K 对——成本投向「标注经济学」的长期收益。EfficientMedSAM(及其 Top1 变体)从部署端倒推:推理要能塞进算力受限环境,架构上做裁剪与蒸馏,代价是 DSC 全面落后 5-13pp(§5.2 表)。两者不是竞争关系而是算力光谱的两端。
任务侧重不同。EfficientMedSAM-Top1 的成绩单(CT 器官 83.55 / CT 病灶 77.95 / MRI 病灶 82.25 / PET 病灶 77.85)在器官任务上与 MedSAM2 差距收窄(+5.29pp),在病灶任务上差距拉大(+8.73pp、+9.37pp)——病灶的边界模糊性与跨层一致性要求恰好是记忆机制的长板。选型含义:器官级粗分割且算力紧张时 Efficient 系够用;病灶级、边界敏感、或需要视频传播时上 MedSAM2 主线。
与本条目数据的关系不同。四件套的掩码由主线 MedSAM2 产出;Efficient 系在生态里的角色是「让这些掩码的下游部署变便宜」——FLARE25 基线即此逻辑的落地(Efficient MedSAM2 作为挑战赛官方基线,§5.4)。使用者的典型路径因此是:用主线模型生产/校准掩码(贵但准),用 Efficient 系做线上推理(便宜且够用)。
工程提示。两条路线共享 NPZ/RECIST 提示接口(medsam2_infer_CT_lesion_npz_recist.py 与 eff_medsam2_infer_CT_lesion_npz_recist.py 同构),在管线里互换成本低——先用主线标数据、再训/选 Efficient 模型做服务的两段式是社区常见形态,也是论文作者设计 Efficient 分支的用意所在。
4.10 一个方法论追问:为什么是「全模型微调」
MedSAM2 选择 SAM2.1 全模型微调(而非 LoRA/adapter/prompt-tuning)在 2025 年的技术语境下值得注解。论文的隐含逻辑有三层:其一,医学域与自然图像的分布差异足够大(各向异性 spacing、造影剂时相、低对比边界),参数高效适配的容量可能不足——§5.2 显示病灶任务 SAM2.1 零样本落后 15pp 量级,这个缺口不是提示工程能填的;其二,微调语料由流水线滚动产出(§3.7),数据供给是可持续的,全模型微调的数据饥渴不构成瓶颈;其三,Tiny 档全模型微调的算力成本可控(单机多卡脚本即可),不需要为省训练算力牺牲表达力。
对使用者的迁移启示:如果要在自有 3D 数据上复现「MedSAM2 → 领域特化」的第二级微调,同样的三条件检查适用——分布差异大不大、有没有滚动数据供给、Tiny/Small 全模型微调算力是否可负担。三条件全满足时全模型微调仍是首选;否则 Efficient 系或参数高效方案是更稳的起点。这一判断与 §5.2 「SAM2.1 各档无显著差异」的评测结论互为印证:容量过剩的时代,数据与适配策略才是杠杆。
§5 评估与基准
5.1 评估协议总览
MedSAM2 的评估分四条线:其一,3D 图像分割(CT/MRI/PET,器官与病灶两类);其二,医学视频分割(超声心动、内镜息肉);其三,用户研究(标注效率即数据质量代理,§3.3);其四,挑战赛基线(LUNA25、FLARE25)。指标统一为 DSC 与 NSD;提示形式为框或 RECIST 径线(3D 任务在中层面模拟框提示)。对照族覆盖 SAM2.1 四档、EfficientMedSAM/EfficientTAM 系与任务特化 SOTA。
5.2 3D 分割:分模态成绩与解读
3D 侧结论(数字为 Neurohive 转载口径,区间为论文报告的跨任务范围):
| 任务族 | MedSAM2 DSC | 区间 | 对 EfficientMedSAM-Top1 | 对最强 SAM2.1 变体 |
|---|---|---|---|---|
| CT 器官 | 88.84% | 80.03-94.03 | +5.29pp | +数 pp |
| CT 病灶 | 86.68% | 74.32-91.14 | +8.73pp | +约 15pp |
| MRI 器官 | 87.06% | 82.96-90.04 | +12.23pp | +约 3pp(vs Base) |
| MRI 病灶 | 88.37% | 79.91-93.26 | +6.12pp | +约 16pp |
| PET 病灶 | 87.22% | 79.07-90.45 | +9.37pp | +约 7pp |
三个解读要点:
- 病灶显著强于器官。器官分割有多年特化模型积累(TotalSegmentator、FLARE 系等,库内有整组条目),MedSAM2 的相对优势收窄;病灶分割(尤其跨模态通用)才是本模型的主场——这与其发布物全部是病灶/结构掩码而非器官掩码完全对应。
- SAM2.1 各档无显著差异(p>0.05)。零样本迁移医学域时模型容量不是瓶颈,域适配才是——这解释了为什么 Tiny 全微调够用,也解释了 Efficient 版本为何能砍算力不砍分。
- 区间跨度大(约 15-20pp)。跨器官/跨病灶类型的方差远大于均值差,引用单点均值做跨论文对比时要带区间。
5.3 视频分割:超声与内镜
视频侧两条线。超声心动:RVENet 视频上的结构追踪(心腔等),MedSAM2 全档优于 SAM2.1 各档,且传播稳定性(帧间掩码连续性)是主要优势——这直接支撑了 251,550 帧掩码的产出效率(§2.4)。内镜:SUN 息肉视频集的 easy/hard 双子集评测,MedSAM2 在两档上一致领先、且跨难度档的 DSC 波动小于对照——息肉边界模糊场景(hard 子集)的鲁棒性是卖点。这两条线共同验证了「视频掩码发布物」的质量上限。
5.4 挑战赛基线:LUNA25 与 FLARE25
- LUNA25:团队发布 LUNA25-MedSAM2 分割集(§2.5)并维护推理代码(examples/infer_CT_LUNA25.py,2025-05-09 提交记录),为肺结节赛道提供 promptable 基线。
- FLARE25 RECIST-to-3D:Efficient MedSAM2 为官方基线(2025-07-05 更新),训练/推理全链路公开:sam2.1_hiera_tiny512_FLARE_RECIST.yaml 配置、NPZ 三键数据(imgs/recist/gts)、medsam2_infer_CT_lesion_npz_recist.py 推理脚本、CPU 可跑的轻量推理。该任务把「RECIST 径线 → 3D 肿瘤掩码」产品化为竞赛协议,是 MedSAM2 标注方法学的规模化验证场。
- 两场挑战赛都是「数据发布 + 基线模型 + 推理代码」三件套同时给,参赛者可复现到提交——这种全链路开源程度在挑战赛生态里属于第一梯队。
5.5 复现性资产清单
| 资产 | 位置 | 状态 |
|---|---|---|
| 训练配置(FLARE RECIST) | sam2/configs/sam2.1_hiera_tiny512_FLARE_RECIST.yaml | 公开 |
| 单机/多机训练脚本 | single_node_train_medsam2.sh / multi_node_train.sh | 公开 |
| 推理脚本(3D CT/视频/RECIST NPZ) | medsam2_infer_3D_CT.py / medsam2_infer_video.py / medsam2_infer_CT_lesion_npz_recist.py | 公开 |
| Colab demo(CT/视频) | README 双链接 | 公开 |
| 3D Slicer 插件 | bowang-lab/MedSAMSlicer(MedSAM2 分支) | 公开 |
| Gradio 应用 | app.py(gradio==3.38.0 + ffmpeg) | 公开 |
需要诚实标注的复现缺口:论文 455K 训练语料清单未整体公开(§4.2),第三方从零复现主模型只能用公开数据近似;挑战赛数据与用户研究发布物则是完全可复现路径。
§6 许可与获取:逐件异构的四层许可结构
6.1 逐件许可表(交稿时点实测)
| 对象 | license | 依据 | 商用 |
|---|---|---|---|
| 代码(bowang-lab/MedSAM2) | Apache-2.0 | GitHub API license 字段 | 可(保留声明与 NOTICE) |
| 模型权重(wanglab/MedSAM2) | CC-BY-SA-4.0 | HF 模型卡 YAML license 字段 | 可(相同方式共享) |
| CT_DeepLesion-MedSAM2 | 未标注 | HF 数据集元数据无 license 标签 | 按上游:DeepLesion 公开研究用途口径 |
| LLD-MMRI-MedSAM2 | 未标注 | 同上 | 按上游:LLD-MMRI-2025 条款 |
| RVENet-MedSAM2 | 未标注 | 同上 | 按上游:RVENet 原图条款(叠加) |
| LUNA25-MedSAM2 | CC-BY-NC-4.0 | HF 元数据 license:cc-by-nc-4.0 | 不可(NC 禁商用) |
| FLARE25 关联集 | 挑战赛条款 | FLARE-MedFM 组织方 | 按挑战赛规则 |
| 论文本体 | arXiv 默认 | arXiv:2504.03600 | 按出版社最终版为准 |
四点提示:第一,三件「未标注」不等于「无主」——HF 允许不填 license 字段,使用者的义务落在上游数据条款上(DeepLesion 原始影像属 NIH 公开发布、RVENet 原图走官方申请,坑 4)。第二,模型 CC-BY-SA-4.0 的「相同方式共享」会传染到用其产出的衍生模型权重分发,商用集成前要过一遍法务。第三,LUNA25-MedSAM2 是唯一明示 NC 的一件,别把四件套当统一许可打包转发。第四,若上游未来补标 license,以 HF 页面实时为准——本条目许可表述锁定在 2026-10-09 抓取时点。
6.2 获取路径与直链
全链路无注册墙、无邮件审批(RVENet 原图除外),最短路径如下:
- 数据四件套:HuggingFace 数据仓库——wanglab/CT_DeepLesion-MedSAM2、wanglab/LLD-MMRI-MedSAM2、wanglab/RVENet-MedSAM2、wanglab/LUNA25-MedSAM2;
huggingface-cli download <repo>或 datasets 库直接拉。 - 关联集:FLARE-MedFM/FLARE-Task1-PancancerRECIST-to-3D(HF)。
- 模型权重:wanglab/MedSAM2(HF)或
bash download.sh(GitHub)。 - 代码与配置:github.com/bowang-lab/MedSAM2(conda 环境 python=3.12、torch 2.5.1 cu124 口径)。
- RVENet 原图:rvenet.github.io/dataset 官方 guideline 渠道(申请制,叠加于掩码发布物)。
- 环境坑:Gradio demo 需要 ffmpeg 与固定版本(gradio 3.38.0、numpy 1.26.3);无 GPU 环境走 Efficient MedSAM2。
6.3 引用捆绑(citation bundle)
官方 README 明确要求:使用任一发布物时同时引用 MedSAM2 论文与对应上游数据集论文——
- MedSAM2:Ma et al., arXiv:2504.03600(2025)
- DeepLesion:Hosseinzadeh et al., DeepLesion: a large-scale and diverse dataset for the detection and classification of lesions, J Med Imag 5(3):036501(doi:10.1117/1.JMI.5.3.036501)
- LLD-MMRI:Neural Networks 论文(ScienceDirect S0893608025001078 口径)
- RVENet:rvenet.github.io 官方口径
- SAM2:Ravi et al., ICLR 2025(arXiv:2408.00714)
- Efficient MedSAM2 引用链追加 EfficientTAM(arXiv:2411.18933)
漏引上游是这类「衍生标注数据集」最常见的不当引用方式,期刊校核日益收紧,建议在致谢/数据声明段落逐一点名。
6.4 版本链与时间线
SAM 2 (Meta, 2024-07-30) — 通用视频分割底座
└─ SAM 2.1 (Meta, 2024-09-28 口径 ckpt) — 医学微调底座
└─ MedSAM2 (bowang-lab, 2025-04-04) — 本条目模型
├─ HF 数据四件套 (2025-04 起陆续) — 本条目主体
├─ LUNA25-MedSAM2 (2025-04-23) — 挑战赛配套
└─ Efficient MedSAM2 (2025-07-05) — FLARE25 基线
干扰项:Medical SAM 2 (Zhu et al., 2024-08) — 同名不同论文(坑 1)
维护活跃度:GitHub 仓库 2025-04-01 建,抓取时点 727 stars / 139 forks,最后更新 2026-10-06——一年半持续维护;数据仓库最后修改 2025-08-21(CT_DeepLesion)与 2026-05-28(LUNA25),均为活跃维护状态。
§6.5 坑点八则(检索与使用避坑)
坑 1:两篇 MedSAM-2 撞名,先分清再下载。
「Medical SAM 2」(Zhu J, Hamdi A, Qi Y, Jin Y, Wu J;Oxford 系;arXiv:2408.00874,2024-08-01 v1/2024-12-04 v2;项目页 supermedintel.github.io/Medical-SAM2)与「MedSAM2」(Ma J 等;Toronto bowang-lab;arXiv:2504.03600,2025-04-04)是两篇独立论文。前者卖点是自排序记忆库(self-sorting memory bank)与 One-Prompt Segmentation,评测 5 个 2D 任务 + 9 个 3D 任务,只发布代码不发布数据集;后者的数据发布物才是本条目主体。两篇都被引作「MedSAM-2」,参考文献看不清 arXiv 号就会张冠李戴。判别口诀:看日期与团队——2024 Oxford 无数据,2025 Toronto 有四件套。
坑 2:「11 个公开 2D 数据集 + 3 个 3D 视频数据集」的流传口径未获证实。
部分流传口径(含本条目立项 brief 的初始描述)称 MedSAM-2 的数据是「11 个公开 2D 数据集 + 3 个 3D 视频数据集的整合」。三源检索(arXiv 摘要、官方 README/HF、二手转载)均未出现该口径;实核口径是 455K+ 3D 对(CT/MRI/PET)+ 76K+ 视频帧(超声/内镜)。该说法疑与其他模型的训练集清点或与 Zhu et al. 的「5+9 任务」口径混淆。凡按「11+3」去数数据集的都会扑空。
坑 3:RVENet-MedSAM2 只有掩码,原图必须另取。
发布物仅含 Annotations-MedSAM2.zip。直接下载后既看不到图像也跑不了训练——必须先经 rvenet.github.io/dataset 的官方渠道取得 3,583 段原始视频,再按视频 id/帧号对齐解压。规划存储与工作流时把这一步算进前置依赖。
坑 4:license 四件各不同,打包转发前先查表。
代码 Apache-2.0、模型 CC-BY-SA-4.0、LUNA25-MedSAM2 CC-BY-NC-4.0、其余三件未标注(随上游)。三个高危动作:把四件套合并成一个「MedSAM2 数据包」再分发(会把 NC 与未标注件混进同一许可叙事)、基于模型权重做商用产品(SA 传染)、默认三件未标注数据可商用(上游 DeepLesion/RVENet 都有研究用途约束)。§6.1 表格逐件核对后再行动。
坑 5:CT_DeepLesion 文件名是 DeepLesion 密码,不是乱码。
000001_02_01_008-023_0000.nii.gz 这类文件名逐段对应「患者_检查_系列_切片范围_片段」。直接按文件名排序批量处理会把不同病灶混在一起;先读 DeepLesion 原始文档的 8 键坐标说明,再写解析。另外该仓库 HF 元数据 size_categories 顶层与卡面字段自相矛盾(10K<n<100K vs 1K<n<10K),估算下载量以实际文件清单为准。
坑 6:二手转载数字打架,认求和自洽的那个。
训练语料模态拆分:Neurohive 称 MRI 77,154 / PET 14,818,ChatPaper 称 PET 77,154。两处必有其一误,Neurohive 三数求和恰为 455,133(与摘要 455K+ 自洽),条目取 Neurohive 口径。教训:二手 AI 摘要的数字必须用求和/口径一致性校验后才可引用。
坑 7:HF 标签里的 arxiv:2504.63609 是个悬空 ID。
四件数据集的 HF 元数据 tags 都挂着 arxiv:2504.63609,但 arXiv API 查询该 ID 无结果。疑为数据卡誊写错误(正主是 2504.03600)。写脚本按 tags 抓关联论文时会拿到空结果,属预期现象。
坑 8:引用要带上游——漏引 DeepLesion/LLD-MMRI/RVENet 是高频事故。
官方 README 把「同时引用上游论文」写成硬要求(§6.3)。衍生标注数据集的学术礼仪与合规义务都在上游:只引 MedSAM2 论文的下游论文,审稿人有权按未注明数据来源处理。
坑 9:环境版本是「精确指定」型,随手 pip 会翻车。
官方安装链是精确锁定:conda 建 medsam2 环境(python=3.12),torch 固定 2.5.1 + torchvision 0.20.1 且必须带 --index-url https://download.pytorch.org/whl/cu124(Linux CUDA 12.4 口径),仓库本体 pip install -e ".[dev]"。Gradio demo 侧还要 ffmpeg 系统包 + gradio==3.38.0 + numpy==1.26.3 + ffmpeg-python + moviepy。随意升级 numpy/gradio 会导致 demo 白屏或视频解码失败;无 NVIDIA GPU 的机器直接走 Efficient MedSAM2 分支,别硬装 cu124 轮子。
坑 10:把「Medical SAM 2」仓库的示例数据当成 MedSAM2 发布物。
Oxford 团队(Zhu et al.)的项目仓库提供两个示例数据下载:REFUGE 眼底预处理包与 BTCV 腹部 CT 预处理包(HF 第三方用户托管)。它们是既有公开数据集的预处理镜像,用于跑通其训练脚本,不是 MedSAM2 四件套的一部分,也与 bowang-lab 无关。检索「MedSAM2 REFUGE/BTCV 下载」时极易串线——认准 wanglab org 与 bowang-lab org 两个官方账号。
6.6 快速上手:从零到第一次推理
第一步:环境(官方 README 口径)。
conda create -n medsam2 python=3.12 -y
conda activate medsam2
pip install torch==2.5.1 torchvision==0.20.1 \
--index-url https://download.pytorch.org/whl/cu124
git clone https://github.com/bowang-lab/MedSAM2.git && cd MedSAM2
pip install -e ".[dev]"
bash download.sh # 拉取 ckpt
第二步:CT 病灶批量推理(以 CT_DeepLesion-MedSAM2 为例)。
# 图像目录 → 掩码目录,框提示批量传播
python medsam2_infer_3D_CT.py -i CT_DeepLesion/images -o CT_DeepLesion/segmentation
第三步:视频传播(以 RVENet 掩码生产同款流程为例)。
# 输入视频 + 初始掩码 → 全段传播掩码
python medsam2_infer_video.py -i input_video_path -m input_mask_path -o output_video_path
第四步(可选):RECIST 提示与挑战赛数据。
# FLARE25 NPZ(imgs/recist/gts 三键)上的 RECIST 提示推理
python medsam2_infer_CT_lesion_npz_recist.py
# 低算力版本
python eff_medsam2_infer_CT_lesion_npz_recist.py
第五步(可选):本地 Web 界面。
sudo apt-get update && sudo apt-get install ffmpeg
pip install gradio==3.38.0
pip install numpy==1.26.3 ffmpeg-python moviepy
python app.py # 默认 7860 端口,支持视频上传与点/框/笔画提示
第六步(可选):从头训练/微调。
# 单机:在 sam2/configs/sam2.1_hiera_tiny512_FLARE_RECIST.yaml
# 的 data -> train -> datasets 段登记自有数据后:
sh single_node_train_medsam2.sh
# HPC 多机:
sbatch multi_node_train.sh
# Efficient MedSAM2(FLARE25 基线复现):
sh single_node_train_eff_medsam2_FLARE25.sh
六个步骤全部出自官方 README 与仓库脚本,无第三方包装。常见首跑失败按命中率排序:CUDA 版本与 cu124 轮子不匹配(回退 Efficient 分支)、ffmpeg 缺失(Gradio 起不来)、ckpt 未下载(先跑 download.sh)、NPZ 路径写错(allow_pickle=True 别漏)。
3.9 传播失败模式类型学:人工修订到底在修什么
「人工修订」在时间账里占了终轮成本的大头(74.3 秒中约 40-60 秒),修订对象不是随机的错误,而是可分类的传播失败模式。理解这套类型学对两个人群有用:自建流水线的工程团队可以据此设计复核界面,做数据清洗的研究者可以据此建立掩码置信度启发式。
类型一:边界泄漏(leakage)。掩码越过病灶真实边界侵入邻近组织——常见于病灶与周围强化组织对比度低的层面(动脉期肝病灶与肝实质)。修订动作:边界收缩与局部擦除。这是修订耗时占比最高的一类,也是「标注者经验」影响最大的一类。
类型二:跨层漂移(drift)。传播在 z 轴上逐渐偏移目标——起点层面正确、越往后越对不准。CT 层厚大(各向异性 spacing)时更明显。修订动作:跳回漂移起点重给提示,或逐层小修。工程对策是把 spacing 信息喂给提示选择(在物理间隔均匀的层面给提示)。
类型三:漏检(miss)。病灶的远端层面(如病灶末梢几层)被判定为背景,掩码提前终止。修订动作:手动补几层再让模型重新传播。漏检与病灶最大径相关——末端层病灶截面积小、对比度低。
类型四:多灶粘连(merge)。相邻多个病灶被合并成一个掩码——结节群、转移灶聚集场景。修订动作:拆分重标。这类错误在检测侧的代价最大(计数错),发布物索引以病灶为单位,使用前建议做连通域检查。
类型五:伪影误吸(artifact))。模型把伪影、血管、导管等高对比结构误并进掩码。修订动作:擦除 + 局部重传。金属伪影与造影剂时相错位是两个高发诱因。
类型学的一般结论:五类失败全部是「局部、可定位、可快速修复」的——这正是人机协同优于纯人工(慢)与纯自动(错得系统性)的机制解释:模型把错误从「全局性、结构性」压缩到「局部性、随机性」,人工修订就从「重画」降级为「修补」。给使用者的可操作启示:把连通域检查、体积突变检查、边界光滑度检查三个自动启发式放进数据清洗管线,可以先用机器把五类失败的高发掩码筛出来,让人工复核集中在最可疑的 10-20% 上。
§7 生态位:SAM 家族、MedSAM 谱系与数据集枢纽
7.1 SAM 家族医学化的三支路线
MedSAM2 不是孤例,而是「SAM 医学化」大潮中的 3D/视频支线代表。三条路线对照:
| 路线 | 代表工作 | 团队 | 适配对象 | 数据发布 |
|---|---|---|---|---|
| 2D 医学 SAM | MedSAM(Nat Commun 2024) | Ma Jun 等(bowang-lab 前作) | 2D 医学图像框提示分割 | 1.57M 图像-掩码对训练集(未整体公开)+ 数据集枢纽 |
| 3D/视频医学 SAM | MedSAM2(本条目) | bowang-lab + Harvard/UHN | 3D 体数据与医疗视频 | 四件套发布物(公开直链) |
| 3D 视角转换 + 记忆库改造 | Medical SAM 2(Zhu et al. 2024) | Oxford 系 | 2D/3D 统一 + One-Prompt | 无数据发布物(仅代码) |
三支共享同一个洞察:SAM 系交互式分割的「提示-传播」范式天然适配医学影像的临床工作流(画径线=给提示)。分歧在 3D 的实现路径——MedSAM2 直接把 3D 当视频喂给原版记忆机制,Zhu et al. 则改造记忆库本身。两条路线在 2D 伪序列化场景互为对照,在 3D 场景 MedSAM2 有数据发布物优势。
7.2 MedSAM 数据集枢纽与同门资产
MedSAM2 团队维护着医学分割数据集的公共枢纽 medsam-datasetlist.github.io(官方 README 的 Dataset List badge 指向它),汇总其历代工作覆盖的公开数据集与标注资产。同门资产脉络:
- MedSAM(2023-2024):1,570,263 图像-掩码对(1.5M 级 CT 机构数据 + 公开 2D 集),Nature Communications 2024 发表;与 MedSAM2 同一主力(Jun Ma)。MedSAM2 的「455K 对」语料策略可视为其 3D 化续篇。
- MedSAM2(2025-04):本条目。
- Efficient MedSAM2(2025-07):EfficientTAM 底座的轻量分支,面向 CPU 与低算力部署,FLARE25 官方基线。
- MedSAMSlicer:3D Slicer 插件仓库(MedSAM2 分支),把模型嵌入临床桌面工作流。
对检索者的含义:找 MedSAM2 数据时,medsam-datasetlist.github.io 与 bowang-lab GitHub org 是两个可靠的锚点;避开把「Medical SAM 2」(Oxford)仓库的示例数据(REFUGE/BTCV 预处理包)误认为 MedSAM2 发布物——那些只是第三方公开数据集的预处理镜像,不是新标注。
7.3 平台整合:从论文到科室落地
MedSAM2 的部署面在同类工作中最宽:3D Slicer(临床桌面端插件)、Gradio(本地/云端 Web 界面,支持会话隔离的多进程)、JupyterLab/Colab(研究端)、HuggingFace(权重分发)。论文对部署的定位是「practical tool」——这一实践取向解释了为什么团队同时维护数据发布物与插件生态:数据靠标注流水线滚动扩张,插件让新数据回流消耗,两头都活着。
对数据使用者的直接价值:拿到四件套掩码后,可以用同一套平台栈做「预训练(发布物)→ 微调(自有数据+插件标注)→ 部署(Slicer/Gradio)」的完整闭环,不需要在多套工具间搬运格式。
7.4 时间线详表:从 SAM2 发布到数据飞轮运转
| 时点 | 事件 | 来源锚 |
|---|---|---|
| 2024-07-30 | Meta 发布 SAM 2(通用视频分割底座) | §4.1 |
| 2024-08-01 | Zhu et al. 提交 Medical SAM 2(干扰线,Oxford) | 坑 1 |
| 2024-09-28 | SAM2.1 检查点口径发布(医学微调的底座) | §4.1 |
| 2024-12-04 | Medical SAM 2 更新 v2(干扰线) | 坑 1 |
| 2025-04-01 | bowang-lab/MedSAM2 仓库初建(GitHub) | S4 |
| 2025-04-02(约) | HF 四件套中 CT/LLD 两件建库(API _id 反推) | S19 |
| 2025-04-04 | arXiv:2504.03600 v1 提交 | S1 |
| 2025-04-23 | 发布 LUNA25-MedSAM2(官方更新日志) | S3 |
| 2025-05-09 | 仓库加入 LUNA25 推理代码 | S3 |
| 2025-07-05 | 发布 Efficient MedSAM2 FLARE25 基线 | S3 |
| 2025-07-07 | LLD-MMRI/RVENet 数据仓库最后修改 | S19 |
| 2025-07-11 | README 大版本更新(抓取可见的提交时点) | S3 |
| 2025-08-21 | CT_DeepLesion 数据仓库最后修改 | S19 |
| 2026-05-28 | LUNA25-MedSAM2 最后修改(持续维护证据) | S19 |
| 2026-10-06 | 代码仓库最后更新(抓取前 3 天) | S4 |
时间线读法:模型(04-01/04-04)先行、数据(04 月起)几乎同步上线,说明数据发布不是论文的「补丁」而是与模型同批规划的产品;下半年两条支线(挑战赛基线、轻量推理)展开;2026 年的两次数据仓库修改与代码持续更新证明飞轮仍在转(Q20)。
§8 DAIMS 评估:AI-Ready 八维打分
| 维度 | 得分(/5) | 评语 |
|---|---|---|
| 可获取性 | 5.0 | 四件套 HF 公开直链,无 gated、无注册、无审批;RVENet 原图需另行走官方渠道(扣的是上游,不是发布物本身) |
| 格式标准性 | 4.5 | NIfTI/NPZ/CSV/JSON 全医学影像原生格式,MONAI/NiBabel 直读;视频掩码 ZIP 打包需自行解对齐 |
| 许可清晰度 | 2.5 | 逐件异构:1 件 NC、3 件未标注;模型 SA 传染;商用需逐上游核查——AI-Ready 光谱上最大扣分项 |
| 文档完备度 | 4.0 | 官方 README + HF 卡 + 论文三源齐备,文件命名规则有据可查;训练语料全清单未公开 |
| 标注质量可核性 | 3.5 | 三轮用户研究时间账完整、DSC 可对标;但无逐掩码修订量字段,质量核验靠抽样 |
| 元数据丰富度 | 3.0 | 病灶级索引齐备(CSV/JSON);患者级人口学字段缺失,需回溯上游 |
| 可复现性 | 4.0 | 挑战赛链路(配置+脚本+基线)完全可复现;主模型训练语料不可完全复现 |
| 维护活跃度 | 4.5 | 仓库 2025-04 至 2026-10 持续更新;LUNA25 数据 2026-05 仍在维护;issue 响应活跃 |
| 加权总评 | 3.9 | 开放性顶格、许可元数据拖后腿的「高可用-弱许可」组合 |
与库内典型条目的横向定位:比「请求制」条目(如掩码需邮件申请的类型)开放一档;比「全件 CC-BY」条目的许可清晰度低两档;在「模型配套数据」这一类目里,其公开直链与格式原生性属于标杆水平。
§9 与库内条目的关系:非组合视图的正式声明
9.1 为什么本条目成立(对应 R002 证伪模式的自查)
R002 类证伪模式中第 3 类是「合并视图」——把已有条目的子集重新打包冒充新数据集。本条目对号自查的结论是不构成合并视图,证据链:
- 新增标注层:CT_DeepLesion-MedSAM2 的 3D 病灶掩码在 DeepLesion(库内 deeplesion=17)原始发布中不存在——DeepLesion 原生只有 2D RECIST 框。LLD-MMRI-MedSAM2 的 3D 肝病灶掩码不在 LLD-MMRI-2025 原始发布中。RVENet-MedSAM2 的 251,550 帧掩码不在 RVENet 原始发布中(RVENet 原始连标注都没有)。三者的数据价值是新标注,不是上游数据的搬运。
- 独立可下载:四件套在 HF 以独立仓库分发,有独立元数据、独立引用要求、独立许可状态——不是任何库内条目的镜像或切片。
- 单一主体:五件对象(四件套+FLARE25 关联集)由同一团队在同一模型流水线下产出,共享同一套时间线与引用链,作为一个「数据发布物整合」登记符合最小粒度原则;若按件拆条目,每件的独立内容不足以支撑完整条目结构。
9.2 模型-数据集定性核验(对应任务头预警)
任务头预警要求确认「MedSAM-2 是模型、其数据是整合」时是否触发证伪。核验结论:不触发,但条目定性必须改写——
- 预警假设「数据 = 11 个公开 2D 数据集 + 3 个 3D 视频数据集的整合」:该口径三源未获证实(坑 2),若成立则确属组合视图应予证伪;
- 实核发现「数据 = 团队自产的四件新标注发布物 + 两个挑战赛关联集」:主体是自产标注层而非外部数据集整合,组合视图风险解除;
- 处置:条目主体按「可获取的整合数据发布物」定性成稿(本节即声明),模型本体降为生产工具叙述,预警口径差异在 §6.5 坑 2 存照。
9.3 与库内同域条目的分工
| 库内条目(rid) | 关系 | 分工边界 |
|---|---|---|
| deeplesion(17) | 上游图像源 | 库内条目登记 DeepLesion 原始 2D 框标注;本条目登记 5,000 病灶 3D 掩码新增层 |
| flare(387) / flare-2026(940) | 同赛系关联 | FLARE 主条目登记赛事与主流任务;本条目只覆盖 RECIST-to-3D 与 MedSAM2 基线侧 |
| luna16(237) | 赛系前代 | LUNA16 为检测口径 CT 集;LUNA25-MedSAM2 是 2025 届分割配套 |
| amos(76) / totalsegmentator(422) / btcv(377) / chaos(337) | 同域互补 | 它们是器官级 3D 分割集;本条目发布物是病灶级掩码+视频掩码,任务类型不重叠 |
| echonet-dynamic(526) / echonet-lvh(530) / camus(533) | 同模态互补 | 它们是超声心动定量任务集(无帧级分割掩码);RVENet-MedSAM2 补视频掩码位 |
| kvasir-seg(112) | 同任务对照 | 内镜息肉 2D 分割;MedSAM2 侧对应 SUN 视频评测与内镜帧语料 |
结论:本条目与 22 个同域候选(§10.1 检索留痕)无一重合——既有上游(1 条)、同赛系(2 条)、同模态/同任务互补(6+ 条),无一条与本条目登记同一数据对象。
§10 建议互链点与附录
10.1 建议互链(库内条目 + rid)
从本条目出发的双向互链建议(发布方按 rid 核对):
- deeplesion(17):上游图像源;其条目「衍生数据」位可反链本条目(5,000 病灶 3D 掩码层)。
- flare(387):FLARE 系主条目;2025 届 RECIST-to-3D 任务与本条目基线互链。
- flare-2026(940):FLARE 后续届次;Efficient MedSAM2 基线延续。
- luna16(237):LUNA 赛系前代对照(检测→分割的赛系演进叙事)。
- echonet-dynamic(526) / echonet-lvh(530) / camus(533):超声心动同模态组;RVENet-MedSAM2 补视频掩码生态位。
- kvasir-seg(112):内镜息肉分割对照(2D 集 ↔ 视频评测)。
- amos(76) / totalsegmentator(422):3D 分割生态同域(器官级 ↔ 病灶级分工)。
- btcv(377) / chaos(337):早期 3D 分割基准的代际对照。
检索留痕:立项查重 SQL(url_name ILIKE medsam/sam2/segment-anything/sa-1b/kvasir/endoscopy/mose/amos)命中 7 条均为组件上游或同名异件(kvasir-hyperkvasir=75、amos=76、kvasir-seg=112、kvasir-capsule=123、kvasir-instrument=213、guacamol-moses=429、hyperkvasir=693),无 medsam/sam2 条目;二轮扩查(deeplesion/lld/flare/luna/echo/camus/refuge/btcv/chaos/totalsegmentator/isic/ultrasound/fetal)命中 22 条,全部为上游或同域关系(§9.3)。
10.2 来源清单(全部落照)
抓取说明:S1/S2 经 arXiv 摘要页直抓成功;S3 经 GitHub 页面直抓成功;S6-S9、S19 经 hf-mirror API 实测成功;S17/S18 经搜索快照获取。论文正文 HTML(arxiv/ar5iv)、项目主页(S20)三次抓取返回空内容(JS 渲染/反爬),正文细目未能直核——主数字已由 S1/S3/S5 与 S17/S18 四源交叉覆盖,正文级细目(逐数据集训练占比、消融表)列 §10.4 待核项。
10.3 双口径存照清单(全文汇总)
- 立项 brief 口径 vs 实核:brief 称「论文 2024、11 个公开 2D 数据集 + 3 个 3D 视频数据集」;实核为论文 2025-04、语料 455K+ 3D 对(CT/MRI/PET)+ 76K 视频帧(超声/内镜)。条目按实核成稿(坑 2)。
- 同名论文:Zhu et al. 2024(Oxford,Medical SAM 2,5+9 任务,无数据发布)vs Ma et al. 2025(Toronto,MedSAM2,四件套发布物)。slug 归属后者(坑 1)。
- 训练语料模态拆分:Neurohive(MRI 77,154/PET 14,818)vs ChatPaper(PET 77,154);取求和自洽的 Neurohive 口径(坑 6)。
- license:模型卡 cc-by-sa-4.0、代码 Apache-2.0、LUNA25 CC-BY-NC-4.0 明确;CT_DeepLesion/LLD-MMRI/RVENet 三件未标注——按「逐件异构」表述,不虚构统一许可(坑 4)。
- CT_DeepLesion size_categories:HF 顶层 10K<n<100K vs 卡面 cardData 1K<n<10K(坑 5)。
- HF tags 悬空 arXiv ID:四件 tags 均含 arxiv:2504.63609,arXiv API 无此 ID(坑 7)。
10.4 遗留疑点与待核项
- 论文正文级细目:训练语料逐数据集清单与占比、消融实验全表、视频评测逐集数字——待论文 HTML/PDF 可抓取或正式期刊版发表后补核。当前主数字(455K/76K/85%/三项用户研究量/DSC 五行表)由摘要+README+双转载四源交叉,置信度足够条目成稿。
- RVENet 原图获取流程细节:申请制具体步骤、审批时长、是否学术限定——guideline 页未直抓,待补核。
- arxiv:2504.63609 悬空 ID:疑为 HF 数据卡誊写错误,无法进一步核实来源意图。
- 正式期刊版:截至抓取时点 MedSAM2 未见期刊正式版(arXiv v1 为唯一版本);若后续见刊,引用与 license 需按出版社版本复核。
- SAM2.1 预训练数据在 2D 医学域的残留能力:论文摘要未涉及,正文未直核;对「2D 任务是否需要重新微调」的实践问题保持开放。
10.5 数据快照声明
本条目全部元数据(下载量、likes、license 标签、仓库星标、lastModified)锁定在 2026-10-09 抓取时点;HF 平台计数与 GitHub 星标随时间增长,引用时请以实时页面为准。数据内容本身(掩码数量、患者数、序列结构)以上游与官方 README 声明为最终口径。
附录 A 术语表(按出现顺序)
| 术语 | 英文 | 释义 |
|---|---|---|
| promptable segmentation | promptable segmentation | 以点/框/径线/掩码等提示驱动的交互式分割范式 |
| SAM 2 / SAM2.1 | Segment Anything Model 2 | Meta FAIR 的通用视频分割基础模型;2.1 为 2024-09 更新版 |
| MedSAM2 | — | bowang-lab 在 SAM2.1 上以 455K+ 3D 对与 76K+ 视频帧微调的医学版本 |
| RECIST | Response Evaluation Criteria in Solid Tumors | 实体瘤疗效评价标准,核心动作是测病灶最长径与垂直径 |
| RECIST-to-3D | — | 由 2D 径线标记自动生成 3D 肿瘤掩码的任务设定(FLARE25 任务一) |
| human-in-the-loop | — | 人机协同:模型出初稿、人修订、数据回流再训练的闭环 |
| memory bank / memory attention | — | SAM2 的流式记忆模块,把当前帧特征条件化于历史帧预测,是跨层/跨帧传播的机制基础 |
| 3D 即视频 | treat 3D as video | 把 CT/MRI 的 z 轴切片序列视作视频帧序列复用视频追踪机制的方法论 |
| DSC | Dice Similarity Coefficient | 分割重叠度指标,2 |
| NSD | Normalized Surface Distance | 表面距离类指标,衡量掩码边界贴合度,本文第二指标 |
| NIfTI | Neuroimaging Informatics Technology Initiative | 医学体数据标准格式,.nii.gz 为其 gzip 压缩形态 |
| NPZ | NumPy compressed archive | numpy 多数组压缩容器;FLARE25 数据用 imgs/recist/gts 三键 |
| key slice | — | 影像科医生标记病灶的中心切片;DeepLesion 标注与提示生成的锚点 |
| 8 键坐标 | 8-key coordinates | DeepLesion 用 8 个世界坐标点描述 RECIST 框的编码体系 |
| TTE | Transthoracic Echocardiography | 经胸超声心动,RVENet 的采集模态 |
| 多序列 MRI | multi-sequence MRI | 同一病灶在平扫/动脉/门脉/延迟/DWI/同反相位/T2 等序列下的配准采集 |
| gated repo | — | HF 仓库的访问门控机制;四件套均未设门控(gated=false) |
| CC-BY-SA-4.0 | — | 署名-相同方式共享许可;模型权重采用,衍生分发需同许可 |
| CC-BY-NC-4.0 | — | 署名-非商业许可;LUNA25-MedSAM2 采用,禁商用 |
| Apache-2.0 | — | 宽松开源软件许可;代码仓库采用,含专利授权条款 |
| citation bundle | — | 使用衍生标注数据时捆绑引用上游数据集论文的义务(§6.3) |
| EfficientTAM | Efficient Track Anything | Meta 的轻量视频追踪模型,Efficient MedSAM2 的底座 |
| 飞轮 | flywheel | 模型越好标注越快、标注越多模型越强的正反馈结构 |
附录 B 引用模板(官方 BibTeX 原文照录)
使用任一发布物时,官方要求引用 MedSAM2 论文并按需捆绑上游与底座(§6.3)。BibTeX 照录官方 README:
@article{MedSAM2,
title={MedSAM2: Segment Anything in 3D Medical Images and Videos},
author={Ma, Jun and Yang, Zongxin and Kim, Sumin and Chen, Bihui and Baharoon, Mohammed and Fallahpour, Adibvafa and Asakereh, Reza and Lyu, Hongwei and Wang, Bo},
journal={arXiv preprint arXiv:2504.03600},
year={2025}
}
引用 SAM2 底座:
@inproceedings{SAM2,
title={{SAM} 2: Segment Anything in Images and Videos},
author={Nikhila Ravi and Valentin Gabeur and Yuan-Ting Hu and Ronghang Hu and Chaitanya Ryali and Tengyu Ma and Haitham Khedr and Roman R{\"a}dle and Chloe Rolland and Laura Gustafson and Eric Mintun and Junting Pan and Kalyan Vasudev Alwala and Nicolas Carion and Chao-Yuan Wu and Ross Girshick and Piotr Dollar and Christoph Feichtenhofer},
booktitle={International Conference on Learning Representations},
year={2025}
}
使用 Efficient MedSAM2 时追加:
@article{xiong2024efficienttam,
title={Efficient Track Anything},
author={Yunyang Xiong and Chong Zhou and Xiaoyu Xiang and Lemeng Wu and Chenchen Zhu and Zechun Liu and Saksham Suri and Balakrishnan Varadarajan and Ramya Akula and Forrest Iandola and Raghuraman Krishnamoorthi and Bilge Soran and Vikas Chandra},
journal={preprint arXiv:2411.18933},
year={2024}
}
上游捆绑按件追加:CT 件加 DeepLesion(doi:10.1117/1.JMI.5.3.036501);MRI 件加 LLD-MMRI(Neural Networks 口径);超声件加 RVENet;LUNA25 件加挑战赛说明文档。
附录 C 指标与格式速解
DSC(Dice)。两掩码体积交并比的两倍形式,1 表示完全重合。跨论文对比时注意三个口径坑:训练/测试划分不同、病灶大小分层不同、提示形式不同(框 vs 掩码)都会造成 5-10pp 的表观差——引用 §5.2 数字时带上区间与任务限定语。
NSD(Normalized Surface Distance)。在掩码表面采样点对点距离、以容差阈值归一化的边界贴合度指标。DSC 高而 NSD 低的典型场景是「体积对但边界毛糙」——放疗靶区等边界敏感应用必须同时看 NSD。论文以 DSC 为主指标、NSD 为辅。
NIfTI (.nii.gz)。体数据通用格式,头部自带 spacing/origin/方向矩阵。CT/MRI 两件用它可以被 MONAI、NiBabel、SimpleITK、3D Slicer 直接读取;掩码与图像同形状同坐标系,无需配准后处理(前提是上游对齐质量过关,§2.3)。
NPZ 三键。FLARE25 关联集的打包形态:imgs(D,W,H 灰度 [0,255])、recist({0,1} 中层面径线标记)、gts(3D 真值;测试集无此键)。读取用 np.load(..., allow_pickle=True);recist 键可原样喂给 RECIST 推理脚本——这是「标注即提示」设计的落地形态。
HF 数据仓库结构。四件套均为标准 HF dataset 仓库:README.md(卡面)+ 数据文件 + 索引文件(CSV/JSON)。huggingface-cli download 与 datasets.load_dataset 均可拉取;无 gated、无分片加密、无自定义加载脚本依赖(掩码 zip 件除外,需解压对齐)。
附录 D HF 仓库文件清单实录(API siblings 抽样,2026-10-09)
CT_DeepLesion-MedSAM2(顶层条目):
| 文件 | 说明 |
|---|---|
| DeepLesion_Dataset_Info.csv | 病灶级元数据索引 |
| images/000001_02_01_008-023_0000.nii.gz | CT 体数据+掩码(DeepLesion 编码命名,抽样首例) |
| images/000002_02_01_044-083_0000.nii.gz | 同上(示例第二例) |
| images/…(NIfTI 逐一编号) | 全量以仓库实际清单为准 |
| README.md | 使用说明与引用要求 |
LLD-MMRI-MedSAM2(顶层条目):
| 文件 | 说明 |
|---|---|
| LLD_MMRI_Annotation.json | 病灶级标注索引 |
| images/MR-391135_1_C+A_0000.nii.gz | 动脉期(抽样首例) |
| images/MR-391135_1_C+Delay_0000.nii.gz | 延迟期 |
| images/MR-391135_1_C+V_0000.nii.gz | 门脉期 |
| images/MR-391135_1_C-pre_0000.nii.gz | 平扫 |
| images/MR-391135_1_DWI_0000.nii.gz | 弥散加权 |
| images/MR-391135_1_InPhase_0000.nii.gz | 同相位 |
| images/MR-391135_1_OutPhase_0000.nii.gz | 反相位 |
| images/MR-391135_1_T2WI_0000.nii.gz | T2 加权 |
| images/…(逐患者逐序列) | 八序列结构全程可读 |
RVENet-MedSAM2(顶层条目):.gitattributes + Annotations-MedSAM2.zip(全部帧级掩码)+ README.md——仅三目,无图像文件(§2.4)。
LUNA25-MedSAM2:image-segmentation 任务标注仓库(HF 元数据口径),文件结构与 LUNA25 挑战赛病例 id 对齐。
清单提示:HF API 的 siblings 是全量文件列表(本表为抽样展示),估算磁盘占用前用 API 数一数再决定全量还是按需下载。
附录 E 使用前检查清单(按件拆分)
通用(四件套共用):
- [ ] 已读 §6.1 许可表并确认用途(科研/商用)与所选件的许可兼容
- [ ] 引用链配齐:MedSAM2 论文 + 对应上游论文(§6.3、附录 B)
- [ ] 磁盘与带宽预估完成(用 HF API 数文件,勿按 size_categories 字段估算——坑 5)
- [ ] hf 下行通道可用(国内环境走 hf-mirror 端点)
- [ ] split 策略按患者级而非病灶级(同患者多病灶会泄漏进验证集)
CT_DeepLesion-MedSAM2:
- [ ] 已读 DeepLesion 文件名编码规则(坑 5),解析脚本过单测
- [ ] 确认研究需要的是「局部病灶体数据」而非完整 CT 系列(§2.9)
- [ ] 与库内 deeplesion(17) 条目数据同用时的患者级去重方案(Q16)
- [ ] 引用捆绑 DeepLesion 原论文
LLD-MMRI-MedSAM2:
- [ ] 序列完整性统计先跑一遍(八序列非全配齐,§2.8)
- [ ] 跨序列对齐误差抽验(掩码跨序列共享索引,依赖上游配准)
- [ ] 引用捆绑 LLD-MMRI 论文
RVENet-MedSAM2:
- [ ] 先确认原图获取渠道已打通(§2.4、坑 3),否则掩码不可用
- [ ] RVENet 上游条款已核(叠加许可)
- [ ] 视频级 split(1,800 段为底册子集,勿做随机抽样假设,Q15)
- [ ] 引用捆绑 RVENet
LUNA25-MedSAM2 / FLARE25 关联集:
- [ ] 确认 NC 限制(LUNA25 件)或挑战赛条款(FLARE25 件)与用途兼容
- [ ] NPZ 三键读取脚本含 allow_pickle=True(§4.6)
- [ ] 挑战赛提交格式与本地实验格式分离管理
附录 F 快查 FAQ:按检索意图直达
「我想下载 MedSAM2 数据集」 → 没有单一「MedSAM2 数据集」。按 §2.11 决策树选件;四件 HF 仓库名见 §2.1 表。
「MedSAM2 论文是哪篇」 → arXiv:2504.03600(2025-04,Toronto)。若你拿到的引用写 2024 年或 Oxford,那是另一篇 Medical SAM 2(坑 1)。
「训练数据在哪下」 → 455K 训练语料未公开(§4.2);公开的是标注产品四件套。要近似语料需自行从公开 3D 分割集组装(Q12)。
「有没有 3D 掩码版 DeepLesion」 → 有,就是 CT_DeepLesion-MedSAM2:5,000 病灶 3D 掩码(§2.2)。全量 32,735 病灶的 3D 掩码不存在。
「肝 MRI 分割数据集推荐」 → 多序列病灶级选 LLD-MMRI-MedSAM2(§2.3);器官级(肝实质/血管)看库内 amos(76)、chaos(337) 与 MSD 系条目。
「超声心动分割掩码哪来的」 → RVENet-MedSAM2,251,550 帧(§2.4);与 echonet-dynamic(526) 等定量集互补。
「RECIST 提示的分割怎么做」 → FLARE25 NPZ 三键 + medsam2_infer_CT_lesion_npz_recist.py(§4.6、§5.4、附录 C)。
「能商用吗」 → 代码与模型可以(注意 SA 传染);LUNA25 件不行(NC);三件未标注件过上游法务(§6.1、Q18)。
「标注一条 3D 病灶要多久」 → 流水线终轮口径:CT 74.3 秒/病灶、MRI 65.2 秒/病灶;首轮是 525.9/520.3 秒(§3.3)。
「模型在哪下、什么许可」 → HF wanglab/MedSAM2,CC-BY-SA-4.0;ckpt 矩阵见 §4.5。
「和 Medical SAM 2 (2024) 用哪个」 → 要数据发布物与 3D/视频传播选 MedSAM2;只做 2D/3D 通用交互实验且需要 One-Prompt 能力可对照 Zhu et al. 路线(§7.1)。
「怎么引用」 → 附录 B 三段 BibTeX + 上游捆绑,漏引上游是高频审稿意见(坑 8)。
附录 G 常见错误速查表
| 症状 | 根因 | 处置 |
|---|---|---|
| 按文件名排序后病灶错乱 | DeepLesion 编码逐段是编号不是序号 | 按 Info.csv 索引取件(坑 5) |
| 掩码 zip 下载后无法训练 | RVENet 件不含图像 | 先走 RVENet 官方渠道取原图(坑 3) |
| pip 装完 import 报错 | torch/numpy 版本漂移 | 严格按 §6.6 版本链重装(坑 9) |
| Gradio 起不来 | 缺 ffmpeg 或 gradio 版本不符 | apt 装 ffmpeg + gradio==3.38.0 |
| NPZ 读取 KeyError | 未 allow_pickle / 测试集无 gts 键 | np.load(allow_pickle=True);gts 仅训练/验证集有 |
| arXiv 引用查无此号 | 误用了 HF tags 里的 2504.63609 | 正主是 2504.03600(坑 7) |
| 商用评估翻车 | 把四件套当统一许可 | 逐件过 §6.1 表(坑 4) |
| 验证集分数虚高 | 同患者病灶跨集泄漏 | 患者级 split(附录 E 通用项) |
| 二手页面数字对不上 | PET/MRI 拆分转载互换 | 取求和自洽口径并标注转载来源(坑 6) |
| 找不到「11+3」数据集清单 | 该口径本身不成立 | 按 §4.2 实核口径理解(坑 2) |
附录 H 三个场景 playbook
场景一:训练一个 CT 病灶自动分割模型(科研)。
- 下载 CT_DeepLesion-MedSAM2(掩码+图像同仓库,开箱即用);2. 按 Info.csv 做患者级 split(训练/验证/测试);3. 基线用 MedSAM2_CTLesion.pt 零样本推理跑一遍测试集,拿到「不训练就有的分」;4. 微调(single_node_train_medsam2.sh 改配置指向发布物)或训练小型 3D 分割头;5. 报告时注明掩码为人机协同标注(§3.4)并捆绑引用。预期:基线即 86.68% DSC 量级(§5.2),微调增益主要来自机构特异性。
场景二:给科室自建超声视频标注流水线(工程)。
- 部署路径选 3D Slicer 插件(临床桌面)或 Gradio 本地站(标注组),版本链照抄 §6.6;2. 医生在关键帧描初始掩码(首帧/中间帧各一即可);3. medsam2_infer_video.py 或插件内传播全段;4. 抽样 5-10% 人工复核(发布物无逐掩码修订量字段,自建流水线建议自己记录修订量,§3.4);5. 按轮次回流微调——第一轮的修订量就是你的「525.9 秒基线」,终轮增速就是你的「>12×」。合规注意:患者数据不出院区,模型权重分发遵循 CC-BY-SA-4.0。
场景三:参加 FLARE25 RECIST-to-3D 类挑战赛(竞赛)。
- 拉取 FLARE-Task1-PancancerRECIST-to-3D 数据(NPZ 三键);2. 读通 recist 键的几何含义(中层面二值径线,附录 C);3. 以官方 Efficient MedSAM2 基线为出发点(single_node_train_eff_medsam2_FLARE25.sh 复现训练,eff 推理脚本验证提交格式);4. 提升方向按性价比排序:提示编码精修 > 各向异性 spacing 处理 > 后处理连通域清理 > 换大底座(论文已证明容量不是瓶颈,§5.2);5. 提交前核对测试集无 gts 键(防泄漏乌龙)。LUNA25 赛道同理,注意数据 NC 许可只影响数据再分发不影响参赛使用(以赛规为准)。
三场景共通的元教训:四件套的设计让「数据、模型、流水线、部署」四层互相咬合——任一场景卡住时,回到 §2 谱系表确认自己当前操作的是哪一层,通常能直接定位错配(例如把标注层当图像层、把上游条款当发布物条款)。
附录 I 检索关键词词典:别名、变体与误写收容所
检索 MedSAM2 相关资源时,以下关键词变体会把人引向不同目的地。本词典逐一收容并指路:
| 检索词 | 实际指向 | 指路 |
|---|---|---|
| MedSAM2 / MedSAM-2 / MedSAM 2 | Ma et al. 2025(Toronto)四件套模型+数据 | 本条目 |
| Medical SAM 2 / MedSAM-2(Oxford 口径) | Zhu et al. 2024,另一篇论文 | 坑 1、S2/S16 |
| MedSAM(无 2) | Ma et al. 2023/2024 前作(2D 医学 SAM) | §7.2 |
| SAM 2 / SAM2 / SAM2.1 | Meta 底座模型 | §4.1 |
| CT_DeepLesion-MedSAM2 | CT 病灶 3D 掩码发布物 | §2.2 |
| DeepLesion / deeplesion | NIH 上游数据集 | deeplesion(17)、S12 |
| LLD-MMRI / LLD-MMRI-2025 | 多序列肝 MRI 上游 | §2.3、S13 |
| RVENet / RVENET | 超声心动上游 | §2.4、S14 |
| LUNA25 / LUNA25-MedSAM2 | 肺结节挑战赛及配套发布物 | §2.5、S9/S11 |
| FLARE25 / FLARE 2025 / RECIST-to-3D | 挑战赛任务一 | §2.5、S10 |
| Efficient MedSAM2 / EfficientTAM | 轻量分支与底座 | §4.5、附录 B |
| MedSAMSlicer | 3D Slicer 插件仓库 | §7.3 |
| medsam-datasetlist | 团队数据集枢纽站 | §7.2、S15 |
| wanglab | HF 上发布组织(模型+四件数据) | §2.1 |
| bowang-lab | GitHub 组织(代码/插件) | S3/S4 |
| 「11 datasets MedSAM2」 | 不成立口径 | 坑 2 |
| 「MedSAM2 dataset 官网」 | 不存在单一数据集官网 | §2.1 + medsam2.github.io |
| arxiv 2504.63609 | 悬空 ID(HF tags 誊写误差) | 坑 7 |
词典用法:写综述或数据声明时,先在本表核对名称与归属,再落引用——「MedSAM-2」「Medical SAM 2」「MedSAM2」在二手文献里长期混用,引用页码与 arXiv 号是唯一可靠的判别锚。
附录 J 与库内条目组队使用指南
单条目孤立使用的效果总是次优的。本条目与库内条目的高价值组队姿势:
组队 1:CT 病灶全线(deeplesion(17) + 本条目 CT 件)。deeplesion 提供全量 32,735 病灶的 2D 框与检索底册,本条目 CT 件提供其中 5,000 病灶的 3D 掩码。组队用法:以框提示在 deeplesion 全量上跑 MedSAM2 推理得到「弱 3D 掩码」,以发布物 5,000 例为「强监督」训练/校准——典型的强弱监督组合。
组队 2:肝影像双模态(amos(76)/chaos(337) + 本条目 MRI 件)。AMOS 与 CHAOS 提供器官级(肝实质、血管、器官边界)标注,本条目 MRI 件提供病灶级八序列掩码。器官+病灶双粒度正是临床肝 AI 的完整输入——器官定位给上下文,病灶掩码给目标。
组队 3:超声心动掩码补位(echonet-dynamic(526)/echonet-lvh(530)/camus(533) + 本条目超声件)。三个库内条目是定量任务集(EF 值、LVH 分类、关键帧掩码),本条目超声件是大规模帧级掩码。组队用法:帧级掩码预训练分割骨干 → 在定量任务上微调;或反着用定量集的时空标注校验掩码传播的时序一致性。
组队 4:内镜 2D→视频(kvasir-seg(112) + 本条目内镜语料/评测叙事)。kvasir-seg 是息肉 2D 分割金标准,MedSAM2 侧的内镜资产是 56,462 帧语料(未公开)与 SUN 评测叙事。可执行的部分:用 kvasir-seg 训练 2D 模型,再用 MedSAM2 把 2D 能力「提升」到视频传播(首帧掩码提示),与 §5.3 的 SUN 双档结果对标。
组队 5:赛系演进叙事(luna16(237) + flare(387)/flare-2026(940) + 本条目)。LUNA16(2016,检测)→ FLARE(2022 起,多器官分割)→ FLARE25 RECIST-to-3D(临床工作流任务化)→ 本条目(模型在环标注经济学)构成一条完整的「挑战赛驱动任务升级」叙事线,适合教学与综述引用。
组队通用守则:跨条目合并训练前做患者级对齐(键选上游原生 id);跨条目比较指标时锁定同一评测协议;跨条目许可不同时按最严许可决定分发策略。
附录 K 抓取与核验日志(留痕)
| 时点 | 动作 | 结果 |
|---|---|---|
| 2026-10-09 05:30 | 开工三查:锁创建 / 进程数 8 / 无同名目录 | 通过 |
| 2026-10-09 05:31 | DB 查重(medsam/sam2/segment-anything 系) | 无条目命中 |
| 2026-10-09 05:32 | DB 互链查重(deeplesion/flare/luna/echo 系) | 22 条同域条目 |
| 2026-10-09 | WebSearch ×2(HF 发布物 / 训练语料口径) | 双双命中 |
| 2026-10-09 | WebFetch:arXiv 摘要 ×2 成功;HTML/ar5iv/项目页 ×3 空 | 5/6 预算用毕 |
| 2026-10-09 | curl hf-mirror API ×4(四件套元数据) | 全部成功(S19) |
| 2026-10-09 | curl GitHub API(仓库 license/星标) | 成功(S4) |
| 2026-10-09 | curl arXiv API(2504.63609 悬空 ID) | 无结果(坑 7) |
| 2026-10-09 | FACTS.md 九节成档 | writing/medsam2-dataset/FACTS.md |
| 2026-10-09 | 成稿 5 主件 + 6 扩充件拼接 | 本条目成稿 |
附录 L 本条目使用声明
- 主体定性:本条目登记的是 MedSAM2 团队公开发布的标注数据产品整合(四件套 + FLARE25 关联集),不是模型条目,也不是训练语料条目(§4.7 三层对照)。
- 时点声明:元数据(下载量/likes/星标/license 标签)锁定 2026-10-09;数据内容以上游与官方 README 为最终口径。
- 转载口径声明:训练语料模态拆分与 DSC 明细表取自二手转载并全程标注(S17/S18),一手核对以论文正式版为准(§10.4 待核)。
- 许可声明:逐件异构,本条目不给任何「整体可商用」或「整体禁商用」的简化结论;使用前按 §6.1 表逐件过。
- 组合视图声明:本条目非库内已有条目的合并视图,论证见 §9;上游图像源一律指回库内既有条目,不在本条目重复登记。
附录 M DAIMS 逐维论证(§8 总表的展开)
§8 总表给的是结论与分数,本附录给每维的论证过程,供评估方法研究者复核。
M1 可获取性(5.0)。逐件核验:四件套 HF 元数据 gated=false、private=false、disabled=false(S19 实测);下载不需要登录 token(HF 公开仓库匿名可读);无论文附件式「联系作者」环节。唯一的外部依赖是 RVENet 原图(上游渠道,非发布物自身缺陷)。扣 0 分项:无。
M2 格式标准性(4.5)。体数据 NIfTI 是医学影像最大公约数(MONAI/NiBabel/SimpleITK/Slicer 四栈通吃);挑战赛 NPZ 是 numpy 原生;索引 CSV/JSON 是 pandas 原生。扣 0.5 分项:RVENet 掩码 ZIP 打包需要自行解压对齐(无直接 datasets 接口),且帧号/视频 id 对齐规则藏在 RVENet 上游文档。
M3 许可清晰度(2.5)。四件中一件 NC(明确)、一件 SA(模型,明确)、两件未标注(三件数据件中两件 + 另一件同状态)——未标注占比高且分散在最大规模的几件上。不虚构统一许可的代价就是低分:使用者必须逐件回溯上游。加分项:LUNA25 明示与模型/代码双明确给了完整示范,说明团队有许可意识,属「可沟通的缺失」而非「无许可意识」。
M4 文档完备度(4.0)。三层文档齐备:论文(方法与数字)、官方 README(获取/复现/引用)、HF 卡(数据卡与作者信息)。扣分项:训练语料逐数据集清单未公开;中文文档缺位(对中文使用者是一层摩擦);文件级 data dictionary(字段级说明)依赖上游文档。
M5 标注质量可核性(3.5)。时间账与迭代曲线完整公开(可核「效率」),DSC 有公开对照(可核「模型可用性」)。但「逐掩码修订量」与「标注者间一致性」两类直接质量证据缺失——这是模型在环标注的普遍披露缺口,本团队已是披露最全的一档。抽样复核义务转嫁给使用者。
M6 元数据丰富度(3.0)。病灶/视频级索引齐备(CSV/JSON/ZIP 内索引),文件名携带上游编码可回溯。缺人口学字段(年龄/性别/机构)、缺采集设备参数、缺部分患者的临床标签——这些都在上游数据集里,发布物不做重复登记。设计上「薄元数据 + 上游富化」是合理选择,但对 AI-Ready 单仓可用性是实扣。
M7 可复现性(4.0)。挑战赛链路完全可复现(数据+配置+脚本+基线四合一);推理链路三入口(脚本/Colab/Slicer)全公开;扣分在训练侧——语料不公开导致主模型从零复现不可能,只能近似(Q12)。
M8 维护活跃度(4.5)。仓库级证据链:GitHub 最后更新 2026-10-06(抓取前 3 天)、issue 活跃、LUNA25 数据 2026-05-28 修改、邮件列表与合作征集在维护。扣 0.5 分:CT/MRI/RVENet 三件数据最后修改停留在 2025 年 7-8 月,未见数据本身的近期迭代。
附录 N 部署拓扑五形态(§7.3 的工程展开)
N1 桌面临床:3D Slicer 插件。目标用户是放射科/肿瘤科医生:在熟悉的工作站软件里加载 DICOM/ NIfTI,画 RECIST 径线即得 3D 掩码,掩码可直接进入放疗/随访工作流。插件仓库 MedSAMSlicer 的 MedSAM2 分支独立维护。适合「标注量中等、数据敏感等级高、不允许出院网」的机构。
N2 本地 Web:Gradio 应用。python app.py 起本地服务(默认 7860 端口),支持视频上传、点/框/笔画提示、多会话隔离(multiprocessing 异步帧加载)。适合标注组协作:一台 GPU 机器 + 多个浏览器客户端。依赖版本锁(坑 9)。
N3 云端试用:Colab 双 notebook。CT 分割与视频分割各一,免安装、免 GPU 配置,用于评估与教学。数据不必上传——notebook 可挂载 Google Drive 或直接用示例数据。适合「先试试再立项」的评估者。
N4 批量工程:推理脚本。medsam2_infer_3D_CT.py / medsam2_infer_video.py / medsam2_infer_CT_lesion_npz_recist.py 三个入口覆盖批量生产;目录进出参数化,方便接入 Airflow/脚本编排。适合数据团队把发布物或自有数据跑成生产线。
N5 HPC 训练:slurm 模板。multi_node_train.sh 以 sbatch 提交,配合数据配置 YAML(data -> train -> datasets)。适合复现训练、做方法改进的研究组;语料缺口(§4.2)需自建数据配置填补。
五形态共用同一 ckpt 与同一许可(CC-BY-SA-4.0 权重 / Apache-2.0 代码),迁移成本主要在数据格式对齐——这也解释了为什么发布物坚持用 NIfTI/NPZ 原生格式:格式统一让五形态的任何切换都不需要数据转换层。
附录 O 横向对照:四件套在公开医学分割数据集中的坐标
把四件套放进公开医学分割数据集的整体坐标系,定位其生态位:
| 对照维度 | 传统器官级 3D 集(AMOS/TotalSegmentator/FLARE 系) | 传统病灶级 2D 集(DeepLesion 原始/kvasir-seg) | 本条目四件套 |
|---|---|---|---|
| 标注粒度 | 器官/结构(大体积分割) | 病灶框或 2D 掩码 | 病灶 3D 体素掩码 + 视频帧掩码 |
| 标注生产方式 | 纯人工(专家/众包) | 纯人工 | 模型在环 + 人工修订 |
| 时间成本披露 | 通常无 | 通常无 | 逐病灶/逐帧全程量化 |
| 模态覆盖 | CT 为主,部分 MRI | 单模态为主 | CT/MRI/PET/超声/内镜五模态叙事 |
| 视频资产 | 无 | 无 | 251,550 帧(超声)+ 内镜评测 |
| 获取方式 | 公开直链/注册制 | 公开直链 | HF 公开直链(RVENet 原图除外) |
| 许可状态 | 多为明确研究许可 | 各异 | 异构:1 NC + 3 未标注(短板) |
| 配套模型 | 各自赛道模型 | 各自赛道模型 | 同源基础模型 + 平台全家桶 |
四件套的独特坐标是「病灶级 × 3D/视频 × 成本量化 × 配套模型」的四重交集——每一重单独看都有更强的专业数据集,但交集此前是空的。使用建议因此明确:需要器官级完整分割找传统 3D 集,需要 2D 病灶金标准找各自专家集,需要病灶 3D 掩码、视频掩码或标注成本参照系时用本条目。
附录 P 从检索到引用的标准动线(十步)
给首次接触本条目的使用者一条完整动线,十步走完即从「听说过 MedSAM2」到「合规引用、数据在盘」:
- 定性:确认需求是数据(本条目)还是模型(§4.5 ckpt 矩阵)。
- 选件:按 §2.11 决策树锁定 1-2 件发布物。
- 查许可:§6.1 表逐件核对与自身用途的兼容性(商用者在此分流)。
- 理依赖:标出上游依赖(RVENet 原图/DeepLesion 条款/挑战赛规则)。
- 下载:huggingface-cli 或 datasets 接口拉取(§2.7)。
- 对齐:解压/解析索引文件,跑通「图像-掩码-元数据」三方对齐的冒烟测试。
- 清洗:按 §3.9 类型学跑三个自动启发式(连通域/体积突变/边界光滑度)。
- 划分:患者级 split(附录 E 通用项),冻结测试集。
- 实验:先跑 MedSAM2 零样本基线再谈微调(场景一 playbook)。
- 引用:附录 B 三段 BibTeX + 上游捆绑 + 本条目作为发现渠道(可选)。
动线的设计原则是「许可与依赖先行于下载」——四件套的获取摩擦近乎为零,真正的风险集中在许可误判与上游依赖漏估;把这两步放在最前面,后面八步几乎不会返工。
附录 Q 本条目与其他条目撰写者可能关心的问题
Q:为什么条目 slug 叫 medsam2-dataset 而四件套各有名字?
slug 是发现层约定(检索 MedSAM2 dataset 的人首先落在这里),条目内部再分发到四件套真名。这是「整合条目 + 内部多件」的标准处理:拆成四个独立条目会让每个条目内容过薄且互相抢检索词,合成一个再用 §2 分件详述是信息密度最高的结构。
Q:训练语料未公开会不会让条目贬值?
不会,反而凸显条目价值:正因为语料不可得,「团队用模型标了什么、标得多快、许可如何」才是可核实、可引用、可复用的部分。条目 §4.7 的三层对照把「不可得的部分」也交代清楚,检索者不会再浪费时间找不存在的下载链接。
Q:如果团队后续发布新件(第五件、第六件)怎么办?
条目结构已为此留位:§2 总览表加行、§6.1 许可表加行、§9.3 关系表加行即可,其余章节不受影响。事实卡(§1.5)与快查 FAQ(附录 F)按新增件补条目。这也是整合条目相对单件条目的维护优势。
Q:与 Zhu et al. 路线是否值得再写一个条目?
若其团队未来发布独立数据产品则值得;当前其仓库只发布代码与示例预处理包(坑 10),不具备数据条目主体资格。本条目坑 1 已给出两篇论文的完整判别表,供未来撰写者直接取用。
附录 R 排障决策树:卡住时从这里查
数据拿不到 / 打不开
├─ HF 下载失败
│ ├─ 网络被墙/超时 → 走 hf-mirror 端点(HF_ENDPOINT 环境变量)
│ ├─ 仓库 404 → 核对仓库名拼写(§2.1 表逐字对照,大小写与连字符敏感)
│ └─ 磁盘爆 → 先数文件(附录 D)再分批下载,勿信 size_categories 字段
├─ 掩码 zip 解不开
│ ├─ 下载不完整 → 校验文件大小后重下
│ └─ 解压后找不到图像 → 预期行为:RVENet 件本就无图像(坑 3)
└─ 图像有了掩码对不上
├─ CT 件:文件名解析错 → 坑 5 编码规则
├─ MRI 件:序列索引错 → LLD_MMRI_Annotation.json 为准
└─ 超声件:帧号错位 → 视频id×帧号双键对齐(§2.4)
模型跑不起来
├─ CUDA 报错 → torch 2.5.1+cu124 精确重装(坑 9);无 GPU 转 Efficient 分支
├─ import 失败 → pip install -e ".[dev]" 是否漏跑
├─ ckpt 缺失 → bash download.sh 先行
├─ NPZ 读取出错 → allow_pickle=True;测试集无 gts 键属预期
└─ Gradio 白屏/无视频 → ffmpeg + gradio==3.38.0 + numpy==1.26.3
结果不对劲
├─ 验证分异常高 → 患者级泄漏,重做 split(附录 E)
├─ 零样本分远低于 §5.2 → 检查提示形式(框 vs RECIST 模拟)与任务口径
├─ 传播中途丢目标 → §3.9 类型学:漂移/漏检,回漂移起点重给提示
├─ 多病灶并成一坨 → 连通域检查 + 拆分重标(类型四)
└─ 引用被审稿人挑 → 附录 B 捆绑模板,上游论文逐一点名(坑 8)
决策树的使用方式:先定位最外层症状(拿不到/跑不起/结果错),再沿分支下沉——三层之内必然落到一个已编号的坑点或附录条目。三处都查不到的故障,官方仓库 issue 区是第一升级路径(仓库活跃度高,§6.4)。
附录 S 五分钟版本:给只读五十行的人
如果只有五分钟,按此顺序读五十行即可带走全部关键决策信息:
- INFOBOX(全文开头)——一屏速览,四件套是什么、多大、什么许可。
- §2.1 总览表——四件各自的名字、模态、规模、格式、下载量。
- §2.11 决策树——按需求选件,三十秒锁定该下载哪一件。
- §6.1 许可表——商用/分发的合法性边界,NC 件与未标注件的分野。
- 坑 1/坑 3/坑 4——撞名、原图分离、许可异构,三个最高频事故。
- §1.5 事实卡——需要引用数字时按卡索引进正文对应章节。
- §10.2 来源清单——所有结论的 URL 落照,写作引用从这里取。
五分钟版的留白项:标注方法细节(§3)、模型技术细节(§4)、评测展开(§5)、生态定位(§7-§9)——这些是「为什么」层的内容,做选型决策时可以不读,做综述或方法论研究时必读。
最后一条元建议:本条目的全部数字都有三源交叉或明确的转载口径标注——引用任何一条时,请顺着尾注把口径一起带走(例如「525.9→74.3 秒」必须带着「三轮、CT、均值」),裸数字的迁移是医学 AI 综述里最常见的信息损伤。
结语:一份「标注经济学」的公开样本
回看整条故事线:一个基础模型团队把交互式分割的成本压到原来的六分之一,然后把省钱的过程本身变成数据资产发布出来。四件套的价值因此超出「几份掩码」——它们是第一份把 3D/视频医学标注的单位成本曲线完整公开的样本:525.9 到 74.3 秒、520.3 到 65.2 秒、12 倍吞吐、85% 成本降幅,每一个数字都可以进入其他团队的立项测算。
对本库的读者,本条目的三重参考价值值得最后复述一次:作为数据源,它补上了「病灶级 3D 掩码 + 大规模视频掩码」的公开供给缺口;作为方法样本,它给出了模型在环标注流水线的完整时间账与失败类型学;作为许可教材,它展示了同一个团队四件发布物在许可标注上的真实参差——这种参差比任何理想化的许可讨论都更有教学价值。
数据飞轮仍在转:仓库三天前还有更新,团队还在公开征集标注合作。本条目按 2026-10-09 时点定格,飞轮的下一圈,交给后续维护者续写。
附录 T 版本兼容与升级路径备忘
四件套与其配套模型栈的版本耦合关系,做长期项目时需要建档管理:
模型栈兼容锚点。官方安装链锁定 python 3.12 + torch 2.5.1 + torchvision 0.20.1(cu124);SAM2.1 底座检查点独立于 MedSAM2 ckpt 分发(download.sh 与 Meta 官方 URL 双入口);Efficient MedSAM2 分支对算力要求不同但推理脚本接口保持同名(eff_ 前缀)。升级 torch/CUDA 前先跑仓库自带示例验证,不要在生产标注流水线上直接滚版本。
数据栈兼容锚点。NIfTI 件无版本风险(格式二十年稳定);NPZ 件依赖 numpy 的 allow_pickle 行为(numpy 2.x 时代需复查兼容声明);HF datasets 接口随平台演进,长期项目建议锁定 datasets 库版本并记录拉取时的仓库 sha(HF 元数据里的 sha 字段,S19 口径)——四件套的 sha 分别为 b52e3cf4(CT 件)与 b7e8da56(MRI 件)等,可在引用中注明以固定数据版本。
引用版本策略。arXiv:2504.03600 目前唯一版本(v1);若未来出现期刊正式版,BibTeX 应切换为期刊条目并保留 arXiv 号于同位引注;上游三件(DeepLesion/LLD-MMRI/RVENet)的引用格式按各自最终发表口径维护。数据引用建议写明「MedSAM2 团队 HF 发布物,2026-10-09 快照」,让下游读者可以定位到与本条目一致的版本状态。
升级监测点。三个官方渠道按优先级:GitHub 仓库 Updates 节(新增发布物的第一公告位)、HF 组织页 wanglab(新数据仓库名录)、邮件列表(README 入口)。出现新发布物时,本条目 §2 总览表、§6.1 许可表、§9.3 关系表三处加行即可完成扩编(附录 Q 已述)。
附录 U 关键结论三十条重述(逐条带出处)
引用与复核用的高速索引,每条一行、每条带正文出处:
- 条目主体是 MedSAM2 团队的四件 HF 标注数据发布物加一个挑战赛关联集,不是模型也不是训练语料(§0、§4.7)。
- 两篇 MedSAM-2 论文撞名,本条目属 Toronto bowang-lab 2025 年线(坑 1)。
- 「11 个 2D 数据集 + 3 个视频数据集」口径未获任何来源支持,实核口径见训练语料三条(坑 2、§4.2)。
- 训练语料 455,000+ 3D 对,拆分 CT 363,161 / MRI 77,154 / PET 14,818(§4.2,转载口径并求和自洽)。
- 训练语料 76,000+ 视频帧,拆分内镜 56,462 / 超声 19,232(§4.2)。
- 训练语料未整体公开,公开的是标注产出(Q12、§4.7)。
- CT 件:DeepLesion 派生 5,000 病灶 3D 掩码,上游底册 32,735 病灶(§2.2)。
- DeepLesion 上游只有 2D RECIST 框,3D 掩码是本发布物新增标注层(§2.6)。
- MRI 件:498 患者、3,984 病灶、八序列配齐(§2.3)。
- 八序列 = 平扫/动脉/门脉/延迟/DWI/同相/反相/T2(§2.8)。
- 超声件:831 患者 3,583 段底册、标注 1,800 段、251,550 帧(§2.4)。
- 超声件只含掩码 ZIP,原图必须走 RVENet 官方渠道(坑 3)。
- LUNA25 件明示 CC-BY-NC-4.0,是四件中唯一有 license 标签者(§2.5)。
- 三件核心数据件 HF 未标 license,许可判断回溯上游(坑 4、§6.1)。
- 代码 Apache-2.0、模型权重 CC-BY-SA-4.0,SA 有传染性(§6.1)。
- 引用必须捆绑上游论文,漏引是高频审稿事故(坑 8、§6.3)。
- CT 标注时间 525.9→74.3 秒/病灶,三轮迭代(§3.3)。
- MRI 标注时间 520.3→65.2 秒/病灶(§3.3)。
- 视频标注吞吐 >12 倍,总成本降 >85%(§3.3)。
- 修订对象是五类可分类的局部失败模式,非随机错误(§3.9)。
- 3D 即视频:z 轴切片序列复用 SAM2 视频追踪机制(§3.2)。
- RECIST 径线是首选提示形式,临床工作流原生(§3.6、Q19)。
- DSC:CT 器官 88.84 / CT 病灶 86.68 / MRI 器官 87.06 / MRI 病灶 88.37 / PET 病灶 87.22(§5.2)。
- 病灶任务优势最大(对 EfficientMedSAM-Top1 +5-13pp),器官任务收窄(§5.2、§4.9)。
- SAM2.1 四档零样本差异无统计显著性,容量不是瓶颈(§5.2、§4.10)。
- FLARE25 RECIST-to-3D 与 LUNA25 是双挑战赛基线位(§5.4)。
- 部署五形态:Slicer/Gradio/Colab/脚本/HPC,许可同栈(§7.3、附录 N)。
- 条目非组合视图:三件核心件的掩码层为新增,图像源指回库内上游条目(§9)。
- DAIMS 总评 3.9/5:开放性顶格、许可清晰度是最大扣分项(§8)。
- 元数据锁定 2026-10-09 时点,飞轮仍在转,引用时以实时页面复核(§10.5、Q20)。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- mm-whs — 共享标签:医学影像 / CT / MRI / 医学图像分割 / 挑战赛数据集
- topcow — 共享标签:医学影像 / CT / MRI / 医学图像分割 / 挑战赛数据集
- care-challenge — 共享标签:医学影像 / CT / MRI / 医学图像分割 / 挑战赛数据集
- rsna-aneurysm-2025 — 共享标签:医学影像 / CT / MRI / 医学图像分割 / 挑战赛数据集
- medical-decathlon — 共享标签:医学影像 / CT / MRI / 医学图像分割
- topaneu2026 — 共享标签:医学影像 / MRI / 医学图像分割 / 挑战赛数据集
- amos — 共享标签:医学影像 / CT / MRI / 医学图像分割
- chaos — 共享标签:医学影像 / CT / MRI / 医学图像分割
- crossmoda2022 — 共享标签:医学影像 / MRI / 医学图像分割 / 挑战赛数据集
- segthor — 共享标签:医学影像 / CT / 医学图像分割 / 挑战赛数据集
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

