Med-ReasonSeg — 54 万条影像-掩码-问答三元组的医学推理分割数据集

INFOBOX — Med-ReasonSeg 一屏速览

维度	内容
本质	把 16 个公开分割库重打包成影像-掩码-问答三元组的大规模推理分割数据集（不是新采集、不是新标注掩码）
团队	泰国朱拉隆功大学（Chulalongkorn University）Biodat Lab，通讯 Titipat Achakulvisut；5 作者
论文	MedFuse-Seg，MICCAI 2026 会议论文（HF card 与 GitHub 引文一致）；数据集本身无独立论文
规模	539,383 条三元组 = train 427,861 + test 111,522；来自 90,021 例扫描
图像	71,406（train）+ 18,615（test），两划分零重叠；每例扫描恰 5.99 条问答
模态	9 种：MRI 48.6% / CT 27.3% / X 光 9.9% / 其余 14.2%（皮肤镜、眼底、内窥镜、OCT、乳腺 X 线、超声）
源库	16 个公开库；元数据内按 24 个 dataset 标识细分（MSD 按解剖任务拆成 9 个子任务）
任务	每掩码 6 条：3 referring + 3 semantic；全库 referring 与 semantic 几乎五五开（213,958 : 213,903）
生成	Gemini 2.5-Pro 生成 → 2.5-Flash 粗筛 → 2.5-Pro 复核（两阶段 LLM 流水线）
下游	MedFuse-Seg（MedGemma-4B + MedSigLIP + MedSAM），DSC 平均 0.7873，超 BiomedParse 零样本 13.49 点
获取	HuggingFace 公开直链，无需申请；元数据 Parquet 两份合计约 27.7 MB，图像与掩码打包 38.5 GB
许可	Apache-2.0（HF cardData + tags 双处）；上游许可需自行回溯

---

§0 导读：这个数据集到底补了哪块缺口

传统医学图像分割模型的输入是「一张图 + 类别名」，输出是「一张掩码」。模型知道在哪，但说不出为什么在那；临床使用者拿到的是一块高亮区域，没有任何可核对的语义链条。视觉问答（VQA）方向补了「说」，但又丢掉了「画」——答案是自然语言，没有像素级的落点。

推理式分割（reasoning segmentation）想同时要这两样：模型读一句描述性的自然语言请求，先做语义判断，再吐出对应的掩码，并给出简短理由。这条路线在通用图像领域已有 LISA、PixelLM 等代表工作，在医学领域却长期卡在数据上——没有大规模、跨模态、同时带掩码与解释的语料。

Med-ReasonSeg 的思路非常务实：不去新标注，而是把已经存在的公开分割库重新组织成「可推理」的形态。它从 16 个公开生物医学分割数据集里取出 90,021 例扫描，保留原有的二元掩码，再用大语言模型为每一张掩码合成 6 条问答——3 条 referring（直接点名要分什么）、3 条 semantic（用影像学特征描述要分什么）。合计 539,383 条影像-掩码-问答三元组。

三个要点，先按住：

• 它是派生物，不是原始数据。掩码来自上游库，图像来自上游库，新增的是「问答层」与「统一打包格式」。因此引用时必须同时致谢上游 16 个库，且上游许可需要单独核对。
• 它的问答是英文、模板化、自动生成的。这一点决定了它的价值边界：它适合做训练语料与能力诊断，不适合当临床问答的金标准。
• 它服务一个具体模型：MedFuse-Seg（MICCAI 2026），把多级视觉特征注入与 LLM 引导的掩码解码拼在一起，底座是 MedGemma-4B + MedSigLIP + MedSAM。

一句话定位：Med-ReasonSeg 是医学版「referring + semantic 双任务」的规模化解法，把 16 个分割库的掩码统一翻译成机器可学的自然语言请求。

---

§1 数据集速览：十二问十二答

问 1：它有多少条数据？
539,383 条三元组。官方拆成 train 427,861 条、test 111,522 条（两者相加精确等于总数）。

问 2：这些数据来自多少张图像？
90,021 例扫描。train 71,406 例、test 18,615 例。两划分的图像路径集合交集为空，即按影像切分，不存在同一张图同时出现在训练与测试的情况。

问 3：「例扫描」与「条三元组」是什么关系？
一份掩码配 6 条问答。539,383 ÷ 90,021 = 5.9921，也就是说绝大多数扫描恰好 6 条，极少数是 5 条或 7 条。逐源统计里，每个源库的「条数 ÷ 图像数」都收敛在 5.93–6.00 之间。

问 4：6 条问答是怎么分的？
3 条 referring + 3 条 semantic。referring 问「把 X 分出来」，X 直接是病名或解剖名；semantic 问「把具有某影像学特征的区域分出来」，特征描述替代了名字。全库两个类别的比例是 213,958 : 213,903，几乎精确对半。

问 5：答案长什么样？
英文，一句话到两句话，用 [SEG] 标记指代目标掩码。例如：

Question: Segment the well-circumscribed, oval-shaped hypoechoic mass in this breast ultrasound.
Answer:   Certainly, The well-circumscribed, oval-shaped hypoechoic mass is located at [SEG].

答案平均 99.8 字符（约 15.6 词），问题平均 58.8 字符（约 9.4 词）。每条答案有且仅有一个 [SEG]——全库零例外。

问 6：覆盖哪些模态？
9 种。MRI 占 48.6%，CT 占 27.3%，X 光占 9.9%，剩下 14.2% 分摊在皮肤镜、眼底、内窥镜、OCT、乳腺 X 线与超声上。

问 7：覆盖哪些源库？
官方列为 16 个：BRISC、BUSI、CDD-CESM、Chest Xray Masks and Labels、COVID-19 CT、COVID-QU-Ex、G1020、ISIC 2018、LIDC-IDRI、MSD、NeoPolyp、NSCLC-Radiogenomics、OCT-CME、PolypGen、REFUGE、SIIM-ACR Pneumothorax。实际数据里的 dataset 字段有 24 个取值——MSD 被按解剖任务拆成 9 个子任务（脑、海马、肝、胰腺、肺、前列腺、结肠、心脏、脾），单一源库膨胀成多行，构成「16 源库 ↔ 24 数据标识」的双口径（详见坑 1）。

问 8：有没有正常解剖的样本？
有，而且不少。MSD-Hippo（海马）与 MSD-Spleen（脾）几乎全部是正常结构；G1020 视杯、REFUGE 视杯也以正常生理结构为主。生成提示词专门分了两套：病理/病灶一套、正常解剖一套。

问 9：文件怎么组织？
两份 Parquet（元数据，含图像与掩码的相对路径）+ 一个 38.5 GB 的 ZIP（真实 PNG 图像与掩码）。Parquet 合计约 27.7 MB，可以秒下；ZIP 需要留足磁盘。

问 10：许可是什么？
数据集标注 Apache-2.0，HF cardData 与 tags 两处一致。仓库不设门禁（gated=false）、不设私有（private=false），公开直链可下载。

问 11：它和通用推理分割数据集（如 RefCOCOg 派生的 RefSeg）什么关系？
MedFuse-Seg 的训练脚本里数据集代号写的是 hf_refseg，但实际指向的就是本数据集。代码沿用了 LISA 的命名习惯，容易让人误以为用的是通用 RefSeg——这是本文列出的坑之一。

问 12：谁该用、谁不该用？
该用：推理分割模型训练、多模态医学 LLM 的 grounding 能力评测、跨模态对齐研究、数据集构建流水线的方法学参考。不该用：临床问答系统的知识来源、需要病灶分级/定性结论的任务、需要多类掩码的多器官联合分割。

§2 数据构成与规格

2.1 三层文件结构

数据集在 HuggingFace 上只有五类文件，结构很简单：

文件	大小	作用
data/train-00000-of-00001.parquet	21,916,184 字节（20.9 MB）	训练集元数据，427,861 行 × 6 列
data/test-00000-of-00001.parquet	5,750,757 字节（5.5 MB）	测试集元数据，111,522 行 × 6 列
Med-ReasonSeg.zip	38,530,049,112 字节（35.9 GiB）	全部 PNG 图像与掩码，按 train/test 分目录
figs/data_treemap.png	967,254 字节	论文/卡片的源库占比树图
figs/medreason-seg.png	566,660 字节	构建流水线示意图

两个 Parquet 只是元数据，里面存的是相对路径字符串（train/images/583.png 之类），不含像素。要真正训练必须把 35.9 GiB 的 ZIP 一并下载并解压到同一目录。这一点在卡片里写得很轻描淡写（原话是 ~XX GB，连数字都留了占位），实际是 38.5 GB，是最容易被低估的成本项。

2.2 六个字段的含义

字段	类型	说明
image_path	string	相对路径，形如 train/images/15958.png
mask_path	string	相对路径，形如 train/masks/15958.png，与图像同名
dataset	string（24 类）	源库标识，如 msd-brain、breast_busi、lidc
question	string	英文请求，15–185 字符
answer	string	英文回答，24–222 字符，含且仅含一个 [SEG]
task	string（2 类）	referring 或 semantic

注意 mask_path 与 image_path 只是目录名不同，文件名一致。这意味着图像与掩码可以靠文件名直接配对，不需要额外的对应表。对于想自己写加载器的团队，这是好消息。

2.3 逐源库的规模分布

下表按训练集 dataset 字段的取值逐行统计（行数 = 问答条数，图像数 = 该子集内 image_path 去重后的数量）。这是本文从 Parquet 实测得出的数字，官方卡片并未提供该粒度的表。

dataset 标识	源库	问答条数	图像数	条/图	问题字符中位数
msd-brain	MSD Task01 脑	135,091	22,528	6.00	57
lidc	LIDC-IDRI	44,196	7,384	5.99	53
msd-hippo	MSD Task04 海马	37,248	6,208	6.00	66
covid-qu	COVID-QU-Ex	27,945	4,658	6.00	55
msd-liver	MSD Task03 肝	25,311	4,266	5.93	63
brisc	BRISC	23,583	3,933	6.00	56
isic	ISIC 2018	16,158	2,694	6.00	55
pneumothorax	SIIM-ACR	14,256	2,379	5.99	60
msd-pancreas	MSD Task07 胰	13,357	2,228	6.00	58
g1020	G1020	8,663	1,444	6.00	59
nsclc	NSCLC-Radiogenomics	8,003	1,334	6.00	52
msd-lung	MSD Task06 肺	7,445	1,241	6.00	58
covid-ct	COVID-19 CT	7,122	1,187	6.00	56
oct-cme	OCT-CME	7,045	1,177	5.99	60
msd-prostate	MSD Task05 前列腺	6,707	1,118	6.00	66
polypgen	PolypGen	6,667	1,112	6.00	52
msd-colon	MSD Task10 结肠	5,968	997	5.99	56
breast_cdd	CDD-CESM	5,834	973	6.00	58
msd-heart	MSD Task02 心脏	5,751	959	6.00	60
refuge	REFUGE	5,730	955	6.00	59
neopolyp	BKAI-IGH NeoPolyp	4,798	800	6.00	55
msd-spleen	MSD Task09 脾	4,611	769	6.00	60
cxr_masks_and_labels	Chest Xray Masks and Labels	3,258	543	6.00	61
breast_busi	BUSI	3,114	519	6.00	57

几点值得单独拎出来：

• MSD 九个任务合计 241,489 条，占训练集的 56.4%，占全库的 44.8%。所谓的「16 个源库」，权重上其实高度集中在 Medical Segmentation Decathlon 这一个挑战赛数据上。
• 脑部单库 135,091 条，占训练集 31.6%，占全库 25.0%。若按解剖部位统计，脑是全库最大宗的主题，远超乳腺、肺、眼底。
• 「条/图」列稳定在 5.93–6.00。这不是巧合，而是生成时按掩码配额的硬性设计：每张掩码固定要 6 条，缺了补、多了不生成。
• 问题长度中位数 52–66 字符，各源库差异极小，进一步印证模板化生成的特征。

2.4 划分与泄漏

train 与 test 的图像路径集合交集为空（实测），这是硬隔离。但要注意三点：

1. 是影像级切分，不是患者级切分。公开元数据里没有患者 ID 字段，无法做患者分组交叉验证。
2. 上游库本身可能有患者重复。例如 MSD 的不同任务来自不同机构，彼此独立；但 LIDC-IDRI 的同一患者可能有多层切片被同时收入。派生集没法甄别这一点。
3. 同一图像的多条问答一定落在同一划分。因为切分单位是图像而非记录，所以不存在「同图问答被拆到两侧」的语义泄漏——这是切分上的正确做法。

2.5 与同类数据集的规格对照

维度	Med-ReasonSeg	BiomedParse 训练数据	通用 RefSeg（RefCOCO 派生）
规模	539,383 条	千万级掩码-文本对	十万级指代句
模态	9 种医学模态	9 种医学模态	自然图像
掩码来源	16 个公开库原掩码	公开库 + 自动生成	人工标注
问答类型	referring + semantic 双任务	以指代为主	referring 为主
许可	Apache-2.0	视源库而定	研究用途
定位	训练 MedFuse-Seg	训练 BiomedParse	通用模型评测

Med-ReasonSeg 与 BiomedParse 数据最接近——BiomedParse 也做跨模态统一，且 MedFuse-Seg 的基线之一就是 BiomedParse。差别在于本数据集显式区分了 semantic/referring 两类任务，并把「解释」写进了训练目标。

---

§3 构建流水线：从掩码到问答

3.1 整体四步

上游 16 库
   │  ① 预处理：统一格式、统一命名、二元化掩码
   ▼
90,021 例扫描 + 掩码对
   │  ② 生成：Gemini 2.5-Pro 按掩码出 6 条问答
   ▼
候选问答（约 54 万条）
   │  ③ 粗筛：Gemini 2.5-Flash 批量分类
   ▼
   │  ④ 复核：Gemini 2.5-Pro 再次判定
   ▼
539,383 条三元组（train / test）

这套流水线有两个设计取向值得注意：

• 生成与验证用不同规模的模型。生成用 2.5-Pro（强），粗筛用 2.5-Flash（快、便宜），复核又回到 2.5-Pro。粗筛先把明显错误挡掉，复核只处理剩下的疑难项，是典型的成本折中。
• 每掩码固定 6 条。提示词里直接写明「generate 6 request-answer pairs」，并要求 3 条 referring、3 条 semantic。

3.2 生成提示词的结构

官方仓库 prompts/ 目录下有三个文本文件与三张提示词截图：

文件	阶段	模型	用途
qa_generation_disease.txt	生成	Gemini 2.5-Pro	病灶/病理样本
qa_generation_normal.txt	生成	Gemini 2.5-Pro	正常解剖样本
verification.txt	复核	2.5-Flash → 2.5-Pro	两阶段质量校验

病灶版提示词开头的原文是：

You are an expert radiologist. Your task is to generate 6 request-answer pairs based on the given disease, image, and binary mask.

随后给出一个 JSON 输出模板，把 Semantic tasks 与 Referring tasks 分成两组，各含 3 条 Request / Answer。模板示例里能看到典型的答案形态：

'Request': 'Segment the opacity found in this lung CT scan'
'Answer': 'Sure, the opacity is <SEG>. It is likely COVID-19 infection.'

注意提示词里用的是 <SEG>，而发布数据里统一成了 [SEG]。这是流水线里的一处格式归一化，使用数据时必须按 [SEG] 匹配。

另外，提示词明确要求「The request must not contain examples」——即问题本身不能带示例句，避免模型在推理时把示例当线索。这是一条针对捷径学习的防护。

3.3 验证提示词的错误码体系

verification.txt 定义了五类错误码加一个通过码，这是本数据集质量控制的骨架：

错误码	触发条件
ANATOMICAL_MISMATCH	文本提到的部位与目标器官不符（元数据是脑、文本写肝）
MODALITY_MISMATCH	术语与模态矛盾（CT 里写「回声性」、MRI 里写「Hounsfield」）
LOGICAL_ERROR	胡言乱语、循环重复、空内容、语义不通
BIOLOGICAL_IMPOSSIBILITY	诊断对目标器官生物学上不可能；但标注为例外的是「正常/健康/清晰」描述——阴性发现被允许
OTHER	AI 拒答、自相矛盾（问左答右）、隐私泄漏（真实人名或具体日期）、非医学话题
NONE	通过

这份错误码表本身有参考价值——它把「模态术语误用」单列成一类，说明作者清楚 LLM 生成医学文本时最常见的失败模式是把影像学黑话张冠李戴。

BIOLOGICAL_IMPOSSIBILITY 的例外条款也很有意思：它明确允许「正常」描述，理由是阴性发现是有效的临床观测。这条设计直接决定了 MSD-Hippo、MSD-Spleen 这类正常解剖样本能保留下来。

3.4 输出格式约束

验证器要求模型只返回 JSON 列表，每条含 index、status、reason 三个字段：

[
  {"index": "unique_index", "status": "PASS", "reason": "NONE"},
  {"index": "unique_index", "status": "FAIL", "reason": "ANATOMICAL_MISMATCH"},
  {"index": "unique_index", "status": "FAIL", "reason": "OTHER: AI Refusal"}
]

OTHER 类必须附五词以内的简短说明。这种「结构化输出 + 强制枚举」的做法，让后续可以用纯脚本做过滤，不需要人工读文本。

3.5 质量过滤的实际效果

官方没有公布每一级的淘汰率。从最终 539,383 条与「每掩码 6 条」的设计反推：90,021 × 6 = 540,126，与最终数只差 743 条（0.14%）。这意味着绝大多数生成的问答都通过了验证，或者说验证环节的淘汰量很小。

这一点需要谨慎解读：

• 一方面，说明生成质量整体稳定，至少没有大面积崩溃；
• 另一方面，也说明两阶段验证的判别力有限，0.14% 的淘汰率对于一个自动生成流程而言偏低，不排除验证器本身与生成器共享盲区（同一个模型家族的偏好趋同）。

作为对照，本文对训练集做了一次轻量探针：按源库检查问题文本里是否出现与模态矛盾的术语。结果是未发现跨模态术语污染——脑 MRI 子集里 lung 出现率 0.00%，dermoscop 0.00%；ISIC 皮肤镜子集里 lung 0.00%、CT 0.00%。像 echogenic（超声术语）在全库出现率为 0.00%，Hounsfield（CT 术语）同样为 0.00%。

这说明 MODALITY_MISMATCH 这一类错误确实被压住了。但压住不代表全部——这个词表式的探针只能查显性错误，查不出「影像学描述与掩码实际形态不符」这种需要看图才能判的问题。

---

§4 问答层解剖：两种任务、六种句式

4.1 referring 与 semantic 的分界

两类任务的差别不在语法，而在信息信道：

• referring：请求里直接给出目标的名字。模型需要把「语言里的名字」映射到「图像里的区域」。
• semantic：请求里不给名字，只给影像学特征（形状、边界、密度、回声、强化模式）。模型必须先根据特征判断「这可能是X」，再定位。

举同一张 BUSI 乳腺超声的两个例子：

[referring] Please segment the benign tumor in this image.
            → Its appearance is characteristic of a fibroadenoma. The benign tumor is segmented at [SEG].

[semantic]  Segment the well-circumscribed, oval-shaped mass in this breast ultrasound.
            → Certainly, The well-circumscribed mass is highlighted in [SEG].

referring 那句只说了「benign tumor」，semantic 那句把「边界清晰、椭圆形」写进了请求。前者考的是词表对齐，后者考的是视觉-语义联合推理。

4.2 六条问答的典型组合

以 MSD 脑部（glioma）为例，同一张掩码的 6 条问答通常长这样：

#	task	请求（节选）
1	semantic	Segment the enhancing area in this post-contrast T1-weighted brain MRI.
2	semantic	Can you highlight the hyperintense lesion?
3	semantic	Outline the abnormal mass visible in the brain scan.
4	referring	Please segment the glioma tumor in this MRI scan.
5	referring	Identify the part of the brain affected by the glioma.
6	referring	Segment the active portion of the glioma tumor.

可以看到 semantic 三条在特征描述上层层递进（强化、高信号、异常团块），referring 三条在指称粒度上变化（整个肿瘤、受累脑区、活性部分）。这种「同一目标多视角」的设计，本质上是一种数据增广——用语言多样性替代图像增广。

4.3 问句开头的分布

对训练集 42.8 万条问题做首词统计，前 11 位如下：

首词	条数	占比
Segment	110,336	25.8%
Can	76,547	17.9%
Show	55,986	13.1%
Please	53,278	12.5%
Identify	45,657	10.7%
Outline	36,032	8.4%
Isolate	15,177	3.5%
Where	14,912	3.5%
Highlight	11,957	2.8%
Provide	3,439	0.8%
Delineate	2,791	0.7%

11 个动词覆盖了 99.7% 的问句开头。句式多样性主要体现在宾语与修饰语上，动词层面的多样性有限。训练时需要留意：模型可能过度拟合「Segment …」这一句法模板，换一种问法（如中文、或不用祈使句）时泛化会下降。

4.4 答案的句式结构

答案首词分布：

首词	条数
This	128,801
The	93,396
It	43,341
Certainly,（逗号）	34,919
Certainly.（句号）	31,399
Its	27,364
Yes,	20,156
Of	10,628
These	9,001
Here	3,815

典型的答案结构是「确认词 + 观察陈述 + 定位句（含 [SEG]）」三段式：

Certainly.  |  This enhancement suggests a breakdown of the blood-brain barrier.  |  The enhancing area is located at [SEG].

92.7% 的答案以 [SEG]. 结尾（即定位句放在最后），其余 7.3% 在 [SEG] 后还有一小段补充，例如 [SEG] in the right lung.、[SEG] on this T2-FLAIR sequence.。这个分布对训练有直接影响：如果按 token 级监督，模型会学到「看到 [SEG] 就准备结束」。

4.5 长度与信息密度

指标	问题	答案
平均字符数	58.8	99.8
中位字符数	57	102
最短	15	24
最长	185	222
平均词数	9.4	15.6
最长词数	29	33

答案长度上限只有 222 字符（约 33 词），这与提示词里「Always provide a concise answer and concise explanation」的要求一致。代价是解释深度受限：它给出的是「因为边界清晰所以是良性」这一级别的理由，而不是完整的鉴别诊断推理链。

这是本数据集与 MedReason 这类「长思维链」数据集最本质的差别——后者用知识图谱撑起多步推理，前者用影像学术语撑起单步判断。两者的用途不同：前者训练 grounding，后者训练 reasoning。

§5 下游模型 MedFuse-Seg：为什么需要这个数据集

5.1 架构三件套

MedFuse-Seg 没有从零训练视觉主干，而是把三个现成组件拼起来：

组件	角色	提供方
MedGemma-4B-IT	语言推理 + 多模态理解主干	Google
MedSigLIP	医学图文对齐的视觉特征塔	Google（MedGemma 生态）
MedSAM ViT-B	掩码解码器	Wang Lab（MedSAM）

训练时对 MedGemma 与 MedSigLIP 施加 LoRA（r=64，α=128），而投影层、融合适配器、SAM 掩码解码器是全参数微调。这是一个「冻结大模型主体 + 全力调轻量头」的典型配方。

训练配置（官方 README 原文）：

• DeepSpeed ZeRO-2，4× A100
• 5 个 epoch，每 epoch 13,371 步
• batch size 8，梯度累积 1
• 学习率 1e-4，bf16 精度
• 梯度检查点开启

13,371 × 8 = 106,968 样本/epoch，相对 427,861 条训练数据约 0.25 个 epoch 的量——也就是一个 epoch 只覆盖约四分之一数据。5 个 epoch 合计约 1.25 遍。这个设置说明训练成本是瓶颈，也意味着数据集的 42 万条并没有被充分利用。

5.2 名字里的「多级融合」指什么

Multi-Level Visual and Semantic Context Fusion 拆开看是两件事：

• 多级视觉特征注入：不只用视觉塔最后一层，而是把中间层的空间特征也注入到语言模型侧。这是对 LISA 系列「只取最后一层」的改进，目的是保住细粒度空间信息。
• LLM 引导的掩码解码：由语言模型输出的隐藏状态（其中 [SEG] token 的位置携带定位意图）去条件化 SAM 解码器，而不是用手工提示点/框。

这个设计对数据的直接要求是：每条样本必须有 [SEG] 锚点。Med-ReasonSeg 的全部答案恰好都满足（100% 含 [SEG]），这不是巧合，而是为训练目标量身定制的。

5.3 官方公布的性能

方法	DSC(Ref)	DSC(Sem)	DSC(Avg)	HD95(Ref)	HD95(Sem)	HD95(Avg)
SAM 3（零样本）	0.1425	0.1167	0.1296	373.52	370.50	372.01
BiomedParse（零样本）	0.6703	0.6344	0.6524	105.23	115.97	110.60
LISA-7B（同配置微调）	0.7398	0.7370	0.7384	71.55	72.13	71.84
MedFuse-Seg	0.7879	0.7867	0.7873	56.46	56.65	56.55

读这张表要注意四件事：

1. SAM 3 零样本几乎失效（DSC 0.13）。它没在医学影像上见过，这个数字更多说明「通用交互式分割不能直接搬到医学域」，而不是「SAM 3 不行」。
2. BiomedParse 是强基线（0.6524）。它本身就在大规模生物医学数据上训练过，与 MedFuse-Seg 共享大量上游源库。
3. 增幅的参照系是 BiomedParse：13.49 个 DSC 点、54.04 px HD95。这个提升幅度在分割任务里相当可观。
4. 对 LISA-7B 的优势只有 4.89 点。官方特别注明 LISA-7B 是「用相同训练配置、相同数据、相同超参重训」的公平对照。这说明数据本身贡献了大部分增益——把 LISA-7B 放到 Med-ReasonSeg 上重训，它也能从零样本水平跳到 0.7384。

5.4 这张表不能证明什么

• 不能证明 MedFuse-Seg 架构优越。表中没有「同架构、换数据」的消融，无法把增益拆成「数据」与「架构」两部分。
• 不能证明跨中心泛化。测试集与训练集来自同一批上游库，只是影像级切分，属于分布内评估。
• 不能证明临床可用。DSC 是几何重叠指标，与临床可接受度之间没有单调关系；HD95 56 px 在 512×512 图像上约合 11% 的对角线长度，边界误差并不小。
• referring 与 semantic 的差距极小（0.7879 vs 0.7867，差 0.12 点），远小于预期。这反过来说明模型并没有真正利用 semantic 请求里的特征描述——如果它真的在做特征推理，两类任务的难度差不应如此之小。这一点是本文的推断，官方未讨论。

---

§6 同类对照：它站在哪些数据集旁边

6.1 与 BiomedParse 数据的关系

BiomedParseData 同样从多个公开库汇集医学影像与掩码，做「文本-掩码」对齐训练。两者共享大量上游源（MSD、LIDC、ISIC 等）。

差别在三点：

• 任务显式二分：Med-ReasonSeg 把 semantic 与 referring 打成独立标签，BiomedParse 更偏向统一指代。
• 答案带解释：本数据集的答案里有一句病理/影像学解释，BiomedParse 更接近「掩码即类别名」。
• 规模方向相反：BiomedParse 追求更广的覆盖，Med-ReasonSeg 追求「每张掩码 6 条」的密度。

6.2 与 MedReason 的关系

两者名字相近但完全不同：

维度	Med-ReasonSeg	MedReason
输入	医学影像	医学问答题干
输出	掩码 + 短解释	长思维链
知识来源	影像学特征	PrimeKG 医学知识图谱
规模	539,383 条三元组	32,682 条 QA
团队	朱拉隆功大学 Biodat Lab	UCSC-VLAA + UBC
库内条目	本文	rid 929

一个是「看图说话并指出位置」，一个是「读题推理并给出步骤」。混淆这两个条目是检索时最常见的错误。

6.3 与通用推理分割的关系

数据集	域	指代粒度	是否需要解释
RefCOCO / RefCOCOg	自然图像	句级指代	否
ReasonSeg（LISA 配套）	自然图像	复杂推理句	是
Med-ReasonSeg	医学影像	特征描述 + 病名	是（短解释）

MedFuse-Seg 的代码沿用了 LISA 的 hf_refseg 数据集代号，但实际加载的是本数据集。这一点在复现时极易踩坑。

6.4 与纯分割库的关系

16 个上游库中，多数在千方库内已有独立条目。它们的定位是「掩码本身是产品」，而 Med-ReasonSeg 的定位是「掩码 + 语言 = 可训练样本」。两者互补，不构成替代关系。

---

§7 获取与许可：一条直链与十六份条款

7.1 下载路径

# 元数据（两份 Parquet，共约 27.7 MB）
huggingface-cli download biodatlab/Med-ReasonSeg --repo-type dataset --local-dir Med-ReasonSeg

# 图像与掩码（38.5 GB）
huggingface-cli download biodatlab/Med-ReasonSeg --repo-type dataset \
    --local-dir Med-ReasonSeg --include "Med-ReasonSeg.zip"

沙箱环境若 HuggingFace 主站不可达，可换用 hf-mirror.com 镜像，接口路径完全一致。

7.2 加载与可视化

from datasets import load_dataset, Image

ds = load_dataset("biodatlab/Med-ReasonSeg")
ds = ds.cast_column("image_path", Image())
ds = ds.cast_column("mask_path", Image())

sample = ds["train"][0]
print(sample["dataset"])          # breast_busi
print(sample["task"])             # semantic
print(sample["question"])
print(sample["answer"])

cast_column 这两步不能省——Parquet 里存的是字符串路径，不 cast 就拿到的是 str 而不是 PIL Image。

7.3 按源库或按任务过滤

# 只要乳腺超声
busi = ds["train"].filter(lambda x: x["dataset"] == "breast_busi")

# 只要 semantic 任务
sem = ds["train"].filter(lambda x: x["task"] == "semantic")

# 只要脑部 MSD
brain = ds["train"].filter(lambda x: x["dataset"] == "msd-brain")

如果用 Parquet 直接读（不经过 datasets），filter 更快：

import pandas as pd
df = pd.read_parquet("data/train-00000-of-00001.parquet")
brain = df[df.dataset == "msd-brain"]

对 42 万行而言，pandas 路径比 datasets 的 filter 快一个数量级，适合做统计而非训练。

7.4 许可结构

层	声明	位置
数据集本体	Apache-2.0	HF cardData.license + tags: license:apache-2.0
代码仓库	Apache-2.0	github.com/biodatlab/medfuse-seg LICENSE
上游 16 库	各自条款	未在 card 内汇总，作者原话「please reach out to the owners」
论文	会议论文集条款	MICCAI 2026 proceedings

Apache-2.0 允许商用、允许修改、允许再分发，只需保留版权声明与变更说明。但这只覆盖「派生包」这一层。上游 16 个库的许可并不因此被豁免：

• LIDC-IDRI、CDD-CESM、NSCLC-Radiogenomics 走 TCIA，通常要求遵守 TCIA Restricted License 并签署使用协议；
• MSD 采用 CC BY-SA 4.0（需核对官方页面）；
• ISIC 2018 采用 CC BY-NC 4.0（非商用）；
• BUSI 的条款由发布机构单独声明；
• SIIM-ACR、COVID-QU-Ex、PolypGen 各自有 Kaggle/Synapse 平台条款。

一旦你的用途是商用，必须逐个回溯。数据集卡上的 Apache-2.0 不能替代这一动作。这是本条目最需要强调的一条实务提醒。

7.5 存储与算力估算

项	数值
元数据	27.7 MB
图像与掩码压缩包	35.9 GiB
解压后估计	约 38–45 GB（PNG 无损，取决于文件系统块大小）
若要缓存在内存中做训练	不现实，必须流式读取
官方训练配置	4× A100 80GB，DeepSpeed ZeRO-2

单卡用户不建议按官方脚本复现。更实际的做法是先用一个源库（例如 breast_busi 的 3,114 条）跑通流程，再扩到全量。

§8 方法学启示：自动生成医学问答的四条经验

8.1 固定配额优于自由生成

每张掩码固定 6 条、referring 与 semantic 各 3 条，是个简单但有效的约束。它带来三个直接好处：

• 分布可比：每个源库的「条/图」都在 5.93–6.00，跨库统计不会因为某库生成得多而倾斜。
• 任务平衡：两类任务精确对半，模型不会偏向其中一种。
• 成本可控：调用次数与掩码数成线性关系，预算可预估。

反过来也有代价：内容密度不均的图像（例如 LIDC 一张 CT 里可能有多个结节）也被压成 6 条，信息冗余与信息不足并存。

8.2 双模型分级校验是成本与质量的折中

生成用 Pro、粗筛用 Flash、复核用 Pro，这个三段式在工业界很常见。它的隐含假设是「Flash 的假阴性率低」——即 Flash 判 PASS 的样本里错误很少，因此可以放心放行；只有 Flash 判 FAIL 的才需要 Pro 复核。

但如果 Flash 与 Pro 同源、共享同一种视觉/医学偏见，粗筛就会漏掉它们共同的盲区。0.14% 的整体淘汰率是否偏低，取决于我们不知道的分母——官方没有公布「生成了多少条、粗筛拦了多少、复核又拦了多少」。

8.3 错误码枚举比打分更实用

verification.txt 让模型输出枚举错误码而非 1–5 分，这个选择很务实：

• 枚举可以脚本化过滤（reason == "ANATOMICAL_MISMATCH" 直接丢）；
• 分数需要额外定阈值，且不同批次的分布不可比；
• 枚举强制模型给出可解释的理由，方便事后审计。

OTHER 类必须附五词说明，也是一个好设计——它把「无法归类」变成一个需要表态的类别，而不是垃圾桶。

8.4 允许阴性发现是关键的医学正确性

BIOLOGICAL_IMPOSSIBILITY 的例外条款（「正常/健康/清晰」描述不算错误）看似细节，实际决定了数据集的解剖多样性。如果没有这条例外，MSD-Hippo（海马）、MSD-Spleen（脾）、G1020（视杯）这些正常结构样本会被系统性判错，数据集就只剩下病灶，失去「正常 vs 异常」的对照能力。

这一点值得所有做医学自动标注的团队借鉴：医学数据里「没有病」本身是最重要的信息之一。

---

§9 已知问题与坑点清单

以下每一条都给出「现象 → 成因 → 应对」。前六条来自本文对 Parquet 的实测，后四条来自官方文档与仓库之间的漂移。

坑 1：16 个源库 vs 24 个 dataset 标识

现象：官方卡片说「16 publicly available datasets」，代码里 dataset 字段却有 24 个不同取值。

成因：MSD（Medical Segmentation Decathlon）是一个挑战赛，内含 10 个解剖任务。派生集把它按任务拆成 9 个子集（msd-brain、msd-hippo、msd-liver、msd-pancreas、msd-lung、msd-prostate、msd-colon、msd-heart、msd-spleen），一个源库膨胀成 9 行。16 − 1 + 9 = 24。

应对：引用规模时说明口径。「16 源库」用于对外介绍，「24 数据标识」用于统计。做跨库分析时，先把 MSD 九个子任务聚合回一个源库，否则会把 MSD 的权重算成 56%。

坑 2：MSD 实际只有 9 个任务，第 10 个缺失

现象：MSD 官方有 10 个任务，本数据集的 dataset 字段只有 9 个 MSD 子集。

成因：本文实测值为 9 个（脑 22,528 图、海马 6,208、肝 4,266、胰腺 2,228、肺 1,241、前列腺 1,118、结肠 997、心脏 959、脾 769），缺一个任务。缺失的具体是哪个任务，官方未说明，属遗留疑点。

应对：不要假设「MSD 全覆盖」。如果你需要某个特定解剖部位，先查 dataset 字段是否包含，再决定是否回上游补。

坑 3：单库画像失衡，脑部占四分之一

现象：msd-brain 一个子集就有 135,091 条，占全库 25.0%；若按模态统计，MRI 占 48.6%。

成因：上游库的图像数量本身就不均衡。MSD 脑部任务提供 22,528 例扫描，是 BUSI（519 例）的 43 倍。派生集按「每图 6 条」等比放大，失衡被原样继承。

应对：按源库做重采样或加权，不要直接在全库上训。评估时按源库分层报告，否则脑部分割的表现会主导总分。

坑 4：卡片写 ~XX GB，实际 38.5 GB

现象：数据集卡的下载示例注释是 # Download images and masks (~XX GB)，占位符没填。

成因：文档疏漏。实测 Med-ReasonSeg.zip 为 38,530,049,112 字节（35.9 GiB）。

应对：按 40 GB 规划磁盘，留出解压余量。用 --include 参数只下元数据先探查结构，避免盲目拉全量。

坑 5：hf_refseg 命名误导

现象：MedFuse-Seg 的训练与评测脚本里 --val_dataset="hf_refseg|test"，字面上像是指通用 RefSeg 数据集。

成因：代码沿用 LISA 的命名习惯，hf_refseg 是内部数据加载器的代号，实际指向 Med-ReasonSeg。仓库对这一点没有说明。

应对：复现时不要去找外部的 RefSeg。加载器配置与 biodatlab/Med-ReasonSeg 的路径结构对应（train/images/、train/masks/）。

坑 6：<SEG> 与 [SEG] 不一致

现象：提示词模板里写的是 <SEG>，发布数据里全部是 [SEG]。

成因：流水线后处理做了格式归一化，但提示词文件保留原样，未同步更新说明。

应对：解析答案时按 [SEG] 匹配。若自己复现生成流程，需要加一步替换，否则数据格式会与官方发布版不一致。

坑 7：答案模板化，动词多样性低

现象：99.7% 的问题以 11 个动词开头，25.8% 直接是 Segment。

成因：提示词给出了固定的 JSON 模板与示例，模型倾向复用示例句式。提示词里虽写了「request must not contain examples」，但句法层面的模仿仍然存在。

应对：训练时做问句改写增广；评测时不要只用一种问法，否则会高估泛化能力。中文场景需要额外翻译并核对术语。

坑 8：Apache-2.0 不覆盖上游

现象：数据集卡只写一个 Apache-2.0，容易被理解成「全部可商用」。

成因：派生包作为整体声明一个许可，上游许可被一句「please reach out to the owners」带过。

应对：商用前逐个源库核对。ISIC 2018 是 CC BY-NC（非商用），TCIA 系数据通常需要签署使用协议，这些限制不会因重打包而消失。

坑 9：单通道掩码丢类别

现象：掩码是二元 PNG，mask_path 指向的文件只有前景/背景。

成因：上游库多数是二元标注；多类库（MSD 多器官、LIDC 多结节）在打包时被压成单通道，类别信息只保留在问答文本里。

应对：需要多类分割的研究不能用本数据集的掩码直接训练分类头。要从问答文本里抽类别，或用上游库的原始多类标注。

坑 10：0.14% 的淘汰率偏低

现象：90,021 × 6 = 540,126，最终 539,383，只淘汰 743 条。

成因：验证器与生成器同属 Gemini 家族，判别偏好趋同；或验证环节只在明显错误上生效。

应对：不要假设「官方验证过 = 无错误」。抽样人工核验（建议每源库抽 100 条）后再用于训练，尤其是 semantic 类——它的错误更隐蔽。

---

§10 与库内条目的关系

10.1 上游源库（16 个里已在库的 10 个）

源库	库内条目	rid	关系
BRISC	brisc	792	直接上游，本条目取 3,933 例、23,583 条
BUSI	busi	539	直接上游，取 519 例、3,114 条
LIDC-IDRI	lidc-idri	19	直接上游，取 7,384 例、44,196 条
MSD	medical-decathlon	77	直接上游，拆 9 子任务共 241,489 条
ISIC 2018	isic-2018	710	直接上游，取 2,694 例、16,158 条
G1020	g1020	764	直接上游，取 1,444 例、8,663 条
REFUGE	refuge	62	直接上游，取 955 例、5,730 条
NSCLC-Radiogenomics	nsclc-radiogenomics	257	直接上游，取 1,334 例、8,003 条
PolypGen	polypgen	183	直接上游，取 1,112 例、6,667 条
BKAI-IGH NeoPolyp	bkai-igh-neopolyp	84	直接上游，取 800 例、4,798 条
SIIM-ACR	siim-acr-pneumothorax	737	直接上游，取 2,379 例、14,256 条
Chest Xray Masks and Labels	chest-x-ray-segmentation	601	名称近似，需人工确认是否同一版本

未入库的 4 个：CDD-CESM、COVID-19 CT、COVID-QU-Ex、OCT-CME。其中库内有近邻但不能等同：covid-ct-lung（rid 1041）是 COVID-19 CT Lung and Infection Segmentation，与本条目所用的 Kaggle andrewmvd/covid19-ct-scans 不是同一个库；covid-segmentation（rid 1042）亦非同一源。

10.2 方法论近邻

条目	rid	关系
biomedparse	953	同类「大规模掩码-文本」数据集与模型，本条目最强对照基线
medsam2-dataset	952	交互式医学分割数据，与本条目的语言驱动路线互补
medreason	929	名称近似但任务完全不同（文本长链推理 vs 影像 grounding）
3dreasonknee	728	同为推理分割但为 3D 膝关节 MRI，规模小得多
chexstruct-cxreasonbench	604	胸片结构化推理基准，属评测而非训练
lisa2025	686	LISA 系列通用推理分割，MedFuse-Seg 的代码基础

10.3 使用建议

• 需要原始多类掩码时，回到上游条目（如 medical-decathlon/77）取原版；
• 需要语言-像素对齐训练语料时，用本条目；
• 需要长链推理语料时，用 medreason/929；
• 做跨库公平评测时，从 24 个 dataset 取值里等量抽样，避免脑部主导。

---

§11 按角色的阅读路径

11.1 模型训练工程师

先看 §2.3 的逐源分布，决定采样权重；再看 §4.5 的长度统计，决定序列裁剪上限（答案最长 222 字符，问题最长 185 字符，max_length 设 256 token 足够）；最后看坑 9，确认掩码是单通道后再决定损失函数。

实战顺序：

1. 只下元数据（27.7 MB），跑一遍 df.groupby("dataset").size()；
2. 按源库算目标权重，避免 msd-brain 吃掉四分之一；
3. 先在一个小库（breast_busi 3,114 条）上跑通训练-评估闭环；
4. 再扩到全量，磁盘预留 40 GB。

11.2 多模态大模型研究者

关注 §5.2 的「多级特征注入 + LLM 引导解码」与 §5.4 的「这张表不能证明什么」。若目标是做架构对比，需要自己在同一数据上跑消融——官方没有把数据增益与架构增益拆开。

11.3 数据合规与法务

直接看 §7.4 与坑 8。一句话：数据集卡的 Apache-2.0 只覆盖派生包，16 个上游库要逐个查。ISIC 2018 的非商用条款与 TCIA 的使用协议是最容易被忽略的两处。

11.4 临床使用者

不建议直接使用。§4.5 已说明答案深度只到「因为边界清晰所以是良性」这一级，属于单步判断而非鉴别诊断。若要做临床决策支持，需要额外的知识源与人工复核流程。

11.5 数据集构建者

全文最有参考价值的是 §3 与 §8：固定配额、双模型分级校验、枚举错误码、允许阴性发现。这四点可以低成本迁移到其他自动标注项目。

---

§12 一页速查卡

Med-ReasonSeg 速查
────────────────────────────────────────────
规模       539,383 条三元组（train 427,861 / test 111,522）
影像       90,021 例扫描（train 71,406 / test 18,615，零重叠）
每图问答   5.99 条（设计值 6：3 referring + 3 semantic）
模态       9 种：MRI 48.6% / CT 27.3% / X 光 9.9% / 其他 14.2%
源库       16 个公开库 → 24 个 dataset 标识（MSD 拆 9）
最大子集   msd-brain 135,091 条（25.0%）
答案格式   英文，含且仅含一个 [SEG]，平均 99.8 字符
生成模型   Gemini 2.5-Pro（生成）→ 2.5-Flash（粗筛）→ 2.5-Pro（复核）
许可       Apache-2.0（仅派生包），上游需自查
获取       HF biodatlab/Med-ReasonSeg，公开直链无门禁
体积       元数据 27.7 MB + 图像包 35.9 GiB
下游       MedFuse-Seg（MICCAI 2026）：DSC 0.7873 / HD95 56.55
────────────────────────────────────────────
三个必查：① 掩码是单通道  ② 上游许可  ③ MSD 缺一个任务

---

§13 常见误解澄清

误解一：「这是新的医学影像数据集」
不是。影像全部来自 16 个公开库，本数据集新增的是问答层与统一打包格式。它属于衍生数据（derived dataset），引用时须同时致谢上游。

误解二：「问答是医生写的」
不是。问答由 Gemini 2.5-Pro 生成、Gemini 2.5-Flash 与 2.5-Pro 校验，没有逐条人工签署。质量下限由自动校验决定。

误解三：「它和 MedReason 是一回事」
完全不是。MedReason 是文本-知识图谱的长链推理（rid 929），本数据集是影像-掩码-短解释的 grounding 训练语料。名字相似，用途相反。

误解四：「Apache-2.0 意味着商用无忧」
只在派生包这一层成立。上游 ISIC 2018 是 CC BY-NC，TCIA 系需要签协议，这些限制不会因为重打包而消失。

误解五：「16 个库均等覆盖」
远非均等。MSD 九个子任务占 44.8%，脑部单库占 25.0%，最小的 breast_busi 只有 3,114 条（0.58%）。

误解六：「referring 比 semantic 简单很多」
从 MedFuse-Seg 的结果看并非如此：referring DSC 0.7879、semantic 0.7867，差 0.12 点。这反过来说明模型可能并没有真正在做特征推理，而是把两类请求都当成了「关键词定位」。

误解七：「掩码带类别标签」
掩码是二元 PNG，不含类别。类别语义只存在于 question/answer 文本里，以及 dataset 字段的粗粒度标识中。

误解八：「训练集与测试集是患者级隔离」
是影像级隔离（路径零重叠），公开元数据里没有患者 ID，患者级泄漏无法排除。

---

§14 下游实操清单

14.1 数据准备阶段

1. 先读元数据：pd.read_parquet 两份文件，确认行数 427,861 / 111,522。
2. 核对 [SEG] 覆盖率：df.answer.str.contains(r"\[SEG\]").mean() 应为 1.0。若不是，说明下载或转换出错。
3. 核对「条/图」：len(df) / df.image_path.nunique() 应约等于 5.99。显著偏离说明数据被改动过。
4. 磁盘规划：图像包 35.9 GiB，解压后按 40 GB 预留。
5. 路径规整：image_path 是相对路径，加载时需拼接根目录；mask_path 与 image_path 仅目录名不同。

14.2 训练配置阶段

6. 采样权重：按 dataset 分层，避免 msd-brain 一家独大。
7. 序列长度：问题最长 185 字符、答案最长 222 字符，256 token 足够；若拼接图文 token 需另算。
8. 锚点监督：[SEG] 在答案中的位置是定位信号的来源，务必在 tokenize 时保留其特殊 token 身份，不能被分词器切碎。
9. 掩码对齐：二元掩码与图像同名同尺寸，但如果做了 resize，必须用最近邻插值。
10. 任务权重：若要区分 referring/semantic，按 task 列做条件采样；若不分，保持 1:1 即可接近官方设置。

14.3 评估阶段

11. 分层报告：按 dataset 与 task 双维度报告 DSC/HD95，不要只报平均。
12. 零样本基线：至少跑一个通用模型（SAM 3 或 BiomedParse）作为参照，官方给出的零样本 DSC 是 0.1296 / 0.6524。
13. 边界指标：HD95 比 DSC 更能反映临床可用性，官方 MedFuse-Seg 的 HD95 平均是 56.55 px。
14. 问句改写测试：用同义改写（换动词、换语序、译成中文）测一遍，检查是否过拟合模板。§4.3 显示 99.7% 的问句只用 11 个动词开头，这是风险点。

14.4 上线前

15. 人工抽检：每源库抽 100 条，核验「描述与掩码是否匹配」。这一步无法被自动指标替代。
16. 合规复核：确认目标用途不触碰上游库限制（尤其 ISIC 的 NC 条款）。
17. 版本固定：记录 HF revision（本文抓取时 lastModified 为 2026-10-11），避免上游静默更新导致结果不可复现。

---

§15 附录 A：事实清单（硬事实 30 条）

#	事实	来源
1	三元组总数 539,383	HF card + 实测
2	train 427,861 / test 111,522	实测 Parquet 行数 + GitHub README
3	扫描总数 90,021	HF card
4	train 影像 71,406 / test 影像 18,615	实测去重
5	两划分影像交集为 0	实测集合运算
6	每图平均 5.99 条问答	实测 539,383 / 90,021
7	referring 213,958 / semantic 213,903（训练集）	实测
8	MRI 48.6% / CT 27.3% / X 光 9.9% / 其他 14.2%	HF card
9	9 种成像模态	HF card
10	16 个上游源库	HF card 表格
11	dataset 字段 24 个取值	实测
12	MSD 九个子任务合计 241,489 条	实测
13	msd-brain 135,091 条 / 22,528 图	实测
14	最小子集 breast_busi 3,114 条 / 519 图	实测
15	问题平均 58.8 字符、9.4 词	实测
16	答案平均 99.8 字符、15.6 词	实测
17	答案 100% 含 [SEG]，且仅含一个	实测
18	92.7% 答案以 [SEG]. 结尾	实测
19	同一图像下 (image_path, question) 零重复	实测
20	训练集 Parquet 21,916,184 字节	HF 文件树 API
21	测试集 Parquet 5,750,757 字节	HF 文件树 API
22	图像包 38,530,049,112 字节（35.9 GiB）	HF 文件树 API
23	许可 Apache-2.0	cardData + tags 双处
24	gated=false、private=false	HF API
25	createdAt 2026-06-18 / lastModified 2026-10-11	HF API
26	下载数 296 / 点赞 0（2026-10-17 抓取）	HF API
27	5 位作者：Limaroon / Chiewhawan / Timklaypachara / Vateekul / Achakulvisut	BibTeX
28	MedFuse-Seg 平均 DSC 0.7873、HD95 56.55	GitHub README
29	BiomedParse 零样本平均 DSC 0.6524、HD95 110.60	GitHub README
30	LISA-7B 同配置微调平均 DSC 0.7384、HD95 71.84	GitHub README

---

§16 附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	8	HuggingFace 公开仓库 + 完整 README + 论文引用；无独立数据集论文，检索主要靠 HF 与 GitHub 两条路径
A 可获取性	9	公开直链、无门禁、无申请，元数据可秒下；扣分项是 35.9 GiB 图像包对带宽与磁盘的门槛
I 可互操作	8	Parquet + datasets 库原生支持，字段语义清晰；扣分项是掩码为无类别二元 PNG，且回答格式为自定义 [SEG] 约定，无标准 schema
M 元数据质量	6	有源库表与模态占比，但缺逐源库规模表、缺验证淘汰统计、卡片 ~XX GB 占位未填、提示词文件与发布格式不一致（<SEG> vs [SEG]）
S 可持续性	7	依托 HF 平台与机构账号（biodatlab），稳定性较好；扣分项是上游许可未汇总、数据集无版本号与 changelog
综合评级	7.6/10（良好）	可获取性突出、可发现性好；元数据完整度是主要短板，也是二次使用成本的主要来源

---

§17 附录 C：逐项证据链

关键数字	来源	抓取方式
539,383 / 90,021 / 9 模态 / 16 库	HF 数据集卡正文	镜像 raw/main/README.md
427,861 / 111,522 划分	GitHub README「Dataset」节	raw.githubusercontent.com
各源库行数与图像数	Parquet 实测	pd.read_parquet + groupby
模态占比 48.6/27.3/9.9/14.2	HF 数据集卡	同上
Apache-2.0	HF API cardData.license 与 tags	镜像 API
文件体积	HF 文件树 API（expand=true）	镜像 API
时间戳与下载量	HF API 顶层字段	镜像 API
DSC/HD95 四行结果	GitHub README「Results」表	raw.githubusercontent.com
LoRA r=64/α=128、4×A100、5 epoch	GitHub README「Training」节	同上
提示词原文与错误码	prompts/qa_generation_disease.txt、verification.txt	raw.githubusercontent.com
<SEG> 与 [SEG] 差异	提示词 vs Parquet 答案	交叉比对

---

§18 附录 D：获取决策树

你要做什么？
├─ 只想了解规模与结构
│    └─ 下两份 Parquet（27.7 MB）即可，不必拉 38.5 GB 图像包
├─ 训练推理分割模型
│    ├─ 磁盘 ≥ 50 GB 且带宽允许 → 拉全量，按 dataset 加权采样
│    └─ 磁盘/带宽受限 → 只拉目标源库子集（需自己从 ZIP 中按文件名抽取）
│         ZIP 内文件名为 train/images/N.png 与 train/masks/N.png，
│         与 Parquet 的 image_path 一一对应，可用 parquet 里的 N 做白名单
├─ 做临床问答系统
│    └─ 不建议：答案只有单步解释，深度不足，且无人工签署
├─ 做多类器官分割
│    └─ 回上游库取多类标注（如 MSD 原版），本数据集为单通道
└─ 商用
     └─ 先做上游许可审计：ISIC 2018（NC）、TCIA 系（协议）、MSD（CC BY-SA）

---

§19 附录 E：术语表

术语	全称 / 含义
referring segmentation	指代分割：请求中直接给出目标名称
semantic segmentation（本语境）	语义描述分割：请求中以影像学特征代替名称（注意与通用「逐像素分类」含义区分）
reasoning segmentation	推理分割：先推理后分割，输出掩码并给出理由
[SEG]	答案中指向目标掩码的特殊标记 token
DSC	Dice Similarity Coefficient，分割重叠度
HD95	95% Hausdorff Distance，边界误差的 95 分位
gIoU / cIoU	generalized / class IoU，官方评测另报的两项指标
MSD	Medical Segmentation Decathlon，十任务医学分割挑战赛
LIDC-IDRI	Lung Image Database Consortium and Image Database Resource Initiative
BRISC	Brain Tumor Segmentation and Classification，脑肿瘤 T1 MRI 基准
BUSI	Breast Ultrasound Images，乳腺超声数据集
CDD-CESM	Clinical Data Drive – Contrast Enhanced Spectral Mammography
ISIC	International Skin Imaging Collaboration
G1020 / REFUGE	两个青光眼视盘视杯分割基准
OCT-CME	视网膜 OCT 黄斑囊样水肿数据集
PolypGen / NeoPolyp	两个结肠镜息肉分割数据集
MedGemma	Google 的医学多模态模型族（4B-IT）
MedSigLIP	Google 的医学图文对齐视觉塔
MedSAM	Segment Anything 的医学版，ViT-B 为主干
LISA	Reasoning Segmentation 的代表模型，MedFuse-Seg 的代码基础
LoRA	Low-Rank Adaptation，低秩适配微调
DeepSpeed ZeRO-2	微软的分布式训练显存优化方案
DAIMS	Discoverability / Accessibility / Interoperability / Metadata / Sustainability

---

§20 附录 F：引用格式

@inproceedings{LimKee_MedFuseSeg_MICCAI2026,
  title={MedFuse-Seg: Multi-Level Visual and Semantic Context Fusion for Segmentation-Based Medical Reasoning},
  author={Limaroon, Keetawan and Chiewhawan, Monrada and Timklaypachara, Watcharapong and Vateekul, Peerapon and Achakulvisut, Titipat},
  booktitle={Proceedings of Medical Image Computing and Computer Assisted Intervention -- MICCAI 2026},
  year={2026}
}

数据集引用建议同时给出仓库标识与访问日期：

Biodat Lab, Chulalongkorn University. Med-ReasonSeg (2026).
HuggingFace Datasets. https://huggingface.co/datasets/biodatlab/Med-ReasonSeg
[访问日期：2026-10-17；数据快照 lastModified 2026-10-11]

---

§21 建议互链点

以下条目与本文关系最紧，建议双向互链（rid 均经 DB 实测确认在架）：

目标	rid	互链理由
medical-decathlon	77	提供 44.8% 的上游掩码
lidc-idri	19	第二大上游源，4.4 万条
brisc	792	脑部 MRI 上游，2.4 万条
busi	539	乳腺超声上游，问答样例最直观
isic-2018	710	皮肤镜上游，非商用条款提示点
g1020	764	眼底视杯上游
refuge	62	眼底视盘视杯上游
nsclc-radiogenomics	257	肺癌 CT 上游
polypgen	183	内窥镜息肉上游
bkai-igh-neopolyp	84	内窥镜息肉上游
siim-acr-pneumothorax	737	胸片气胸上游
biomedparse	953	同类方法与数据，核心对照
medsam2-dataset	952	交互式分割，路线互补
medreason	929	名称近似、任务相反，消歧必要
3dreasonknee	728	同为推理分割，3D 场景
lisa2025	686	通用推理分割，代码基础

---

尾注

本文全部数字来源于两条链路：一是 HuggingFace 镜像 API 与数据集卡原文（2026-10-17 抓取，快照对应 lastModified 2026-10-11）；二是官方 GitHub 仓库 biodatlab/medfuse-seg 的 README 与 prompts/ 目录原文。逐源库规模、问答长度分布、[SEG] 覆盖率、划分重叠情况均为本文对两份 Parquet 的实测结果，官方未发布这些粒度的统计，若上游更新可能出现偏差。

凡官方卡片与实测不一致处，已在 §9 逐条标明口径；凡本文推断而非官方陈述之处（如 §5.4 关于 semantic 与 referring 差距过小的解读、§3.5 关于淘汰率偏低的质疑），均已明确标注为推断。

上游 16 个源库的许可条款本文未逐一核实原文，§7.4 列出的是常识性判断，商用前请以各库官方页面为准。

§22 源库画像：16 个上游库逐一速写

这一节把每个上游库单列出来，说明「它贡献了什么、它的问答长什么样、用的时候要注意什么」。了解源库画像是理解本数据集分布偏斜的前提。

22.1 MSD 脑部（msd-brain）

贡献 22,528 图、135,091 条，是全库最大子集。源任务是脑肿瘤（胶质瘤）分割，标注为「增强区 / 非增强区 / 坏死区」等子区，在本数据集里被压成单通道掩码，类别差异改由问答文本承载。

问答的主题词集中在 enhancing、hyperintense、ring-enhancing、glioma、necrotic 上。典型句子：

Segment the enhancing area in this post-contrast T1-weighted brain MRI.
→ This enhancement suggests a breakdown of the blood-brain barrier. The enhancing area is located at [SEG].

注意这句解释里出现了「血脑屏障破坏」——这是数据集里少见的多跳医学因果表述，质量明显高于平均值。观察下来，脑部子集的答案普遍比其他子集更像医学文本，可能与模型在脑肿瘤语料上见过更多有关。

22.2 MSD 海马（msd-hippo）

贡献 6,208 图、37,248 条，全部是正常解剖。这在以病灶为主的分割数据集里很罕见——源任务的目的是海马体分割（常用于阿尔茨海默病研究中的体积测量），所以标注本身就是正常结构。

问答几乎不涉及病理，答案反复强调「正常信号强度」「形态无异常」：

Show me the posterior hippocampus.
→ It appears to be of normal volume and structure on this MRI sequence. The posterior hippocampus is located at [SEG].

这一子集的价值在于提供「正常解剖」的正样本。医学视觉语言模型如果只在病灶上学，容易把所有结构都当异常；海马与脾这两个子集恰好补上了对照。

22.3 MSD 肝 / 胰 / 肺 / 前列腺 / 结肠 / 心脏 / 脾

七个任务合计约 68,000 条，各自一两万到几千不等。它们的共同特点是「器官级 + 病灶级混合」：肝任务既有肝脏整体也有肝肿瘤，结肠任务既有结肠也有结肠癌。问答在这两个层级之间来回切换，没有显式标记。

这带来一个隐性问题：同一个 dataset 标识下可能同时存在器官分割与病灶分割的样本，但 task 字段只区分 referring/semantic，不区分粒度。做细粒度评估时需要自己根据问题文本里的关键词二次标注。

22.4 LIDC-IDRI

贡献 7,384 图、44,196 条，第二大子集。源库是肺结节 CT 参考数据库，四名放射科医师独立标注，通常保留 ≥3 人共识的结节。派生集只保留二元掩码，多个结节共存时无法区分「哪个结节对应哪条问答」。

这个问题在语义上更明显：同一张 CT 若有 3 个结节，6 条问答可能分指不同结节，但掩码文件只指向其中一个（或合并后的一个）。使用时要意识到问答与掩码的对应关系是「一图一掩码多问答」，不是「一结节一掩码」。

22.5 BRISC

贡献 3,933 图、23,583 条。脑肿瘤 T1 MRI 的专家标注基准，任务包含分割与分类两路，派生集只取分割侧的掩码。问答的主题词与 MSD 脑部高度重叠，两者混在一起时不易区分子集来源，需要用 dataset 字段区分。

22.6 BUSI

贡献 519 图、3,114 条，是全库最小的子集，也是质量问题最容易被发现的子集——因为样本少、人工看一遍成本低。它的问答里良恶性判断出现频率很高：

Is there a fibroadenoma?
→ The area consistent with a fibroadenoma, a type of benign tumor, is [SEG].

这里有一个值得注意的局限：源库的 BUSI 有 benign / malignant / normal 三类标签，但派生集的问答里「benign」被大量使用，而恶性病例的描述相对模板化。做过 BUSI 的团队都知道，它的良恶性标签本身存在争议（部分病例在两个版本的标注中类别不同），派生集继承了这个不确定性，且没有任何提示。

22.7 CDD-CESM

贡献 973 图、5,834 条。对比增强乳腺 X 线（CESM），问答涉及 enhancement、non-mass enhancement、DCIS 等术语。这是全库里面向「造影增强」这一特定成像方式的唯一子集，术语密度最高。

值得注意的是它的问题里出现了 craniocaudal view（CC 位）、mediolateral oblique（MLO 位）这类体位术语，说明生成提示词里带了体位元数据。这类术语在其他子集几乎不出现。

22.8 COVID-QU-Ex / COVID-19 CT / SIIM-ACR / Chest Xray Masks and Labels

四个胸片子集合计约 52,500 条。它们都以肺部病变为主：COVID-19 感染区、气胸、肺野分割。问答的关键词集中在 lung、opacity、pneumothorax、infection 上。

这四个子集的存在让本数据集在「胸片分割」这一最常见的临床场景上有足够覆盖，但也造成胸片内部的高度同质——同一个「肺野」概念被不同源库用不同说法重复描述了数万次。

22.9 ISIC 2018

贡献 2,694 图、16,158 条。皮肤镜图像，七分类任务（含黑色素瘤、基底细胞癌等），派生集只保留病灶掩码，类别信息落在文本里。

问答的影像学词汇密度很高：asymmetry、border irregularity、variegated pigmentation、atypical nevus、dysplastic nevus。这是全库里「semantic 任务质量最高」的子集之一——因为皮肤镜的 ABCD 法则本身就是一套成熟的语义描述体系，模型生成时有所依托。

许可提醒：ISIC 2018 采用 CC BY-NC 4.0，非商用。

22.10 G1020 / REFUGE

两个青光眼眼底子集，合计 2,399 图、14,393 条。它们的标注对象是视盘（optic disc）与视杯（optic cup），几乎全部是正常或轻度异常结构。

问答高度集中在 optic cup、optic disc、cupping、cup-to-disc ratio 上。由于结构固定、位置固定（视盘总在图像中心附近），这两个子集的定位难度远低于其他子集。用它们训练出来的模型会低估真实场景的定位难度。

22.11 OCT-CME

贡献 1,177 图、7,045 条。视网膜 OCT 图像，标注黄斑囊样水肿（CME）的囊腔。问答关键词是 cystoid spaces、intraretinal fluid、petaloid pattern。

OCT 是断层成像，与 X 光/CT 的投影成像在视觉统计上差异很大。把 OCT 与胸片混在一个 batch 里训练，需要确认模型能区分这两种成像几何。

22.12 PolypGen / NeoPolyp

两个内窥镜息肉子集，合计 1,912 图、11,465 条。关键词 polyp、sessile、mucosal protrusion。

内窥镜图像的颜色分布（粉红、红、黄）与放射影像差异极大，是 9 种模态里视觉上最特殊的一类。这两个子集的存在让数据集具备了跨「放射 vs 光学」两大成像家族的覆盖。

22.13 NSCLC-Radiogenomics

贡献 1,334 图、8,003 条。非小细胞肺癌的 CT，标注肿瘤区域。这个源库本身的价值在于配对基因组数据，但派生集只取了影像与掩码，基因组那一半完全没进来——这是「重打包会丢信息」的典型例子。

22.14 小结：源库画像的三个含义

1. 分布极不均衡：最小的 BUSI 与最大的 msd-brain 相差 43 倍。全库统计会被脑部与 MSD 主导。
2. 语义难度不均：皮肤镜（ISIC）与乳腺（BUSI/CDD）的 semantic 描述最丰富；眼底（G1020/REFUGE）与器官级 MSD 子集的描述最模板化。
3. 信息有损：多类标签、基因组配对、放射科医师一致性等级等上游信息，在重打包时全部丢失。

---

§23 训练实践：五个易被忽略的技术点

23.1 [SEG] 必须作为独立 token

分词器默认会把 [SEG] 切成 [、SEG、] 三段，这样语言模型就无法在这个位置上汇聚定位意图。LISA 系的做法是把 [SEG] 注册为特殊 token，并把它最后一层的隐藏状态取出来作为掩码解码器的条件向量。

检查方法：

tok = AutoTokenizer.from_pretrained("google/medgemma-4b-it")
print(tok.tokenize("located at [SEG]."))
# 若输出含 "[", "SEG", "]" 三段，需要 add_tokens

23.2 掩码分辨率与图像分辨率的对齐

上游 16 个库的原始分辨率差异极大：眼底图常见 2124×2056，皮肤镜 600×450，CT 切片 512×512，乳腺超声 500×500 上下。打包成 PNG 后是否统一缩放，官方未说明。

如果训练时统一 resize 到 512×512，掩码必须用最近邻插值（Image.NEAREST）；用双线性插值会产生非二值像素，直接破坏 BCE/Dice 的监督信号。

23.3 长短样本混批的效率问题

问题平均 9.4 词、答案平均 15.6 词，加上特殊 token 整体长度不长。但若把图像 token 也算入（MedGemma 的视觉编码器会产出数百个 token），实际序列长度由图像主导。此时 batch size 8 的显存占用主要来自视觉侧，不是文本侧。

官方配置是 4×A100 80GB、batch 8、无梯度累积，实际相当于全局 batch 32。单卡用户若要复现，需要梯度累积到等效批量，但要注意 BatchNorm（若有）在小批量下的统计偏差。

23.4 学习率与 LoRA 的匹配

lr=1e-4 配 LoRA 是个偏高的组合。LoRA 参数少、梯度噪声大，1e-4 在 7B/4B 量级模型上通常需要配合 warmup 与梯度裁剪。官方脚本里用了 --gradient_checkpointing，说明显存是主要约束，学习率可能是为「5 个 epoch 内快速收敛」而选的激进值。

若在自己的数据上微调，建议从 2e-5 起测。

23.5 评估指标的解读

DSC 与 HD95 从两个角度看同一件事：DSC 看区域重叠，HD95 看边界距离。两者可能背离——一个把整个器官都涂满的模型，DSC 可能不低，但 HD95 会很差。

官方同时报了 gIoU 与 cIoU，这两个指标对类别不平衡更敏感。在只有二元掩码的本数据集上，gIoU 与 cIoU 的差别主要来自前景占比的差异（例如眼底视杯只占图像很小一块，而肺野占很大一块）。

---

§24 与其他推理分割数据集的横向对比

24.1 依任务复杂度分层

层级	代表数据集	请求形态	是否需要多步推理
L1 关键词定位	多数医学分割库的类别名	单个词	否
L2 属性描述定位	Med-ReasonSeg 的 semantic	一句特征描述	单步
L3 关系推理定位	ReasonSeg / LISA	含空间或逻辑关系	多步
L4 知识链推理	MedReason（文本侧）	医学问题	多步 + 外部知识

Med-ReasonSeg 的主体落在 L2，部分样本接近 L3（例如「Segment the non-enhancing component of the glioma」需要理解「非增强」与「增强」的对比关系），但很少有 L4 级别的知识调用。

认清这一点，就不会对它提出超出设计目标的要求。它是一个高质量的 L2 数据集，不是通用推理能力的试金石。

24.2 依监督信号分层

监督信号	数据集
仅掩码	上游 16 个库原版
掩码 + 类别名	多数 detection/segmentation 基准
掩码 + 指代句	RefCOCO 系、BiomedParse
掩码 + 描述句 + 短解释	Med-ReasonSeg
掩码 + 长推理链	目前医学领域尚无大规模公开集

最后一格是空白。「掩码 + 长推理链」需要把分割的像素证据与多步临床推理挂上钩，MedReason 做到了长链但没有像素，Med-ReasonSeg 有像素但链很短。这个空白是后续研究的机会点。

24.3 依数据来源分层

来源类型	特征	例子
单中心新采集	质量高、规模小	多数院内数据集
多中心汇总	规模中等、异质性大	PolypGen
挑战赛	规模大、标注协议统一	MSD、ISIC
二次重打包	规模最大、信息有损	Med-ReasonSeg、BiomedParseData

二次重打包的代价是信息有损，收益是规模与格式统一。选择哪一类，取决于你的瓶颈是「数据量」还是「标注纯度」。

---

§25 复现与验证清单

25.1 三分钟快速核查

拿到数据后先跑这一段，确认没有被篡改或下载不完整：

import pandas as pd

tr = pd.read_parquet("data/train-00000-of-00001.parquet")
te = pd.read_parquet("data/test-00000-of-00001.parquet")

assert len(tr) == 427861, len(tr)
assert len(te) == 111522, len(te)
assert set(tr.columns) == {"image_path","mask_path","dataset","question","answer","task"}
assert tr["dataset"].nunique() == 24
assert tr["task"].value_counts().to_dict() == {"referring": 213958, "semantic": 213903}
assert tr["answer"].str.count(r"\[SEG\]").eq(1).all()
assert len(set(tr.image_path) & set(te.image_path)) == 0
print("OK")

五条断言里，任何一条失败都说明数据与本文描述的口径不同。

25.2 完整性核查

# 图像与掩码配对检查（需已解压 ZIP）
import os
missing = [p for p in tr.image_path.head(1000) if not os.path.exists(p)]
print("缺失图像:", len(missing))

全量核查 7 万张图的耗时在几分钟量级，建议在正式训练前跑一次。

25.3 质量抽检表

抽检项	方法	可接受标准
[SEG] 唯一性	正则计数	100% 恰好一个
模态术语一致性	关键词黑白名单	跨模态污染 < 0.1%
描述-掩码匹配	人工抽 100 条/源库	主观合格率 > 85%
问题重复度	图像内去重	0 重复（已验证）
答案模板度	首词分布	前 5 个首词 < 80%

最后一项是最容易被忽略的。本文实测前 5 个答案首词（This / The / It / Certainly, / Certainly.）合计占 78.3%，已经接近上限。若你的下游任务对语言多样性敏感，这是硬伤。

---

§26 常见问题（FAQ）

Q1：Med-ReasonSeg 有自己的论文吗？
没有独立论文。它作为 MedFuse-Seg（MICCAI 2026）的数据集贡献出现。引用时引 MedFuse-Seg 的 BibTeX 即可。

Q2：没有 MICCAI 2026 正式出版号怎么办？
数据集卡给出的就是会议名与年份，没有 DOI。这是它相对成熟数据集的一个短板——引用链条不完整。建议同时列出 HF 仓库地址与访问日期。

Q3：可以直接用于商业产品吗？
派生包的 Apache-2.0 允许商用，但上游 16 个库的许可不在其覆盖范围内。ISIC 2018 的 CC BY-NC 条款会使包含该子集的使用受限。

Q4：中文场景能用吗？
数据是英文。可以翻译，但医学术语的准确性需要人工把关——特别是 opacity（片状影/渗出）、cupping（视杯凹陷）、enhancement（强化）这类一词多义的高频词。

Q5：能不能只下载一部分？
可以。先下 27.7 MB 的 Parquet，确定目标源库的 image_path 白名单，再从 38.5 GB 的 ZIP 中按需抽取。ZIP 内部是 train/images/N.png 与 train/masks/N.png 的平铺结构，可以用 zipfile 按名提取。

Q6：官方模型 checkpoint 在哪？
huggingface.co/biodatlab/medfuse-seg（LoRA 权重）。MedSAM ViT-B 需从 MedSAM 官方的 Google Drive 下载，MedGemma-4B-IT 首次运行自动拉取。

Q7：为什么同一个 dataset 里既有器官又有病灶？
因为上游库本身混装（MSD 的肝任务同时标注肝脏与肝肿瘤）。派生集没有做粒度拆分，task 字段也不区分，需要自己二次标注。

Q8：能不能用它做多器官分割？
不能直接做。掩码是单通道二元，多器官信息已被压掉。回上游库取多类标注。

Q9：测试集有标签吗？
有。test-00000-of-00001.parquet 含完整的 question/answer/task 字段，掩码同样在 ZIP 的 test/masks/ 下。它是公开测试集，不是盲测集。

Q10：能按患者切分吗？
不能从公开元数据做到。没有患者 ID 字段。若一定要做患者级隔离，需要回溯上游库的患者-影像映射表，且部分上游库（如 Kaggle 版本）本身不提供。

---

§27 版本与维护

项	值
仓库创建时间	2026-06-18T04:35:12Z
最后修改	2026-10-11T16:23:57Z
本文抓取时点	2026-10-17
下载量	296
点赞	0
分支	main
格式标签	parquet、optimized-parquet
规模标签	100K < n < 1M
模态标签	image、text

下载量 296、点赞 0（2026-10-17）说明这是一个刚发布不久的新数据集，社区验证还很少。这意味着：

• 文档里的错误（如 ~XX GB 占位）还没有人反馈修正；
• 已知坑点可能还有未被发现的部分；
• 引用它的论文尚少，缺少第三方复现证据。

使用前建议关注仓库的后续更新，尤其是掩码分辨率、类别标注是否会补充。

---

§28 数据卡摘要（Model/Dataset Card 中文版）

Motivation：为推理式医学分割提供大规模训练语料，弥补「有掩码无语言」与「有语言无像素」之间的断层。

Composition：539,383 条影像-掩码-问答三元组，来自 90,021 例扫描，覆盖 9 种模态、16 个公开源库。

Collection：全部为二次加工。影像与掩码取自公开库，问答由 Gemini 2.5-Pro 生成并经两阶段验证。

Preprocessing：统一文件命名（图像与掩码同名）、统一 Parquet 元数据、掩码二元化。

Uses：推理分割模型训练、多模态 grounding 评测、跨模态对齐研究、数据构建方法学参考。

Distribution：HuggingFace 公开直链，Apache-2.0（派生包）。

Maintenance：由朱拉隆功大学 Biodat Lab 维护，无正式版本号。

Ethical considerations：影像来自公开库，源库已完成去标识化；本数据集不新增患者可识别信息。问答由模型生成，不构成医疗建议。

---

§29 局限与展望

29.1 三条硬局限

1. 解释深度封顶。答案上限 222 字符，决定了它只能承载单步判断，无法表达鉴别诊断的多步消解过程。
2. 类别信息依赖文本。掩码是二元的，模型必须从语言侧学类别，这使「分割正确但语义错误」成为一类无法被掩码指标捕捉的失败。
3. 生成与验证同源。生成器与验证器同属 Gemini 家族，共享盲区，0.14% 的淘汰率是这一点的间接证据。

29.2 三个可期的改进方向

• 加长推理链：把「短解释」升级为多步推理，把 MedReason 式的知识图谱路径与像素证据结合，填补 §24.2 表格里的空白格。
• 保留多类掩码：不再二元化，改用类别感知的掩码格式（如 COCO panoptic 或 label map），让类别既在文本里也在像素里。
• 引入人工签署环节：哪怕只对 1% 的样本做放射科医师审核，也能校准自动验证器的灵敏度，并给出可报告的人机一致性数字。

29.3 对使用者的建议

把 Med-ReasonSeg 当作训练语料而非评测金标准。它能有效地把「语言定位能力」灌进模型，但不能证明模型真的在做医学推理。若你的目标是后者，需要额外的评测集——且这套评测集目前还不存在。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• xpress — 共享标签：医学图像分割 / 多模态影像 / 挑战赛数据集 / 评测基准
• med-mim — 共享标签：多模态影像 / 影像-文本对齐 / 评测基准
• psfhs — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
• toothfairy2 — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
• curvas — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
• toothfairy3 — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
• stsr — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
• mitoem — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
• siim-acr-pneumothorax — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准
• dsb2018 — 共享标签：医学图像分割 / 挑战赛数据集 / 评测基准

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。