信息速览

数据集名称Med-MIM — 医学多图像指令数据集与多图像视觉能力基准

数据类型人工标注,合成数据,影像数据

规模未披露患者级数量；指令数据集 83.2K QA 对（81.3K 图像，含 56 例多访视/多视角序列源）；held-in 基准 2,968 闭式 + 256 开式；held-out 基准各 300 闭

接入方式四类多图像源：MS-CXR-T（胸部 X 线时序关系）+ EMBED（Emory 乳腺 X 线多视角）+ LUMIERE（纵向胶质母细胞瘤 MRI 多访视/多模态）构成 inherent 子集；LLaVA-Med VQA / PMC-15M 经手动分组加位置后缀构成 composed 子集；G（GPT-4o + 迭代润色）生成指令。held-out 由 VQA-RAD 改编 MIM-RAD、由 ODIR 构建 MIM-ODIR

AI 就绪度

Med-MIM：医学多图像指令数据集与多图像视觉能力基准

本条目为「千方病案医数集」AI-Ready Wikipedia 成员，遵循可核验、可复现、可互链三原则。所有硬数字均标注来源（论文/官方仓库/机构页）；凡存在口径冲突处，一律存照并注明取舍依据。

§0 导读：这个数据集解决什么问题

临床诊断几乎从不依赖单张影像。医生把患者当前的胸部 X 线与半年前的旧片并排对照，判断病灶是进展、稳定还是好转；把乳腺摄影的**头尾位（Cranio-Caudal, CC）与内外侧斜位（Medio-Lateral Oblique, MLO）**合起来定位病灶；把 T1、T2、FLAIR 三个 MRI 序列叠在一起刻画肿瘤边界。这些动作共享一个底层能力——多图像视觉理解（multi-image visual understanding）。

而 2023-2025 年涌现的医学大视觉语言模型（Large Vision-Language Model, LVLM）——LLaVA-Med、Med-Flamingo、Med-PaLM 系列——绝大多数在单图像问答上被训练和评测。它们在单张胸片上识别肺炎、气胸表现优异，却在需要跨图像推理的临床场景里力不从心。论文原文把这一落差概括为「单图像病理专家的能力不自动迁移到多图像推理」（context gap）。

Med-MIM 正是为填补这一鸿沟而生。它由香港中文大学（The Chinese University of Hong Kong, CUHK）团队构建，包含三个互锁的产出：

Med-MIM 指令数据集——83.2K 条医学多图像 QA 指令样本，覆盖时序理解、推理、比较、共指四种多图像视觉能力；
Med-MIM 基准（Med-MIM Benchmark）——含源自指令数据集的 held-in 子集，以及两个 held-out 子集用于零样本泛化评测；
两个专用医学 VLM——用该数据集微调 Mantis 与 LLaVA-Med 得到的 Med-Mantis 与 MIM-LLaVA-Med。

论文（arXiv:2505.19031）声称这是首个聚焦医学多图像分析的指令数据集与基准。这一宣称的边界、数据的真实构成、获取门槛与许可状态，构成了本条目的核心内容。

一句话定位：Med-MIM 是医学领域「从单图到多图」的第一份系统性指令数据基础设施——它不生产新影像，而是重新组织既有公开医学影像，用大模型合成跨图问答，把一个长期被忽视的临床能力变成可训练、可评测的对象。

§1 数据集速览：十问十答

Q1：Med-MIM 是什么？
一个医学多图像（multi-image）指令微调数据集，含 83.2K 条 QA 样本，外加配套评测基准与两个微调模型。它由 CUHK 团队发布，2025 年被 MICCAI 接收。

Q2：为什么叫「多图像」而不是普通的医学 VQA？
普通医学 VQA（如 VQA-RAD、SLAKE）一次只给模型一张图。Med-MIM 的每条样本涉及最多 3 张图像，且这些图像之间存在临床关系——同一患者的不同访视、同一检查的不同视角、或同一序列的不同模态。

Q3：数据集有多大？
83.2K 条 QA 指令样本，对应 81.3K 张图像；QA 中闭式题 26.2K、开式题 57.0K。

Q4：图像从哪来？
四类源头：MS-CXR-T（胸部 X 线时序）、EMBED（Emory 乳腺 X 线多视角）、LUMIERE（纵向胶质母细胞瘤 MRI）、LLaVA-Med VQA（经 PMC-15M 血缘，用于 composed 子集）。

Q5：指令怎么生成的？
inherent 子集的指令由 GPT-4o + 迭代润色 从原始报告合成；composed 子集通过手动分组图像并添加位置后缀（如「In the first image」）构建。

Q6：四种「多图像视觉能力」指什么？
时序理解（temporal understanding）、推理（reasoning）、比较（comparison）、共指（co-reference）。详见 §3。

Q7：代码和数据能免费下载吗？
数据集 JSON 在 GitHub 公开直链；但底层图像本体分层获取——EMBED 与 MS-CXR-T 需申请，PMC-15M 需走 LLaVA-Med 项目。模型 Med-Mantis 已在 HuggingFace 发布。

Q8：许可是什么？
未明示。论文与 GitHub 均无 license 声明——这是本条目最重要的遗留疑点（见 §6）。

Q9：微调后的模型表现如何？
Med-Mantis 在时序闭式任务上从基础 Mantis 的 5.97% 提升到 74.86%，比较任务 52.88%（近乎 GPT-4o 29.81% 的两倍），共指任务闭式 80.40%。

Q10：有什么坑？
composed 源在论文与 GitHub 口径不一致（LLaVA-Med VQA vs PMC-15M）；Comparison/Co-reference 无正文计数；缺 license。详见 §12 避坑清单。

§2 数据构成与规格

2.1 规模、来源与机构构成

Med-MIM 指令数据集的核心数字是 83.2K 医学多图像 QA 对，横跨五个主要医学领域。按论文 Fig.2(a)，图像模态分布如下：

模态	图像数（K）
MRI（磁共振）	27.8
X-ray（X 线）	21.0
CT（计算机断层）	15.3
Histology（组织学）	15.0
Gross（大体标本）	2.2
合计	81.3

按 Fig.2(b)，问题类型分布为：闭式（closed）26.2K + 开式（open）57.0K = 83.2K。开式问题占比高达 68.5%，这与多数医学 VQA 基准以闭式选择题为主形成对比——开式题生成式作答，更接近真实临床问答，但也更难自动评分。

来源结构上，Med-MIM 刻意区别于 PMC-VQA、LLaVA-Med VQA 等「主要基于已发表文献」的指令数据集。它从两个来源构建：

Inherent（固有）多图像数据集——自然发生的多图像场景，包含纵向检查（longitudinal inspection）、多模态、多视角 grounded 诊断等。具体聚合自三个大规模数据集：MS-CXR-T、EMBED、LUMIERE。
Composed（组合）多图像数据集——通过手动分组 LLaVA-Med VQA 数据集中的多张图像，并叠加位置后缀构建。

论文强调「多图像序列长度上限设为 3 张」的工程取舍：这是为了在算力受限下尽可能多地打包 QA 对，同时保证 VLM 微调可行。

2.2 三个 inherent 源数据集

三个 inherent 源各有独特的多图像结构：

MS-CXR-T——胸部 X 线的时序数据集，含病情时序关系（改善/稳定/恶化）。Med-MIM 从它取样用于 Comparison 能力（Fig.2c 记 3.2K）。
EMBED（Emory Breast Imaging Dataset）——Emory 大学的乳腺摄影数据集，提供多视角（CC + MLO）数据。它是 Med-MIM 中 Reasoning（4.4K）与 Co-reference（12.0K）以及 Temporal（9.0K）的重要来源。
LUMIERE——纵向胶质母细胞瘤 MRI 数据集，含专家 RANO 评估，提供多访视（multi-visit）与多模态（T1/T2/FLAIR）数据。

论文明确：三者均含按时间排序的多访视图像，而 EMBED 和 LUMIERE 额外含多视角、多模态数据。这决定了它们能同时支撑时序、推理、共指三类能力。

2.3 四种多图像视觉能力的分源计数（Fig.2c）

论文 Fig.2© 给出 inherent 子集按四能力 × 三源的分源拆分（单位 K）：

视觉能力	MS-CXR-T	LUMIERE	EMBED
Co-reference（共指）	0	2.0	12.0
Comparison（比较）	3.2	1.0	0
Reasoning（推理）	0	0	4.4
Temporal Understanding（时序）	0	6.0	9.0

这组数字揭示了三个源的能力专精：MS-CXR-T 只贡献比较、EMBED 贡献推理+共指+时序、LUMIERE 贡献时序+共指+比较。三源互补，无冗余，这是 inherent 数据集设计的关键——每种能力的样本都来自该能力最自然的数据源。

需要存照的是：论文正文只明确给出 Temporal 9K（LUMIERE+EMBED）与 Reasoning 4.4K（EMBED）两个总数，Comparison 与 Co-reference 无正文独立计数。条目以上述 Fig.2c 分源表为准。

2.4 composed 子集与位置后缀法

composed 子集是 Med-MIM 中最具方法论特色的一环。它的构建方式朴素却有效：

从 LLaVA-Med VQA（其血缘为 PMC-15M）取原始单图 QA 对；
手动把多张图像分组；
在问题中追加位置后缀，如「In the first image…」「In the second image…」。

这一「位置后缀」策略的教学目标明确——训练模型建立图像与文本指代的对应关系（即 co-reference 能力）。论文坦言，这个简单技巧「显著提升了 co-reference 任务的性能」，帮助模型区分多个视觉输入。

口径存照：论文正文说 composed 来自「LLaVA-Med VQA 数据集」，而 GitHub 数据下载表把 composed 源记为「PMC-15M」。二者并不矛盾——LLaVA-Med VQA 本身构建自 PMC-15M——但检索者引用时须留意两处口径。本条目在正式描述 composed 源时采用 GitHub 的 PMC-15M 口径并注明论文口径。

2.5 五个医学领域的分布逻辑

论文称 Med-MIM 覆盖「五个主要医学领域」，这五个领域与图像模态分布相互印证：MRI 主导（27.8K，脑部胶质母细胞瘤为主）、X 线次之（21.0K，胸部与乳腺）、CT（15.3K）、组织学（15.0K）、大体标本（2.2K）。

值得注意的是模态分布的偏斜：MRI 与 X 线合计近 60K，占总图像数的 60%。这直接源于源数据集的构成——LUMIERE（MRI）和 EMBED（乳腺 X 线）是 inherent 子集的两大支柱。下游若关注 CT 或组织学的多图像能力，Med-MIM 的覆盖相对薄弱，这是使用者需留意的分布特征。

2.6 与「单图像拼接」的边界区分

一个常见误解是把 Med-MIM 等同于「把多张单图 QA 拼在一起」。二者有本质区别：

单图拼接：多张无关图像各配一个问题，模型可逐图独立回答；
Med-MIM：多张图像之间存在临床关系（同患者不同访视、同检查不同视角、同序列不同模态），且问题往往必须跨图才能回答（如「相比上次是否恶化」）。

后者才是真正的「多图像能力」考验。Med-MIM 的样本设计强调后者的跨图依赖，这是它区别于简单数据扩充的关键。

2.7 数据质量控制的公开程度

论文披露的质控信息有限：inherent 子集用 GPT-4o + 迭代润色，composed 子集用位置后缀。但是否有人工专家复核、复核比例多少、错误率如何——论文未披露。这构成一个使用风险：合成指令可能包含事实错误或临床不合理之处，使用者需自建抽检。相较之下，panda-plus 明确披露了「学生注释 + 高年级复核 + 30 年病理专家终审」的三层质控，Med-MIM 在质控透明度上较为简略。

2.8 时间覆盖与数据新鲜度

源数据集的采集时间跨度决定了 Med-MIM 的「临床时代」：LUMIERE（胶质母细胞瘤 MRI，欧洲多中心）、EMBED（Emory 乳腺，美国）、MS-CXR-T（源自 MIMIC 系）。这些数据集多采集于 2010s 前后，因此 Med-MIM 反映的影像设备与临床实践以 2010s 为主。对追求最新影像技术（如光子计数 CT、超高场 MRI）的应用，数据新鲜度可能不足。## §3 四种多图像视觉能力：任务定义与样本来源

Med-MIM 的理论框架沿袭 MANTIS 对多图像能力的分类，但针对医学场景做了细化。四种能力构成了数据集的骨架，也是 benchmark 的评测维度。

3.1 时序理解（Temporal Understanding）

临床对应：纵向随访——「相比上次，患者是好转、稳定还是恶化？」

任务定义（论文原文示例）：「Given the first two consecutive visits collected at {date1} and {date2}, will the subject become diseased in the next visit?」（给定在 {date1} 和 {date2} 采集的前两次连续访视，受试者下次访视是否会患病？）

样本来源：从 LUMIERE 和 EMBED 筛选，共 9K 样本。LUMIERE 贡献 6.0K（MRI 多访视），EMBED 贡献 9.0K（乳腺 X 线多访视）——注意 Fig.2c 中两源均为时序主力。

难点：模型必须理解「时间轴」这一隐含结构，把图像顺序解读为临床事件的先后，并做出前瞻性判断（forecasting）。

3.2 推理（Reasoning）

临床对应：多视角综合诊断——「综合两个视角的发现，BIRADS 分级是多少？」

任务定义：论文把 reasoning 限制在 EMBED 数据集的多视角乳腺诊断。模型须综合 CC（头尾位）与 MLO（内外侧斜位）两个视角做出诊断，如「Considering the features observed in the two provided mammographic views, what is the BIRADS category for the findings?」（综合两个乳腺摄影视角观察到的特征，该发现的 BIRADS 类别是什么？）

样本来源：EMBED，共 4.4K 样本。

难点：单视角可能遮挡病灶，双视角互补才完整。模型需学会「合并两个不完全信息的视角」。

3.3 比较（Comparison）

临床对应：跨访视变化识别——「两次检查的发现有何异同？」

任务定义：显式识别不同临床访视间发现的相似性或差异。

样本来源：MS-CXR-T（3.2K）+ LUMIERE（1.0K）。

难点：与「时序」不同，比较不要求前瞻判断，而是要求描述性对比——找出病灶是否增大、位置是否移动、形态是否改变。

3.4 共指（Co-reference）

临床对应：图像指代消解——「序列中哪张图是 MLO 视角 / 哪个时间戳 / T2 序列？」

任务定义：识别多图像序列中哪张图对应特定的视角、时间戳或 MRI 序列。这是 composed 子集的核心训练目标。

样本来源：LUMIERE（2.0K）+ EMBED（12.0K），外加 composed 子集（位置后缀法专项训练）。

难点：模型必须建立「文本中提到的视角/时间/序列」与「具体某张图」的映射，是典型的多图像 grounding（图像定位指代）任务。

3.5 四能力的相互关系

四种能力并非正交，而是层层递进：

共指是基础——不解决「哪张图是什么」，后续能力无从谈起；
比较在共指之上要求描述差异；
时序在比较之上加入时间方向和前瞻判断；
推理则要求跨视角融合信息后给出诊断结论。

这套递进关系解释了为何 Med-MIM 的 composed 子集（位置后缀）能显著提升 co-reference——它把基础能力单独强化，为上层能力铺路。

3.6 四能力的任务粒度对比

为便于理解，下表把四种能力按「输入形式—输出形式—评价方式」对齐：

能力	输入	输出	评价
时序理解	前 N 次访视图像 + 时间戳	下次是否患病（是/否）	闭式准确率
推理	两个视角图像（CC + MLO）	BIRADS 类别	闭式准确率
比较	两次访视图像	相同/差异描述	开式生成 + 闭式
共指	多图像序列 + 文本指代	指定图像序号	闭式准确率

这张表揭示了 Med-MIM 的一个设计巧思：同一底层多图像能力，被拆成四种不同输出形态的任务，从而既覆盖诊断决策（时序/推理），又覆盖描述性分析（比较）与定位（共指）。

3.7 「第五个未命名能力」的讨论

值得注意的是，Med-MIM 的多模态 MRI 数据（LUMIERE 的 T1/T2/FLAIR）在论文中被归入时序理解与共指，而多模态融合本身并未被单列为一种能力。这留下了一个开放问题：跨模态（cross-modal）融合是否应作为第五种多图像能力单独评测？ 论文在引言中提及「cross-modal analysis」是多图像临床场景的挑战之一，但未在四能力框架中独立建模。这是检索者理解 Med-MIM 能力边界时应留意的细节。

3.8 样本组织与文件结构

Med-MIM 的 inherent 子集按「能力 × 源」组织为独立 JSON 文件，这一结构本身携带元信息：

文件	能力	源
Med_MIM_train_inherent_Temporal.json	时序	EMBED, LUMIERE
Med_MIM_train_inherent_Reasoning.json	推理	EMBED
Med_MIM_train_inherent_Comparison.json	比较	LUMIERE, MS-CXR-T
Med_MIM_train_inherent_Coreference.json	共指	EMBED, LUMIERE
Med_MIM_train_Composed.json	共指（位置后缀）	PMC-15M

读文件名的源标注，即可反推各能力的来源分配，这与论文 Fig.2c 相互印证——是数据溯源的一个便利设计。

3.9 逐能力的样本形态示例

为帮助理解，下面用论文给出的典型问题形态还原四类样本：

时序理解样本：

图像：[访视1 胸片, 访视2 胸片]
问题：「Given the first two consecutive visits collected at 2021-03 and 2021-09, will the subject become diseased in the next visit?」
答案：是 / 否

推理样本：

图像：[乳腺 CC 位, 乳腺 MLO 位]
问题：「Considering the features observed in the two provided mammographic views, what is the BIRADS category for the findings?」
答案：BIRADS 类别

比较样本：

图像：[访视1 影像, 访视2 影像]
问题：描述两次访视发现的相同点或差异
答案：描述性文本

共指样本：

图像：[T1 序列, T2 序列, FLAIR 序列]
问题：「In the second image, which MRI sequence is shown?」
答案：序号 / 序列名

这些示例揭示了 Med-MIM 的核心机制：图像顺序本身携带语义，问题通过位置指代（first/second）把语义锚定到具体图像。

3.10 四能力的难度梯度（实测）

综合论文结果，四能力的实测难度梯度为（以最强模型闭式准确率衡量）：

能力	最强闭式准确率	难度
共指	80.40%	低
时序	74.86%	中
比较	52.88%	中高
推理	29.74%	高

这一梯度与理论预期一致（共指最易、推理最难），也为下游任务的可行性判断提供了基准：若目标是推理类能力，需预期较低的绝对准确率。

§4 Med-MIM Benchmark：held-in 与 held-out

4.1 基准结构

Med-MIM Benchmark 分两部分，设计意图明确区分「记没记住训练分布」与「能否泛化到新分布」：

（a）Held-in 子集——源自 Med-MIM 指令数据集自身，衡量模型在训练分布内的多图像能力：

类型	总数	Temporal	Reasoning	Comparison	Co-reference
Closed-type（闭式）	2,968	903	454	208	1,403
Open-type（开式）	256	30	30	136	60

闭式题以准确率（accuracy）评分，开式题以生成质量指标（论文口径为 O 分）评分。

（b）Held-out 子集——评估零样本（zero-shot）多图像泛化能力，两个子集：

MIM-RAD——由 VQA-RAD 改编，按模态、解剖位置、语义一致性重新分组为多图像样本，含 300 闭式 + 300 开式；
MIM-ODIR——由 ODIR（Ocular Disease Intelligent Recognition）数据集按 inherent 数据集生成流程构建，含 300 闭式 + 300 开式。

held-out 子集的意义在于：模型在微调期从未见过 VQA-RAD 和 ODIR 的多图像版本。MIM-ODIR 尤其严苛——眼底图像（retinal fundus）在 Med-MIM 训练分布中几乎缺席。

4.2 微调设置

论文用 Med-MIM 指令数据集微调两个基础模型：

基础模型	微调后模型	基础模型定位
LLaVA-Med（7B）	MIM-LLaVA-Med	单图像医学领域专家
MANTIS（8B）	Med-Mantis	700K+ 多自然图像指令数据训练的通用多图像模型

微调细节（论文原文）：

训练 3 个 epoch；
耗时约 72 小时；
硬件：4 张 NVIDIA A40 GPU；
采用交错图文格式（interleaved）：(image {id}: <Image> image embeddings </Image>)；
损失函数：负对数似然（Negative Log-Likelihood, NLL）。

交错格式是关键——它让模型能接收 (image 1, image 2) 这样的序列输入，再回答需要跨图交叉引用的查询。

4.3 基准的设计逻辑：held-in 与 held-out 为何并存

许多数据集只提供单一测试集，Med-MIM 却同时提供 held-in 与 held-out，这一设计背后有明确的评测哲学：

held-in 回答「学会了没有」——它源自指令数据集自身，若模型在此表现好，说明它吸收了多图像指令；
held-out 回答「能否迁移」——它来自 VQA-RAD 与 ODIR，从未进入微调分布，若表现好，说明能力可泛化。

论文把 held-in 结果的巨大提升（Med-Mantis 时序 5.97%→74.86%）与 held-out 的相对疲软（闭式不及 GPT-4o）并列呈现，构成一个诚实的画像：Med-MIM 能高效注入多图像能力，但注入的能力在陌生分布上仍有折损。这种「不藏拙」的呈现方式，反而提升了论文在方法论上的说服力。

4.4 为什么 held-out 选 VQA-RAD 与 ODIR

两个 held-out 子集的选择并非偶然：

VQA-RAD——放射学 VQA 的经典基准，模态以 CT/MRI/X 线为主，与 Med-MIM 训练分布有部分重叠，是「同域但新样本」的泛化测试；
ODIR——眼底图像数据集，与 Med-MIM 训练分布（胸片/乳腺/脑 MRI）几乎无重叠，是「跨器官、跨模态」的严苛泛化测试。

一近一远两个 held-out 子集，构成泛化能力的梯度评测——这也解释了为何 MIM-LLaVA-Med 在 MIM-ODIR 上的表现格外引人注目：它在最陌生的分布上仍取得最高开式得分。

§5 评估结果：多图像能力的定量跃迁

5.1 参评模型

论文评估了 8 个 LVLM：6 个 baseline + 本文 2 个模型。

Baselines（6）：Med-Flamingo-9B、Deepseek-VL-7B、LLaVA-Med-7B、InternVL2-8B、Mantis-8B、GPT-4o。

本文模型（2）：Med-Mantis、MIM-LLaVA-Med。

GPT-4o 作为当时最强通用大模型被纳入对照，是衡量「通用能力能否直接迁移到医学多图像」的标尺。

5.2 Held-in 结果（闭式 C / 开式 O，%）

能力	模型	闭式 C	开式 O
Temporal	GPT-4o	47.95	37.28
Temporal	MIM-LLaVA-Med	74.31	44.50
Temporal	Med-Mantis	74.86	46.87
Reasoning	GPT-4o	16.96	30.18
Reasoning	MIM-LLaVA-Med	22.91	41.74
Reasoning	Med-Mantis	29.74	42.05
Comparison	GPT-4o	29.81	37.20
Comparison	MIM-LLaVA-Med	50.00	40.36
Comparison	Med-Mantis	52.88	40.33
Co-reference	GPT-4o	42.30	33.81
Co-reference	MIM-LLaVA-Med	46.19	43.09
Co-reference	Med-Mantis	80.40	49.20

关键读数：

时序：Med-Mantis 闭式 74.86%——基础 Mantis 原始仅 5.97%，提升逾 12 倍；
比较：Med-Mantis 52.88%，近乎 GPT-4o（29.81%）的两倍；
共指：Med-Mantis 闭式 80.40%，是所有数值中的最高点；
推理：即便最强模型也仅 29.74%（闭式），揭示多视角乳腺诊断是四能力中最难的一项。

5.3 Held-out 结果（闭式 C / 开式 O，%）

基准	模型	闭式 C	开式 O
MIM-RAD	GPT-4o	69.00	39.52
MIM-RAD	MIM-LLaVA-Med	53.33	35.08
MIM-RAD	Med-Mantis	65.33	35.35
MIM-ODIR	GPT-4o	45.67	34.60
MIM-ODIR	MIM-LLaVA-Med	32.33	55.99
MIM-ODIR	Med-Mantis	30.00	41.32

泛化亮点：MIM-LLaVA-Med 在 MIM-ODIR 上开式得分最高（55.99%），尽管多图像微调期几乎未见眼底图像。这一结果被论文引为「Med-MIM 有效提升跨模态多图像泛化」的证据。

泛化短板：在 MIM-RAD 和 MIM-ODIR 闭式上，两个微调模型都低于 GPT-4o（MIM-RAD：53.33/65.33 vs 69.00；MIM-ODIR：32.33/30.00 vs 45.67）。说明专用微调换取 held-in 优势，但在完全陌生的多图像分布上仍不及通用大模型——这是重要的能力边界提示。

5.4 核心洞见

论文从实验得出两条结论：

Context gap——一个模型的单图像病理专长不会自动转化为多图像推理能力。「模型可能完美识别一个肿瘤，却无法判断它是否长大——除非专门针对多图像训练。」
指令微调必需——仅使用多图像架构（如 Mantis）对医学任务并不足够。缺少医学专属的多图像指令，通用模型在临床逻辑上会失手（基础 Mantis 时序闭式仅 5.97% 即为铁证）。

5.5 逐能力解读：为什么推理最难

四个能力中，推理（多视角乳腺诊断）是唯一一个即便最强模型闭式也仅 29.74% 的项目。原因可从任务本质窥见：

信息融合要求高——模型必须理解 CC 与 MLO 是同一乳房的两个视角，而非两张无关图像；
诊断先验依赖强——BIRADS 分级需要专业影像语义，纯视觉模式识别不足以支撑；
视角互补不完整——两个视角仍可能漏掉某些病灶，模型需在信息不完整下决策。

相比之下，共指（识别哪张图是什么）本质是模式匹配，模型只需建立文本与图像位置的对应，故 Med-Mantis 能达 80.40%。时序（是/否二分类）与比较（描述性）难度居中。这一难度排序对下游任务选择有直接指导意义：若目标是辅助乳腺诊断，需对推理能力做专门强化。

5.6 从 5.97% 到 74.86%：一次跃迁的启示

基础 Mantis 在时序闭式上仅 5.97%——几乎等于随机瞎猜（二分类）。微调后跃升至 74.86%，这一 12 倍提升是本论文最具冲击力的数据点。它证明：

多图像架构 ≠ 多图像能力，Mantis 有架构但缺医学多图像指令；
指令数据的杠杆极高——同样的架构，仅靠注入正确的任务指令，能力可被激活；
医学域的多图像任务需要专门的训练信号，通用多图像预训练无法替代。

这一跃迁呼应了论文的核心主张，也为「医学 LVLM 应如何构建多图像能力」提供了可复制的范式。

5.7 泛化的双面性

held-out 结果呈现双面性，需并列理解：

现象	数据	解读
开式泛化亮点	MIM-ODIR 55.99%（MIM-LLaVA-Med 最高）	生成式能力可迁移到陌生模态
闭式泛化短板	MIM-RAD 53.33/65.33 < GPT-4o 69.00	判别式能力在陌生分布折损
MIM-ODIR 闭式弱	32.33/30.00 < GPT-4o 45.67	跨器官闭式判断困难

结论：Med-MIM 微调强化的多图像能力，在「生成式描述」维度上迁移性好，在「判别式决策」维度上迁移性弱。这一分野对应用选择至关重要——若下游需要稳健的判别输出，可能需要额外的域内数据或更强的泛化设计。

§6 获取与许可：分层资产与未明的门

6.1 四类资产，四道门

Med-MIM 的可获取性是分层的——不同资产处在不同开放度：

资产	获取方式	门槛
指令数据集 JSON	GitHub 公开直链	无（直接下载）
基准数据集 JSON	GitHub 公开直链	无（直接下载）
图像本体	分源获取	有（EMBED/MS-CXR-T 需申请）
微调模型	HuggingFace	Med-Mantis 已发布；MIM-LLaVA-Med 未单列

GitHub 公开文件清单（owner: Xikai97）：

指令数据集（Instruction_Dataset/）：

Med_MIM_train_inherent_Temporal.json（源：EMBED, LUMIERE）
Med_MIM_train_inherent_Reasoning.json（源：EMBED）
Med_MIM_train_inherent_Comparison.json（源：LUMIERE, MS-CXR-T）
Med_MIM_train_inherent_Coreference.json（源：EMBED, LUMIERE）
Med_MIM_train_Composed.json（源：PMC-15M）

基准数据集（Benchmark_Dataset/）：

Med_MIM_benchmark_Held_in_{Temporal,Reasoning,Comparison,Coreference}.json
Med_MIM_benchmark_Held_out_ODIR.json（源：ODIR）
Med_MIM_benchmark_Held_out_RAD.json（源：VQA-RAD）

注意：GitHub 文件名本身揭示了 inherent 四能力文件与源数据集的对应关系，与论文 Fig.2c 的分源表一致。

6.2 图像本体的申请门槛

GitHub「Access requirements」原文规定：

EMBED 与 MS-CXR-T：需申请访问。EMBED 走 AWS Open Data Registry（Emory Breast Imaging Dataset）；MS-CXR-T 走 PhysioNet（physionet.org/content/ms-cxr-t/1.0.0/）。
PMC-15M：参照 LLaVA-Med 项目（github.com/microsoft/LLaVA-Med）的下载说明。
LUMIERE：走 Springer Nature figshare 合集（Longitudinal Glioblastoma MRI with Expert RANO Evaluation）。
ODIR：走 Kaggle（Ocular Disease Recognition ODIR-5K）。
VQA-RAD：走 OSF（osf.io/89kps/）。

这意味着：拿到 Med-MIM 的指令 JSON 很容易，但要真正端到端复现训练，必须逐个打通六个源数据集的访问。EMBED 与 MS-CXR-T 的申请制是最大的实操门槛。

6.3 许可：本条目最重要的遗留疑点

Med-MIM 数据集本体的 license 未在任何官方来源明示：

论文正文与摘要均未提及 license；
GitHub 仓库无 LICENSE 文件明示（页面未列 license）；
各源数据集的 license 各不相同（PhysioNet 有数据使用协议、Kaggle 有竞赛条款、AWS Open Data 有特定条款、OSF 有开放许可）。

因此，下游使用 Med-MIM 时存在许可不确定性：合成指令数据是否继承源数据集的限制？composed 子集（源自 PMC-15M）是否受 LLaVA-Med 的使用条款约束？这些问题无官方答案。建议使用者在正式采用前向通讯作者（jpli21@cse.cuhk.edu.hk）确认许可。

6.4 模型获取

Med-Mantis：已于 2025-10-09 发布在 HuggingFace（yangxk/Med-Mantis）。
MIM-LLaVA-Med：论文详述其微调，但 GitHub release 时间线未单列该模型权重——是否开放需向作者确认（遗留疑点）。

6.5 AI-Ready 评估

从 AI-Ready 视角，Med-MIM 呈现「数据易得、复现难、许可模糊」的剖面：

加分：指令数据与基准 JSON 公开直链，无需登录；论文方法描述详细（微调超参、硬件、损失函数齐全）；官方 BibTeX 规范。
减分：图像本体申请制；license 未明示；MIM-LLaVA-Med 权重状态不明。
对照：相比 panda-plus 的「三层异构获取」（WSI 公开/掩码请求制/衍生基准 CC BY-4.0），Med-MIM 的异构更分散——它继承了六个源数据集各自的获取协议，自身又未加一层统一许可，导致许可链条复杂。

6.6 分门获取的实操清单

为方便检索者，把「从零到能跑」的最短路径列出：

下载 Med-MIM JSON：git clone https://github.com/Xikai97/Med-MIM，得到 Instruction_Dataset/ 与 Benchmark_Dataset/。
确认许可：邮件 jpli21@cse.cuhk.edu.hk，说明用途与机构。
按需申请图像源：
- 胸部 X 线时序 → PhysioNet 申请 MS-CXR-T（需签署 DUA）；
- 乳腺 X 线 → AWS Open Data Registry 申请 EMBED；
- 脑 MRI → figshare 下载 LUMIERE（公开）；
- 文献图文 → 走 LLaVA-Med 项目获取 PMC-15M；
- 眼底 → Kaggle 下载 ODIR；
- 放射 VQA → OSF 下载 VQA-RAD。
下载模型：HF yangxk/Med-Mantis。
对齐图像路径：将各源图像按 Med-MIM JSON 中的引用关系组织，注意路径映射。

6.7 许可风险的法律视角

从合规角度看，Med-MIM 的许可空白带来三重不确定性：

第一重（本体）：Med-MIM 自身未声明 license，"默认"状态在法律上并不当然等于「可自由使用」；
第二重（继承）：合成数据是否继承源数据限制，取决于源条款的具体措辞，逐源解读工作量大；
第三重（模型）：Med-Mantis 的发布许可（HF 页面标注）与其训练数据（Med-MIM）的许可可能不一致，需分别核对。

因此，任何商业或临床部署前，都应把上述三重逐一厘清。学术研究用途风险相对较低，但仍建议保留沟通记录。

§7 生态与定位

7.1 在医学 VQA 谱系中的位置

医学视觉问答经历了几个阶段：

单图像闭式 VQA——VQA-RAD、SLAKE、PathVQA，一张图一个选择题；
文献挖掘指令集——PMC-VQA、LLaVA-Med VQA，从已发表文献批量生成 QA；
多图像指令集——Med-MIM，首个聚焦多图像能力的医学指令数据集。

Med-MIM 的差异化在于问题的结构性：它不追求问题数量（83.2K 不算特别大），而追求每条样本的临床多图像语义。这是一个「质量维度」而非「规模维度」的贡献。

一个直观的对比：PMC-VQA 有 227K QA 但全是单图像；Med-MIM 有 83.2K QA 但每样本最多 3 图。若以「图像-图像关联数」衡量信息密度，Med-MIM 的样本承载的临床关系远多于单图 QA——这正是它的价值主张。

7.2 与前作的关系

与 LLaVA-Med 的关系：Med-MIM 用 LLaVA-Med 作为微调基础模型之一（产出 MIM-LLaVA-Med），composed 子集亦源自 LLaVA-Med VQA。二者是上下游与血缘关系。
与 MANTIS 的关系：Med-MIM 沿用 MANTIS 的多图像能力分类框架，并用 MANTIS 微调出 Med-Mantis。MANTIS 是「通用多图像」的先行者，Med-MIM 是其在医学域的落地。
与 VQA-RAD / ODIR 的关系：二者是 Med-MIM held-out 基准（MIM-RAD / MIM-ODIR）的底源，构成泛化评测。

7.3 潜在应用场景

医学多模态大模型的多图像能力微调；
医学 LVLM 的多图像基准评测（尤其是跨访视、多视角）；
多图像指令数据的构建方法论研究（位置后缀法、GPT-4o 迭代润色）；
临床纵向随访 AI 的能力预研（时序预测是直接相关任务）。

7.4 与库内条目的生态位比较

在千万病案医数集内部，Med-MIM 与以下条目形成生态互补：

指令/多模态数据集：radvlm-instruction-dataset（rid=624）、vlm3d（rid=674）——同属医学多模态指令数据家族。
单图像 VQA：vqa-rad（rid=240）、pmc-vqa（rid=270）——Med-MIM 的对比基线与源。
源数据集：ms-cxr-t（rid=619）、odir（rid=63）——Med-MIM 的直接数据源。
乳腺影像族：vindr-mammo（rid=543）、inbreast（rid=542）、swiss-mammo（rid=627）——EMBED 所在的乳腺 X 线域。

7.5 时间线与发布节奏

从发布节奏看，Med-MIM 展现了紧凑的迭代：

日期	事件
2025-05-25	arXiv 2505.19031 v1 发布
2025-06-18	被 MICCAI 2025 接收
2025-06-23	指令数据集开源
2025-06-24	基准数据集开源
2025-10-09	Med-Mantis 模型发布 HF

从论文到数据开源仅约 1 个月，模型则滞后约 4.5 个月——这一节奏反映了「数据先开放、模型后跟进」的常见模式。

7.6 相关研究脉络

Med-MIM 处于几条研究脉络的交汇处：

医学 LVLM 脉络：LLaVA-Med、Med-Flamingo、Med-PaLM 系列；
多图像 VLM 脉络：MANTIS、以及自然图像领域的交错图文模型；
医学指令数据脉络：PMC-VQA、LLaVA-Med VQA、RadVLM；
时序/纵向影像脉络：MS-CXR-T、LUMIERE 等纵向数据集。

它把「多图像」这一能力维度引入医学 LVLM，是该脉络上的一次交叉创新。

§8 方法学启示：三条可迁移经验

8.1 「重组既有数据」比「新建数据」更高效

Med-MIM 不生产一张新影像——它把 MS-CXR-T、EMBED、LUMIERE、LLaVA-Med VQA 这些已有公开数据重新组织成多图像样本。这种「零采集成本」的构建范式，对资源受限但需求明确的团队极具借鉴意义：临床多图像能力的训练信号，可能已经藏在既有数据里，只等被重新组织。

8.2 位置后缀：一个被低估的低成本技巧

composed 子集的「In the first image…」位置后缀看似朴素，却显著提升了 co-reference 性能。这提示：在多图像任务中，显式的空间/顺序指代标注（文本侧）可以替代昂贵的图像侧标注。用最廉价的文本改写，撬动最难的多图像 grounding 能力。

8.3 GPT-4o 迭代润色：合成指令的质量控制

inherent 子集的指令由 GPT-4o + 迭代润色生成。这一「大模型生成 + 迭代精炼」管线是 2024-2025 医学指令集的通行做法。它的优点是可规模化，风险是引入生成模型的风格与偏差（如答题口吻统一、可能的事实幻觉）。条目在使用建议中提示下游注意这一点。

8.4 「能力分解」作为数据集设计方法

Med-MIM 最值得学习的设计思想，是把一个模糊的宏观目标（「多图像理解」）分解为四个可操作、可评测的子能力。这一「能力分解」方法论的意义在于：

可诊断——知道模型在哪一项上弱（如推理仅 29.74%），才能定向改进；
可归因——分源计数让每个能力的「供应商」清晰；
可扩展——若未来加入第五种能力（如跨模态融合），框架可直接容纳。

相比之下，若只报告一个笼统的「多图像准确率」，就无法定位问题。能力分解使数据集从「测试集」升级为「诊断工具」。

8.5 交错格式：多图像的工程实现

Med-MIM 采用交错（interleaved）图文格式 (image {id}: <Image>...)</Image>，这与传统「多图拼接为一张」或「多图各给一个编码」不同。交错格式的优势是：

保留每张图的独立身份，便于指代；
与文本 token 交替，天然支持「第几张图」的引用；
契合 MANTIS 等交错模型的预训练范式。

这一工程选择是 co-reference 能力得以训练的技术基础——没有可指代的图像身份，就没有共指任务。

8.6 训练成本的可负担性

论文报告微调仅需 3 epochs、约 72 小时、4 张 A40。以 2025 年的算力水平，这是一个中小团队可负担的配置。相比动辄数百 GPU 的大模型预训练，Med-MIM 的微调成本极低——这降低了「医学多图像能力」的准入门槛，也是其方法学价值的一部分：好数据 + 低算力，就能显著提升特定能力。

§9 与库内条目的关系

9.1 家族图谱

医学多模态指令数据
├── 单图像 VQA: vqa-rad(240), pmc-vqa(270)
├── 多图像指令: Med-MIM(本条)  ← 首个医学多图像
│   ├── 源: ms-cxr-t(619), odir(63), vqa-rad(240), pmc-vqa(270)
│   └── 同域: radvlm-instruction-dataset(624), vlm3d(674)
└── 影像嵌入: image-embeddings-mimic-cxr(611)

9.2 检索路径建议

想了解数据来源：从 ms-cxr-t(619)、odir(63) 入手；
想对比单图 vs 多图：对照 vqa-rad(240) 与 Med-MIM；
想找同类指令集：看 radvlm-instruction-dataset(624)、vlm3d(674)；
想理解乳腺域：看 vindr-mammo(543)、inbreast(542)。

9.3 建议互链点（rid 占位，入库后回填）

ms-cxr-t — rid=619（Med-MIM Comparison/Temporal 直接源）
vqa-rad — rid=240（MIM-RAD 底源）
odir — rid=63（MIM-ODIR 底源）
pmc-vqa — rid=270（PMC-15M/LLaVA-Med VQA 同源域）
radvlm-instruction-dataset — rid=624（同域医学 VLM 指令集）
vlm3d — rid=674（同域 3D/多模态指令集）

§10 局限与风险

10.1 数据侧局限

序列长度上限 3 张：真实临床多访视随访常有 4+ 次检查，3 张上限可能不足以覆盖长程纵向场景；
规模适中：83.2K 在指令数据集里不算大，四能力样本不均（共指 14K vs 推理 4.4K）；
人口/机构偏斜：源数据 EMBED（美国 Emory）、LUMIERE（欧洲多中心）、MS-CXR-T（MIMIC 相关，美东）——跨人群泛化未验证；
闭式/开式失衡存照：开式题占比 68.5%，但开式评分指标相对闭式不成熟。

10.2 许可与获取风险

license 未明示（最严重）；
图像本体申请制，端到端复现门槛高；
MIM-LLaVA-Med 权重状态不明。

10.3 评测风险

held-out 子集各仅 600 样本，结论为提示性；
微调模型在陌生分布上不及 GPT-4o（MIM-RAD 闭式 53.33/65.33 vs 69.00），专用化的代价需权衡；
开式评分口径（O 分）论文未详述具体指标。

§11 总结

11.1 三句话总结

Med-MIM 是首个聚焦医学多图像视觉能力的指令数据集与基准，83.2K QA 覆盖时序、推理、比较、共指四能力。
它用「重组既有数据 + GPT-4o 合成指令 + 位置后缀」的零采集范式，把临床多图像能力变成可训练对象，微调出 Med-Mantis（时序闭式 5.97%→74.86%）与 MIM-LLaVA-Med。
最大障碍是许可未明示与图像本体申请制——指令数据易得，端到端复现难。

11.2 适合谁

医学多模态大模型团队（需要多图像能力微调数据）；
医学 VLM 评测者（需要多图像基准）；
指令数据构建方法论研究者（位置后缀法、GPT-4o 管线）；
临床纵向随访 AI 预研者。

11.3 不适合谁

需要完整、即时可复现影像本体的团队（申请门槛高）；
对许可清晰度有硬性要求的商业应用（license 未明示）；
需要长程（>3 图像）纵向数据的场景。

11.4 30 秒决策卡

问题	答案
是什么	医学多图像指令数据集 + 基准（MICCAI 2025）
规模	83.2K QA / 81.3K 图像
谁做的	香港中文大学
能下吗	JSON 公开；图像需申请
许可	未明示
亮点	首个医学多图像；Med-Mantis 时序 5.97%→74.86%
坑	license 缺、composed 源口径不一、图像申请制

FAQ（高频问答 30 问）

A. 基础认知

Q1：Med-MIM 的全称是什么？
Medical Multi-IMage Instruction Dataset（医学多图像指令数据集）。Med-MIM 是官方缩写。

Q2：Med-MIM 和普通医学 VQA 数据集有什么区别？
普通医学 VQA（VQA-RAD、SLAKE）每样本一张图；Med-MIM 每样本最多 3 张图，且图像之间存在临床关系（多访视/多视角/多模态）。

Q3：谁做的？
香港中文大学（CUHK）计算机科学与工程系 + 医学智能与扩展现实研究所。作者：Xikai Yang、Juzheng Miao、Yuchen Yuan、Jiaze Wang、Qi Dou、Jinpeng Li（通讯）、Pheng-Ann Heng。

Q4：发在哪？
arXiv:2505.19031（2025-05-25）；被 MICCAI 2025 接收，Springer LNCS pp.402-412。

Q5：数据量多大？
83.2K QA 指令样本，81.3K 图像，横跨五个医学领域。

Q6：什么是「多图像视觉能力」？
模型处理多张相关图像所需的视觉理解能力，Med-MIM 分四类：时序理解、推理、比较、共指。

Q7：为什么强调「首个」？
论文声称 Med-MIM 指令数据集与基准是首个聚焦医学多图像分析的成果。此前医学 VQA 与 LVLM 以单图像为主。

B. 数据与获取

Q8：数据在哪下？
GitHub（github.com/Xikai97/Med-MIM）：Instruction_Dataset/ 与 Benchmark_Dataset/ 两个目录，JSON 公开直链。

Q9：图像本体能直接下吗？
不能全部直接下。EMBED 与 MS-CXR-T 需申请访问（AWS Open Data Registry / PhysioNet）；PMC-15M 走 LLaVA-Med 项目。

Q10：许可（license）是什么？
未明示。论文与 GitHub 均无 license 声明。这是使用前必须向作者确认的疑点。

Q11：源数据集有哪些？
六个：EMBED、LUMIERE、MS-CXR-T、PMC-15M、ODIR、VQA-RAD。

Q12：composed 子集的源是 LLaVA-Med VQA 还是 PMC-15M？
两个口径都存在——论文正文写 LLaVA-Med VQA，GitHub 数据下载表写 PMC-15M。二者为血缘关系（LLaVA-Med VQA 构建自 PMC-15M），见 §2.4 存照。

Q13：inherent 和 composed 有什么区别？
inherent 来自自然多图像场景（多访视/多视角/多模态）；composed 由手动分组单图 + 位置后缀构建。

C. 数据构成

Q14：四种能力的样本量各是多少？
正文明确：时序 9K、推理 4.4K；比较与共指无正文计数，须看 Fig.2c 分源表（比较 MS-CXR-T 3.2K+LUMIERE 1.0K；共指 LUMIERE 2.0K+EMBED 12.0K）。

Q15：图像模态分布如何？
MRI 27.8K、X-ray 21.0K、CT 15.3K、Histology 15.0K、Gross 2.2K，合计 81.3K。

Q16：闭式题多还是开式题多？
开式多：闭式 26.2K，开式 57.0K（开式占 68.5%）。

Q17：序列长度上限是多少？为什么？
3 张。论文解释是为在有限算力下打包更多 QA 对且保证 VLM 微调可行。

Q18：指令是怎么生成的？
inherent：GPT-4o + 迭代润色；composed：手动分组 + 位置后缀（如「In the first image…」）。

D. 基准与模型

Q19：Med-MIM Benchmark 有哪些子集？
held-in（源自指令数据集，2,968 闭式+256 开式）与 held-out（MIM-RAD、MIM-ODIR，各 300 闭式+300 开式）。

Q20：held-in 和 held-out 的区别？
held-in 衡量训练分布内能力；held-out 衡量零样本泛化到新分布（VQA-RAD、ODIR）的能力。

Q21：微调了哪些模型？
MIM-LLaVA-Med（基于 LLaVA-Med-7B）与 Med-Mantis（基于 MANTIS-8B）。

Q22：微调设置是什么？
3 epochs，约 72 小时，4 张 NVIDIA A40，交错图文格式，NLL 损失。

Q23：Med-Mantis 表现如何？
时序闭式 74.86%（基础 Mantis 仅 5.97%）、比较 52.88%（近 GPT-4o 两倍）、共指闭式 80.40%。

Q24：MIM-LLaVA-Med 有什么亮点？
在 held-out MIM-ODIR 上开式得分最高（55.99%），尽管多图像微调期几乎未见眼底图像。

Q25：哪个能力最难？
推理（多视角乳腺诊断）——即便最强模型闭式也仅 29.74%。

E. 评测与泛化

Q26：微调模型在 held-out 上比 GPT-4o 强吗？
闭式上不如（MIM-RAD：53.33/65.33 vs 69.00；MIM-ODIR：32.33/30.00 vs 45.67）；开式上 MIM-LLaVA-Med 在 MIM-ODIR 领先。说明专用化有泛化代价。

Q27：什么是 context gap？
论文术语，指单图像病理专家的能力不会自动迁移到多图像推理。

Q28：Med-Mantis 模型在哪下？
HuggingFace（yangxk/Med-Mantis），2025-10-09 发布。

Q29：MIM-LLaVA-Med 权重开放吗？
GitHub release 未单列，状态不明，需向作者确认。

Q30：这个数据集能商用吗？
由于 license 未明示且源数据集各有条款，商用前必须逐一确认源许可并联系作者。

F. 进阶与工程

Q31：为什么推理任务限定在乳腺 X 线？
论文把 reasoning 严格限定为 EMBED 的多视角乳腺诊断（CC+MLO），因为乳腺摄影天然提供两个互补视角，是多视角推理最典型、最可控的场景。

Q32：composed 子集的「位置后缀」具体长什么样？
形如「In the first image…」「In the second image…」，追加在原始问题中，强制模型建立图像序号与文本指代的对应。

Q33：Med-MIM 用了几轮迭代精炼？
论文表述为「GPT-4o + 迭代润色（iterative refinement）」，未披露具体轮数。

Q34：held-in 和 held-out 能一起训练吗？
不能。held-out（MIM-RAD/MIM-ODIR）是评测集，若并入训练则失去泛化评测意义。

Q35：Med-Mantis 和 MIM-LLaVA-Med 该怎么选？
总体 Med-Mantis 在 held-in 上更强（时序/比较/共指）；MIM-LLaVA-Med 在 held-out MIM-ODIR 开式上领先。视下游任务分布选择。

Q36：数据是英文的吗？
论文与数据集面向英文医学 VQA，问题与答案以英文为主。

Q37：能只用 composed 子集吗？
可以。composed 来自 PMC-15M 血缘，主要用于共指训练；但完整能力需 inherent + composed 联合。

Q38：为什么开式题占比这么高（68.5%）？
开式更贴近真实临床问答（医生通常不被给选项），但评分更难。Med-MIM 选择开式为主，是「真实性优先」的取向。

Q39：Med-MIM 与 RadVLM 的区别？
RadVLM（库内 rid=624）是放射学 VLM 指令集，以单图/对话为主；Med-MIM 聚焦多图像能力，二者互补。

Q40：有官方 leaderboard 吗？
抓取时点未发现公开的在线 leaderboard；基准需本地评测。

事实清单（硬事实 34 条）

全称：Med-MIM (Medical Multi-IMage) Instruction Dataset。
论文：arXiv:2505.19031（2025-05-25）。
会议：MICCAI 2025，Springer LNCS pp.402-412。
机构：香港中文大学（CUHK）计算机科学与工程系。
通讯作者：Jinpeng Li（jpli21@cse.cuhk.edu.hk）。
作者：Xikai Yang、Juzheng Miao、Yuchen Yuan、Jiaze Wang、Qi Dou、Jinpeng Li、Pheng-Ann Heng。
指令数据集规模：83.2K QA 对。
图像总数：81.3K。
图像模态：MRI 27.8K / X-ray 21.0K / CT 15.3K / Histology 15.0K / Gross 2.2K。
问题类型：闭式 26.2K / 开式 57.0K。
序列长度上限：3 张图像。
四种能力：时序理解、推理、比较、共指。
时序样本：9K（LUMIERE 6.0K + EMBED 9.0K）。
推理样本：4.4K（EMBED）。
比较样本：MS-CXR-T 3.2K + LUMIERE 1.0K（Fig.2c）。
共指样本：LUMIERE 2.0K + EMBED 12.0K（Fig.2c）。
inherent 源：MS-CXR-T、EMBED、LUMIERE。
composed 源：LLaVA-Med VQA / PMC-15M（口径存照）。
图像源六数据集：EMBED、LUMIERE、MS-CXR-T、PMC-15M、ODIR、VQA-RAD。
指令生成：GPT-4o + 迭代润色（inherent）；位置后缀（composed）。
微调基础模型：LLaVA-Med-7B、MANTIS-8B。
微调模型：MIM-LLaVA-Med、Med-Mantis。
微调设置：3 epochs / ~72 小时 / 4× NVIDIA A40 / NLL。
held-in 闭式：2,968（T 903 / R 454 / C 208 / Co 1,403）。
held-in 开式：256（T 30 / R 30 / C 136 / Co 60）。
held-out：MIM-RAD（VQA-RAD 改编）与 MIM-ODIR（ODIR 构建），各 300 闭式+300 开式。
Med-Mantis 时序闭式：74.86%（基础 Mantis 5.97%）。
Med-Mantis 比较：52.88%（GPT-4o 29.81%）。
Med-Mantis 共指闭式：80.40%。
推理最高闭式：29.74%（Med-Mantis）。
MIM-LLaVA-Med 在 MIM-ODIR 开式最高：55.99%。
参评模型共 8 个（6 baseline + 2 本文）。
数据获取：GitHub 公开直链（Xikai97/Med-MIM）。
许可：未明示（论文与 GitHub 均无 license 声明）。

术语表（26 条）

Med-MIM：Medical Multi-IMage，本文数据集简称。
LVLM：Large Vision-Language Model，大视觉语言模型。
VLM：Vision-Language Model，视觉语言模型。
多图像视觉能力（multi-image visual ability）：处理多张相关图像所需的视觉理解能力。
时序理解（temporal understanding）：跨时间点图像的前瞻性预测能力。
推理（reasoning）：多视角信息融合后的诊断能力。
比较（comparison）：跨访视图像差异/相似性识别。
共指（co-reference）：图像与文本指代的对应消解。
inherent（固有）：自然发生的多图像场景。
composed（组合）：手动分组单图构建的多图像样本。
位置后缀（location suffix）：如「In the first image」的文本指代标记。
MS-CXR-T：胸部 X 线时序数据集。
EMBED：Emory Breast Imaging Dataset，乳腺 X 线多视角数据集。
LUMIERE：纵向胶质母细胞瘤 MRI 数据集。
PMC-15M：1500 万图文对医学文献数据集。
LLaVA-Med VQA：基于 PMC-15M 构建的医学 VQA 数据集。
VQA-RAD：放射学 VQA 基准。
ODIR：Ocular Disease Intelligent Recognition，眼底疾病数据集。
MANTIS：多图像指令微调框架与模型。
Med-Mantis：Med-MIM 微调 MANTIS 得到的模型。
MIM-LLaVA-Med：Med-MIM 微调 LLaVA-Med 得到的模型。
held-in：源自训练分布的评测子集。
held-out：训练分布外的评测子集。
零样本泛化（zero-shot generalization）：无微调下的跨分布表现。
BIRADS：乳腺影像报告与数据系统分级。
context gap：单图像专长不迁移到多图像推理的现象。

术语表（补充 18 条）

CC 视角（Cranio-Caudal）：乳腺摄影的头尾位投影。
MLO 视角（Medio-Lateral Oblique）：乳腺摄影的内外侧斜位投影。
RANO：Response Assessment in Neuro-Oncology，神经肿瘤学疗效评估标准（LUMIERE 使用）。
胶质母细胞瘤（glioblastoma）：LUMIERE 数据集的肿瘤类型。
交错图文（interleaved image-text）：图像与文本 token 交替的输入格式。
负对数似然（NLL）：Negative Log-Likelihood，本文微调损失函数。
epoch：训练轮次，本文为 3。
A40：NVIDIA A40 GPU，本文微调硬件。
多视角（multi-view）：同一检查的多个成像角度。
多访视（multi-visit）：同一患者不同时间点的多次检查。
多模态（multi-modality）：如 T1/T2/FLAIR 不同成像序列。
grounding（图像定位）：文本指代到图像区域的对应。
iterative refinement（迭代润色）：GPT-4o 生成指令后的多轮精炼。
闭式（closed-type）：有选项的选择题。
开式（open-type）：生成式作答的问题。
zero-shot（零样本）：无微调下的直接推理。
临床指令微调（clinical instruction tuning）：用临床指令数据微调通用模型。
报告生成（report generation）：医学影像域的相关任务，与多图像描述有交集。## 附录

附录 A：条目信息速查卡

字段	值
官方名	Med-MIM (Medical Multi-IMage) Instruction Dataset
slug	med-mim
论文	arXiv:2505.19031
会议	MICCAI 2025
机构	香港中文大学
规模	83.2K QA / 81.3K 图像
四能力	时序 / 推理 / 比较 / 共指
源	MS-CXR-T, EMBED, LUMIERE, PMC-15M, ODIR, VQA-RAD
模型	Med-Mantis, MIM-LLaVA-Med
获取	GitHub 公开直链 + 图像申请制
许可	未明示

附录 B：DAIMS 评估全表

DAIMS（Dataset AI-Readiness Metadata Schema）分维度评估：

维度	评级	说明
可发现性（Discoverability）	高	arXiv + GitHub + HuggingFace 多入口，官方 BibTeX
可获取性（Accessibility）	中	JSON 公开直链；图像本体申请制（EMBED/MS-CXR-T）
可理解性（Understandability）	高	论文方法描述详尽（微调超参、硬件、损失、格式）
元数据完整性（Metadata）	中	论文给出规模与分布；但各源计数拆分不全
可互操作性（Interoperability）	中	JSON 格式通用；图像本体格式随源数据集
许可清晰度（Licensing）	低	license 未明示，源许可各异
可复现性（Reproducibility）	中	方法可复现；端到端受图像申请门槛约束
溯源（Provenance）	高	GitHub 文件名明示各子集源数据集
质量保证（Quality）	中	GPT-4o 迭代润色；无独立专家复核披露

附录 C：逐项证据链自证

硬数字	来源
83.2K QA	论文摘要 + Fig.2b
81.3K 图像	论文 Fig.2a
模态分布	论文 Fig.2a
闭式 26.2K / 开式 57.0K	论文 Fig.2b
时序 9K / 推理 4.4K	论文正文
比较/共指分源	论文 Fig.2c
held-in 2,968/256	论文基准章节
held-out 300+300 ×2	论文基准章节
Med-Mantis 时序 74.86%	论文结果表
基础 Mantis 5.97%	论文结果表
MIM-ODIR 55.99%	论文结果表
微调 3 epochs/72h/4×A40	论文实验设置
GitHub 文件清单	官方仓库页面
释放时间线	官方仓库 Release 段

附录 D：数据获取决策树

想用 Med-MIM？
├── 只要指令/基准 JSON → GitHub 直链下载（无门槛）
├── 要端到端复现训练
│   ├── 需 EMBED → AWS Open Data Registry 申请
│   ├── 需 MS-CXR-T → PhysioNet 申请
│   ├── 需 PMC-15M → 走 LLaVA-Med 项目
│   ├── 需 LUMIERE → Springer figshare
│   ├── 需 ODIR → Kaggle
│   └── 需 VQA-RAD → OSF
└── 要商用 → 先确认 license（联系 jpli21@cse.cuhk.edu.hk）

附录 E：四能力-源数据集映射表

能力	主源	次源
时序理解	LUMIERE (6.0K)	EMBED (9.0K)
推理	EMBED (4.4K)	—
比较	MS-CXR-T (3.2K)	LUMIERE (1.0K)
共指	EMBED (12.0K)	LUMIERE (2.0K)

附录 F：基准子集总表

子集	来源	闭式	开式
Held-in Temporal	Med-MIM	903	30
Held-in Reasoning	Med-MIM	454	30
Held-in Comparison	Med-MIM	208	136
Held-in Co-reference	Med-MIM	1,403	60
Held-out MIM-RAD	VQA-RAD	300	300
Held-out MIM-ODIR	ODIR	300	300

附录 G：Held-in 结果全表（C/O %）

模型	Temporal	Reasoning	Comparison	Co-reference
GPT-4o	47.95/37.28	16.96/30.18	29.81/37.20	42.30/33.81
MIM-LLaVA-Med	74.31/44.50	22.91/41.74	50.00/40.36	46.19/43.09
Med-Mantis	74.86/46.87	29.74/42.05	52.88/40.33	80.40/49.20

附录 H：Held-out 结果全表（C/O %）

模型	MIM-RAD	MIM-ODIR
GPT-4o	69.00/39.52	45.67/34.60
MIM-LLaVA-Med	53.33/35.08	32.33/55.99
Med-Mantis	65.33/35.35	30.00/41.32

附录 I：微调超参速查

项	值
epochs	3
训练时长	~72 小时
硬件	4× NVIDIA A40
图文格式	(image {id}: <Image>…)</Image>
损失	NLL
基础模型	LLaVA-Med-7B, MANTIS-8B

附录 J：许可状态总表

资产	license	状态
指令 JSON	未明示	遗留疑点
基准 JSON	未明示	遗留疑点
EMBED 图像	AWS 条款	需申请
MS-CXR-T 图像	PhysioNet DUA	需申请
PMC-15M 图像	参见 LLaVA-Med	需走项目
LUMIERE 图像	figshare 条款	公开
ODIR 图像	Kaggle 条款	公开
VQA-RAD 图像	OSF 许可	公开
Med-Mantis 权重	HF	已发布

附录 K：坑点档案（与 §12 对照）

坑	编号
license 未明示	坑 1
composed 源口径冲突	坑 2
Comparison/Co-reference 无正文计数	坑 3
图像本体申请制	坑 4
MIM-LLaVA-Med 权重状态不明	坑 5
闭式/开式评分口径差异	坑 6
held-out 规模有限	坑 7
序列长度上限 3 张	坑 8

§12 避坑清单：八个已识别的坑

坑 1：license 未明示。 论文与 GitHub 均无 license。务必在使用前联系通讯作者确认，商用尤其。

坑 2：composed 源口径冲突。 论文写 LLaVA-Med VQA，GitHub 写 PMC-15M。引用时二者择一并注明。

坑 3：Comparison/Co-reference 无正文计数。 正文只给时序 9K、推理 4.4K。比较与共指的规模须从 Fig.2c 分源估算，勿臆造总数。

坑 4：图像本体申请制。 拿到 JSON 不等于能复现训练——EMBED 与 MS-CXR-T 需申请，PMC-15M 需走 LLaVA-Med 项目。

坑 5：MIM-LLaVA-Med 权重状态不明。 GitHub release 只列 Med-Mantis，MIM-LLaVA-Med 是否开放需确认。

坑 6：闭式/开式评分口径不同。 闭式用准确率（C），开式用生成指标（O 分），二者不可直接比较。

坑 7：held-out 规模有限。 每个 held-out 子集仅 600 样本，泛化结论为提示性。

坑 8：序列长度上限 3 张。 长程（>3 访视）纵向场景未被覆盖，训练时注意与真实临床的差距。

附录 L：与其他医学多图像/VQA 数据集的横向对照

数据集	图像数/样本	单/多图像	领域	指令来源
VQA-RAD	~3.5K QA	单图像	放射	人工
PMC-VQA	227K QA	单图像	文献多域	文献
LLaVA-Med VQA	~60K+	单图像	文献多域	GPT-4 生成
SLAKE	~14K QA	单图像	多域	人工
Med-MIM	83.2K QA / 81.3K 图像	多图像（≤3）	多域	GPT-4o + 位置后缀

（上表基线数据为社区通行口径，供生态定位参考；Med-MIM 行数据源自论文。）

附录 M：检索关键词建议

中文检索：医学多图像、多图像指令数据集、医学视觉语言模型、时序理解、共指、香港中文大学医学AI、多视角乳腺诊断。
英文检索：Med-MIM, medical multi-image instruction dataset, medical LVLM multi-image, temporal understanding medical VQA, co-reference medical images, Med-Mantis, MIM-LLaVA-Med, MICCAI 2025 medical dataset。

附录 N：与库内 PANDA-PLUS 条目的对照

维度	Med-MIM	PANDA-PLUS
类型	多图像指令数据集	WSI 像素级重标注
规模	83.2K QA / 81.3K 图像	546 WSI
机构	香港中文大学	BYU
获取	JSON 公开 + 图像申请	WSI 公开 + 掩码请求
许可	未明示	三层异构（含 CC BY-4.0 Bench）
核心贡献	多图像视觉能力	标签噪声定量解剖

两者同属「重组/重标注既有数据」范式，但 Med-MIM 面向多模态大模型训练，PANDA-PLUS 面向病理分级方法学。

附录 O：结语

Med-MIM 的价值不在于规模，而在于它为医学 AI 开辟了一个被长期忽视的维度——多图像视觉理解。当临床诊断天然是多图像行为，而模型却只被单图像训练时，Med-MIM 用「重组既有数据 + 合成指令 + 位置后缀」的低成本范式，把这个落差变成可训练、可评测的对象。

它的局限同样清晰：许可未明示、图像申请制、序列长度上限、held-out 规模有限。检索者与使用者在采用前，应把这些边界作为决策的必要输入。

本条目所有硬数字均可溯源，所有口径冲突均已存照。若后续官方更新许可或模型状态，条目应同步修订。

名称：Med-MIM (Medical Multi-IMage) Instruction Dataset
发表：MICCAI 2025 / arXiv:2505.19031
机构：香港中文大学
规模：83.2K QA / 81.3K 图像 / 5 医学领域
能力：时序理解 · 推理 · 比较 · 共指
模型：Med-Mantis（HF 已发布）, MIM-LLaVA-Med
基准：held-in（2,968 闭式+256 开式）+ held-out（MIM-RAD, MIM-ODIR）
亮点：首个医学多图像；时序闭式 5.97%→74.86%
门槛：图像本体申请制
风险：license 未明示

附录 Q：扩展检索建议

若需进一步核实或扩展，建议检索：

官方来源：arXiv:2505.19031 全文（含 Fig.2 完整细节）；GitHub Xikai97/Med-MIM（含 JSON 文件本体）；HuggingFace yangxk/Med-Mantis（模型卡）。
源数据集：PhysioNet MS-CXR-T；AWS EMBED；figshare LUMIERE；LLaVA-Med（PMC-15M）；Kaggle ODIR；OSF VQA-RAD。
相关脉络：MANTIS 论文（多图像框架）；LLaVA-Med 论文（医学 LVLM）；PMC-VQA、RadVLM（医学指令数据）。
会议页：MICCAI 2025 proceedings（Springer LNCS，pp.402-412）。

附录 R：本条目编制说明

抓取时点：2026-10-15。
核验方式：三源互证（arXiv 全文 + 官方 GitHub 仓库 + 机构出版物页 CUHK IRIS）。
网络预算：WebSearch 2 次、WebFetch 2 次（均在纪律包预算内）。
口径冲突处理：composed 源（LLaVA-Med VQA vs PMC-15M）已存照；Comparison/Co-reference 计数缺失已以 Fig.2c 补充并标注。
未采信项：任何未经三源互证的第三方二手数字均未纳入正文硬数字。
遗留疑点：见 §9 与附录 J——license、MIM-LLaVA-Med 权重、图像端到端复现门槛。

附录 S：可迁移到其他数据集的检查清单

从 Med-MIM 的编制经验，可提炼一份通用检查清单，供其他医学多模态数据集条目参考：

[ ] 规模数字是否区分「样本数」与「图像数」（Med-MIM：83.2K vs 81.3K）？
[ ] 来源口径是否多版本（论文 vs 仓库 vs 机构页）逐一比对？
[ ] 能力/类别分解是否有独立计数，还是仅给总数？
[ ] 许可是否在本体、源、模型三个层面分别厘清？
[ ] 获取门槛是否区分「数据可下」与「端到端可复现」？
[ ] held-in/held-out是否分开，泛化结论是否标注规模限制？
[ ] 合成数据是否披露生成模型与质量控制流程？
[ ] 模型权重是否与数据集同步开放？

这份清单源于 Med-MIM 暴露的实际问题，具有一定普适性。