MedTrinity-25M — 2500 万级多粒度标注医学多模态数据集

INFOBOX — MedTrinity-25M 一屏速览

维度	内容
本质	2500 万幅医学图像的图像-ROI-描述三元组多模态数据集（image + region-of-interest + multigranular description）
团队	UC Santa Cruz（UCSC-VLAA）× 华中科技大学 × Stanford × Harvard；一作谢云飞（HUST/UCSC）
论文	arXiv:2408.02900（2024-08）；ICLR 2025 接收
规模	25M+ 图像 / 10 modalities / 65+ 疾病；衍生子集 18M accessible 与 75K demo
标注	全局（疾病/模态/区域描述/区域关系）+ 局部（ROI 框、分割掩码、区域文本描述）
流水线	数据收集 → 预处理 → 专家 grounding 模型定位异常 ROI → 构建疾病知识库 → MLLM RAG 生成多粒度描述
卖点	无需配对报告即可获得病灶级文本标注——绕开医学图文对最稀缺的瓶颈
衍生模型	LLaVA-Tri：在该数据集上预训练，VQA-RAD/SLAKE/PathVQA 达 SOTA
托管	HuggingFace UCSC-VLAA/MedTrinity-25M（gated=auto）；47 个 tar.zst 分片，>2TB
许可	混合许可：28 个源子集许可各异（CC0/CC BY/CC BY-NC-SA/MIT/OpenRAIL/研究协议等），必须逐子集核查
不可再分发	MIMIC-CXR-JPG/CheXpert/PadChest/KIPA22/Quilt-1M/VALSET 六子集官方标注 Available=No
库内互链	chexpert(5)、mimic-cxr(16)、deeplesion(17)、brats(24)、quilt-1m(51)、padchest(117)、vqa-rad(240)、slake(250)、pathvqa(260)、pmc-oa(320)

MedTrinity-25M 是一个「给医学图像装上逐病灶说明书」的数据集工程：它不满足于「一张图配一段报告」的传统图文对范式，而是给 2500 万幅医学图像上的每一个病灶区域都配上从「这句描述说的是哪块区域」到「这块区域的病变是什么、长什么样、和周围什么关系」的多粒度文本。它最重要的方法论贡献在于证明：病灶级文本标注可以不依赖人工撰写、也不依赖图文配对报告，而是由「专家级定位模型 + 检索增强生成的多模态大模型」组成的自动流水线批量产出——这一步把医学多模态训练数据的天花板从「有多少配对报告」抬升到「有多少图像」。

导语读法三则：

1. 只想下数据：直奔 §6 获取与许可——这是混合许可数据集，六个子集不可公开再分发，下载前必须逐子集自查（§6.3），别整包下载了事。
2. 关心标注质量：直奔 §5 流水线与 §8 局限——自动生成的描述与人工撰写有本质差异，幻觉风险与质检策略都在那里讨论。
3. 做模型训练：直奔 §7 下游任务与 LLaVA-Tri 结果——captioning/VQA/报告生成/分割四类任务的数据形态各不相同，先看清楚再切分。

§0 导读：这个数据集解决什么问题

医学多模态大模型的训练数据长期被两个稀缺资源卡住：一是配对报告（一张影像对应一份放射科医生写的报告），全球存量不过百万级；二是病灶级标注（哪个区域有病变、病变是什么），几乎全靠人工逐张勾画，成本高到只能覆盖几千到几万张。结果是：通用领域的多模态模型在亿级图文对上训练，医学领域的多模态模型却只能在十万级图文对上打转——数据量差了三个数量级，能力差距可想而知。

MedTrinity-25M 对这两个瓶颈各给了一个回答。对配对报告的瓶颈，它的答案是「绕过去」：流水线第一步收集的图像并不要求附带报告，也不要求人工撰写任何文本；描述文本完全由模型生成。对病灶级标注的瓶颈，它的答案是「用模型定位、用知识库约束、再用模型写」：先用一个在私有专家标注数据上训练的专家级 grounding（定位）模型找出每张图里的异常区域，再针对检出的疾病构建疾病知识库，最后让多模态大模型以检索增强生成（RAG, Retrieval-Augmented Generation）的方式，参照知识库为每个区域撰写从疾病类型、模态、区域描述到区域间关系的多粒度描述。

这个回答的代价也很清楚：自动生成的标注没有人工标注的可靠性保证。论文的立场是把这个问题工程化——描述模板和知识库约束把幻觉压在可控范围内，而海量数据带来的规模收益被认为足以补偿个体噪声。这个立场是否成立，取决于下游任务：对预训练规模扩张来说大概率成立，对需要精确标签的评测基准来说则要打个问号。本条目 §8 会专门讨论这一点。

§0 读法三则：

1. 这个条目是「数据集 + 方法论 + 衍生模型」三合一：本体是 25M 图像与三元组标注，方法论是五步自动流水线，衍生品是 LLaVA-Tri 模型——三者分别面向数据、方法和建模社区。
2. 全文核心数字（25M/10 模态/65 疾病/47 分片/28 子集）均以 HuggingFace 官方仓库与论文为准；论文 v1 与 ICLR camera-ready 在数据来源数上有 90+ 与 30+ 两个口径，已在 §9 存照。
3. 检索时注意：数据集常被简写为 MedTrinity，HuggingFace 组织名是 UCSC-VLAA，GitHub 仓库名 yunfeixie233/MedTrinity-25M——三者指向同一资源，但 slug 唯一是 medtrinity-25m。

§1 数据集速览：十问十答

Q1：25M 到底是什么的 25M？
是图像数，不是样本数、不是图文对数。每幅图像可以检出多个 ROI，因此区域级描述条数多于 25M。官方口径是「over 25 million images」。

Q2：10 种模态具体是哪些？
覆盖 CT、MRI、X 光、病理（显微镜）、内窥镜、超声、皮肤镜、眼科影像、显微镜下细胞学等主要医学影像模态（论文正文列举 10 类）。各模态占比未在官方材料中系统披露，整体以 X 光、CT、病理为主力（可由 28 个源子集的构成推断）。

Q3：65+ 疾病怎么理解？
指描述文本覆盖的疾病类别数下限，跨肿瘤、感染、退行性病变、创伤等多系统。疾病标签不是人工核对过的分类金标准，而是 grounding 模型检出与知识库匹配的结果。

Q4：image-ROI-description 三元组长什么样？
每条记录至少包含：图像文件（file_name）、样本唯一标识（id，UUID）、多粒度描述文本（caption）、来源子集（source）。描述文本内部再分层：全局层（这张图是什么模态、什么疾病）与局部层（每个 ROI 的位置、形态、诊断特征）。

Q5：标注全是机器生成的吗？
是。流水线中没有人工逐条撰写环节；人工投入体现在训练专家级 grounding 模型所用的私有专家标注数据上。这是它与 PANDA-PLUS 等人工重标注数据集的根本区别。

Q6：和 PMC-OA、Quilt-1M 这类图文对数据集比，强在哪？
强在区域级对齐：图文对数据集只知道「这张图和这段文字相关」，MedTrinity-25M 知道「这句话说的是图上这个框里的区域」。区域级对齐是定位、分割、区域级 VQA 任务的必要监督信号。

Q7：和 MIMIC-CXR 这类报告数据集比，强在哪？
强在规模与模态广度：MIMIC-CXR 约 37.7 万张图且只有胸片一个模态，MedTrinity-25M 是它的近 70 倍且覆盖 10 模态。弱在文本权威性：放射报告是执业医生的诊断文书，自动生成的描述不是。

Q8：三个规模档位（25M/18M/75K）是什么关系？
25M 是全量，18M accessible 是可自由访问部分（去掉不可再分发子集后的口径），75K demo 是演示子集。后两档的边界在官方材料中未逐一列出清单，使用时以 HuggingFace 批准后可见的实际内容为准（§9 存照）。

Q9：怎么下载？
HuggingFace UCSC-VLAA/MedTrinity-25M，gated=auto：登录账号、填写申请、自动批准后即可下载。47 个 tar.zst 分片共 >2TB，国内网络建议走 hf-mirror.com 镜像。

Q10：能直接用于商业产品吗？
不能一概而论。整包没有统一许可；源子集里有 CC0/MIT（宽松）、CC BY-NC-SA（禁商用）、研究协议（严格限定）三类。任何商用都意味着把 28 个子集的许可逐条过一遍法务——这正是本条目 §6 花最大篇幅的原因。

§2 名称、身份与家族谱系

官方全名：MedTrinity-25M: A Large-scale Multimodal Dataset with Multigranular Annotations for Medicine。名字的三段结构本身就把卖点说完了：25M 是规模，Multimodal 是覆盖面，Multigranular Annotations 是方法论差异点。

名称辨析三则：

1. MedTrinity-25M ≠ MedTrinity。文献里 MedTrinity 有时泛指该项目（含流水线方法与 LLaVA-Tri 模型），25M 特指数据集本体。检索时应以 25M 为准。
2. UCSC-VLAA 是 HuggingFace 组织名（Vision and Language Annotation/Analysis group 的缩写口径），不是数据集名的一部分；GitHub 仓库在个人账号 yunfeixie233 名下。
3. 不要与 SA-Med2D-20M 混淆。SA-Med2D-20M 是另一个 2000 万级的医学分割数据集，同时也是 MedTrinity-25M 的源子集之一——两者是「上游分割数据集」与「下游多粒度标注数据集」的关系，不是同一资源。

家族谱系：MedTrinity-25M 的直接学术后代是 LLaVA-Tri（在 25M 上预训练的医学多模态模型）；方法论上的近亲是各家「用 MLLM 自动重 caption」的工作。数据上它是 28 个公开数据集的「再加工总集」——这一身份决定了它的许可结构（§6）与它的独特价值：不用逐个申请 28 个数据源，就能拿到一份格式统一、标注统一的超大集合。但反过来，再加工不豁免上游许可：每个源子集的使用条款都随数据一起「继承」了下来。

§3 论文、团队与时间线

3.1 论文与发表链

论文标题与数据集同名：MedTrinity-25M: A Large-scale Multimodal Dataset with Multigranular Annotations for Medicine。时间线如下：

• 2024-08-06：arXiv 首版（v1，编号 2408.02900）公开，摘要称数据整合自 90+ sources。
• 2024-09~10：ICLR 2025 投稿与评审期（OpenReview 编号 30141）。
• 2025-01：ICLR 2025 接收（poster）。camera-ready 版与项目页把口径改为 30+ sources——这是全文最重要的双口径（§9 存照）：v1 的 90+ 应为按图像源统计（含各医院/公开仓库的细粒度来源），ICLR 版的 30+ 按公开数据集实体统计（28 个子集 + 若干杂项）。
• 2025 下半年起：HuggingFace 仓库持续维护，47 个 tar.zst 分片陆续可见，gated 申请自动批准。

引用本数据集时建议同时给 arXiv 编号与 ICLR 2025：前者是公开检索入口，后者是同行评议身份。

3.2 团队与机构

作者团队是典型的「中美联合 + 医工交叉」组合：

• 华中科技大学：谢云飞（Yunfei Xie，一作，equal technical contribution）、周策（Ce Zhou）、高朗（Lang Gao）。谢云飞此后转入 UC Santa Cruz，是项目的事实主导者。
• UC Santa Cruz：Juncheng Wu、Xianhang Li、Cihang Xie、Yuyin Zhou（通讯）。Cihang Xie 与 Yuyin Zhou 组的 UCSC-VLAA 是医学多模态领域的活跃团队。
• Stanford：Sheng Liu、Lei Xing、James Zou。Lei Xing 是放射肿瘤学教授，James Zou 是生物医学数据科学教授，为医学侧把关。
• Harvard：Hong-Yu Zhou。

谢云飞、周策、高朗三人为 equal technical contribution（同等技术贡献）。项目致谢中出现了 Microsoft、OpenAI、TRC、GCP、AWS、Lambda 等算力支持方——对一个 25M 级数据集的流水线运行与 LLaVA-Tri 预训练来说，这些算力捐赠是实打实的前提条件。

3.3 项目资源地图

资源	位置	说明
论文 v1	arxiv.org/abs/2408.02900	2024-08 首版，90+ sources 口径
ICLR 2025	OpenReview 30141	camera-ready，30+ sources 口径
项目页	yunfeixie233.github.io/MedTrinity-25M	30+ sources 口径，含可视化样例
GitHub	github.com/yunfeixie233/MedTrinity-25M	流水线代码、模型权重入口
HuggingFace	hf.co（镜像 hf-mirror.com）UCSC-VLAA/MedTrinity-25M	数据本体，gated=auto
LLaVA-Tri	GitHub/HF 同组织发布	在 25M 上预训练的模型

§4 数据规模硬数字

4.1 核心规模矩阵

维度	数字	来源与口径
图像总量	25M+	论文摘要/项目页；HuggingFace 全量分片
可自由访问部分	18M（accessible）	项目页/仓库说明；边界清单未逐一公布
演示子集	75K（demo）	第三方与仓库口径；一手 README 未直接确认（存照）
模态数	10	论文正文列举
疾病覆盖	65+	论文摘要
源子集数	28（官方 README 许可表口径）	对应 ICLR 版 30+ sources 的主体
HuggingFace 分片	47 个 tar.zst（dataset_shard_1…47）	API siblings 列表；33/40 分片号未见于列表（存照）
文件总数	132 files	HF API siblings 统计
存储体量	>2TB	第三方估计，官方未给精确值

4.2 HuggingFace 仓库结构

仓库主体是 25M_accessible/ 目录下的 dataset_shard_1.tar.zst 到 dataset_shard_47.tar.zst 分片（zstd 压缩的 tar 包），外加一个 metadata.jsonl 元数据清单。每行 JSON 含四个字段：

• file_name：图像文件名（解包后图像的键）；
• id：样本唯一 UUID；
• caption：多粒度描述文本（本数据集的核心增量）；
• source：源子集标签（如 chexpert、deeplesion、pathvqa）。

注意：ROI 坐标与分割掩码不在 metadata.jsonl 里——它们编码在 caption 文本与（部分子集的）图像-掩码对里，或者说三元组中的 ROI 维度主要服务于描述文本的指代关系。要拿结构化 ROI 框做检测训练的使用者，需要自行从 caption 中解析或参考 GitHub 上的流水线代码约定。这一点与 DeepLesion 等原生带坐标的数据集不同，是常见的理解落差。

4.3 规模的可比性定位

把 MedTrinity-25M 放进医学多模态数据集的坐标系里，它的体量是断层第一的：

• MIMIC-CXR-JPG：37.7 万图 / 单模态（胸片）/ 人工报告。MedTrinity 的约 1/70 规模，但文本权威性更高。
• PMC-OA：160 万图文对 / 多模态（图表为主）。规模 1/15，区域对齐弱。
• Quilt-1M：百万级病理图文对 / 单模态（病理）。MedTrinity 的源子集之一。
• SA-Med2D-20M：2000 万分割对 / 区域掩码强、文本弱。与 MedTrinity 互补（后者文本强、掩码弱）。

一句话定位：在「规模 × 模态广度 × 区域级文本」三维上同时占优的目前只有它，代价是文本可靠性让位于报告类数据集、结构化坐标让位于分割类数据集。

4.4 数据分布的已知与未知

已知：28 个源子集的名单公开（§6.2 完整列出），各子集的原始规模大多可从各自论文查到，因此整体模态构成可推断——胸片类（CheXpert+MIMIC-CXR+PadChest+NIH-CXR 合计近千万级）与病理类（NCT-CRC-HE-100K、Breast Histopathology、QUILT-1M 等）是两大主力，CT/MRI 类（DeepLesion、BRATS、CT-RATE、FLARE23、TotalSegmentator 系）次之，内窥镜/超声/皮肤/眼科再次。

未知：官方从未发布逐子集图像数与疾病分布表。这给两类使用者埋了坑：做类别均衡采样的人无法在下载前规划子集配比；做模态消融的人无法预知各模态数据量。若你的工作对分布敏感，建议下载后先按 source 字段做一次全量统计——这是使用本数据集的第一课。

§5 任务与标注：五步流水线解剖

5.1 流水线全景

MedTrinity-25M 的方法论核心是一条五步自动流水线。以下按论文叙述顺序拆解：

第一步：数据收集。从 28 个公开医学影像数据集汇集图像，唯一要求是图像本身可公开获取——不要求配对报告、不要求任何标注。这使可纳入的图像池直接放大到千万级。

第二步：预处理。统一格式、尺寸规范化、质量过滤（去重、去损坏、去低信息量图像），并保留源信息作为 source 标签。

第三步：专家级 grounding 定位异常 ROI。用一个「专家级病灶定位模型」在每张图上检出异常区域，输出 ROI 边界框与初步的病灶类别判断。该模型在一个私有专家标注数据集（论文自述由执业医师逐区域标注）上训练——这是整条流水线里唯一的人工标注投入点，也是描述质量的源头活水。定位模型具备跨模态泛化能力，使 10 种模态能用同一套检出逻辑。

第四步：构建疾病知识库。针对检出疾病，从医学文献与权威资料中为每类疾病构建结构化知识条目：典型影像表现、模态特征、区域形态学描述、鉴别诊断要点、区域间关系模式。知识库是后面生成步骤的「防幻觉围栏」。

第五步：MLLM RAG 生成多粒度描述。把图像、ROI、知识库条目一起喂给多模态大模型，以检索增强生成的方式撰写描述。生成被显式约束为两个粒度层：

• 全局层：整图级别的疾病/病灶类型、影像模态、整体区域描述、区域间关系；
• 局部层：每个 ROI 的位置、边界框、（部分情况下）分割掩码、区域文本描述。

5.2 与人工标注流水线的对照表

维度	MedTrinity-25M（自动流水线）	人工重标注型（如 PANDA-PLUS）
速度	千万级图像数月完成	万级图像数月（专家逐张）
单位成本	近零（算力）	每张 10 分钟~2 小时专家时间
一致性	模板化输出，风格统一	观察者间变异需 kappa 度量
可靠性	依赖模型，幻觉风险存在	专家终审，金标准级
覆盖广度	10 模态 65 疾病	通常单病种单模态
可复制性	流水线代码开源，可跑新数据	流水线可复制但人力难复制

两条路线不是竞争关系而是分工关系：自动流水线负责「广度与规模」，人工标注负责「深度与金标准」。MedTrinity-25M 的贡献是把前者推到了此前无人到过的规模。

5.3 支持的下游任务

数据形态直接决定任务支持面。按三元组的不同切片：

1. 图像描述生成（captioning）：整图配全局描述——最直接的用法。
2. 报告生成（report generation）：把多粒度描述当作结构化报告的代理，训练图→文生成。注意生成文本不是真实临床报告，训练出的模型学的是「描述风格」而非「报告风格」。
3. 视觉问答（VQA）：caption 中的属性句（模态/疾病/区域关系）可程序化转成问答对，或直接用区域描述做区域级 VQA。
4. 分类：全局层的疾病/模态判断可作为弱监督分类标签。
5. 分割与检测：ROI 边界框直接支持检测；掩码信息覆盖不全，分割任务建议配合源数据集原生掩码（如 SA-Med2D-20M、FLARE23）使用。

5.4 LLaVA-Tri：数据集的价值证明

论文用 LLaVA-Tri 模型完成了「数据集有没有用」的证明：以 LLaVA 架构为基座，在 MedTrinity-25M 上做预训练（三元组对齐 + 多粒度描述注入），然后在三个标准医学 VQA 基准上评测：

• VQA-RAD（ radiology VQA，315 问）：超越此前 SOTA MLLM；
• SLAKE（双语医学 VQA）：ICLR 版报告超越 SOTA；
• PathVQA（病理 VQA，约 4.9 万问）：超越 SOTA。

结论的模式很清楚：不是模型架构创新，而是数据规模与标注粒度带来的提升——这正是数据集论文需要的证明形态。基准成绩的绝对值应谨慎解读（评测集与训练数据的来源重叠可能性、生成式标注的分布偏置都会放大表观收益），但「区域级文本监督优于纯图文对监督」的方向性结论是可信的。

§6 许可与获取：逐子集合规核查手册

本节是全条目最重要的操作章节。 MedTrinity-25M 没有统一 license 字段——它是一个 28 个源子集的聚合体，每个子集把自己的许可「继承」了进来。官方在 README 中维护了一张逐子集许可表，但使用者仍然必须对每个实际使用的子集做独立合规核查：官方表格可能滞后于上游许可变更，且「聚合分发许可」与「下游使用许可」是两件事。以下按许可类型分组展开。

6.1 许可总览与合规原则

三条总原则：

1. 逐子集原则：不要把整包当作单一许可资源使用。任何下游分发、商用、公开模型权重发布，都必须列出所用子集清单并逐条核对其许可。
2. 继承原则：MedTrinity 的再加工不改变上游许可。CC BY-NC-SA 子集在 MedTrinity 里仍然是 CC BY-NC-SA；研究协议子集（如 CheXpert 的 Stanford RUA）在 MedTrinity 里仍然要求签署协议。
3. 最严格约束原则：若一个产品同时用了多个子集，整体合规边界由最严格的那个子集决定。

官方还给出投诉通道：侵权投诉发 yxie126@ucsc.edu，承诺 3 个工作日内处理——这本身说明项目方对许可问题的态度是「主动但非法律担保」。

第三方口径存照：paperswithcode 将 MedTrinity-25M 整体标为 CC BY-NC 4.0，理由之一是描述文本由 GPT 系模型生成、受 OpenAI 生成内容政策约束。这是第三方归纳而非官方声明，但它提示了一个真实问题：自动生成的文本部分的权利归属在现有许可框架下是灰色地带。若你的使用场景对文本版权敏感（如商业产品内置生成内容），需单独评估。

6.2 官方逐子集许可表（28 子集）

以下按官方 README 许可表整理，按许可类型分组：

CC0（公有领域，最宽松）

子集	内容
Breast Histopathology	乳腺组织病理图像
NCT-CRC-HE-100K	结直肠癌 H&E 病理 patch（100K）
NIH-CXR（NIH Chest X-rays）	胸片
VQA-RAD	放射 VQA 问答对

CC BY 4.0（署名，可商用）

子集	内容
BRATS24-MICCAI	脑肿瘤 MRI（BraTS 2024 系）
BreastCancer	乳腺超声/病理
CPD	胸片数据
DeepLesion	CT 病灶通用 lesion 标注
PatchGastricADC22	胃腺癌病理 patch
SLAKE	双语医学 VQA

CC BY-NC-SA 4.0（署名-非商业-相同方式共享）

子集	内容
CISC	数据子集
CT-RATE	胸部 CT 报告对齐
FLARE23	腹部多器官分割
TCGA / PTCGA	癌症基因组图谱病理切片（TCGA 系）
ULS23	通用病灶分割挑战数据
LLaVA-Med	医学多模态指令数据（另有口径 CC BY-NC 4.0）
MAMA-MIA	乳腺 MRI（另有口径 CC BY-NC 4.0）

CC BY-SA（署名-相同方式共享）

子集	内容
PMC-VQA	医学 VQA

MIT（宽松）

子集	内容
PathVQA	病理 VQA（约 4.9 万问答对）

OpenRAIL（开放-负责任 AI 许可，含使用限制条款）

子集	内容
PMC-OA	PMC 图文对

CC BY-NC-ND 3.0（禁商用、禁演绎，注意不可公开再分发）

子集	内容
KIPA22	肾脏病理数据（官方标注 Available=No）

研究协议类（须向上游机构签署协议，非普通开源许可）

子集	协议
CheXpert	Stanford Machine Learning Group RUA（Research Use Agreement）
PadChest	BIMCV 请求制协议
PIMIC-CXR-JPG	PhysioNet DUA 1.5.0（Data Use Agreement）

Unknown / 未标注（合规状态不明的风险区）

子集	状态
IHC4BC	官方表标 Unknown
BHX / QUILT-1M / SA-Med2D-20M / VALSET	官方表未标注许可

加总检查：上表 CC0 4 + CC BY 4.0 6 + CC BY-NC-SA 7 + CC BY-SA 1 + MIT 1 + OpenRAIL 1 + CC BY-NC-ND 1 + 研究协议 3 + Unknown/未标 5 ≈ 28~29 项，与官方 28 子集口径基本吻合（个别子集口径在 LLaVA-Med/MAMA-MIA 上有 CC BY-NC-SA 4.0 与 CC BY-NC 4.0 两个版本的说法，使用时以各子集自己的 HF 卡片为准）。

6.3 不可公开再分发的六个子集

官方在获取说明中把六个子集标注为 Available=No——即它们虽参与构建了 25M 数据集，但不能随数据集公开再分发：

1. MIMIC-CXR-JPG（PhysioNet，需 credentialed 认证 + DUA）；
2. CheXpert（Stanford RUA）；
3. PadChest（BIMCV 协议）；
4. KIPA22（CC BY-NC-ND 3.0）；
5. Quilt-1M（官方标注不可再分发）；
6. VALSET（官方标注不可再分发）。

这正是 25M 全量与 18M accessible 差异的最可能构成——但官方从未明确给出「accessible = 25M − 六子集」的算式，实际差值构成未披露（§9 存照）。使用者要拿到这六个子集的数据，必须自行到各自上游渠道申请：PhysioNet 账号、Stanford RUA、BIMCV 申请表等。申请通过后，如何把上游数据与 MedTrinity 的标注对上是用户自己的工程问题。

6.4 获取流程实操

官方渠道（HuggingFace）：

1. 访问 UCSC-VLAA/MedTrinity-25M（国内直连不通，走 hf-mirror.com 镜像）；
2. 登录 HF 账号，仓库为 gated=auto——填写使用申请表后自动批准，无需人工审核；
3. 下载方式任选：huggingface-cli download（推荐，支持断点续传）、snapshot-download、或直接下 47 个 dataset_shard_*.tar.zst；
4. 解压用 zstd -d + tar -xf（两步，或 tar --zstd -xf 一步）；磁盘预留 >2TB。

demo 路径：先下 75K demo 子集（若仓库提供单文件）验证流水线与解析代码，再决定是否拉全量——2TB 级下载对带宽与存储都是实打实的承诺。

替代路径：GitHub 仓库提供流水线代码；若只关心标注方法，跑通流水线对自有小规模数据重标注，比下载全量更务实。

6.5 合规自查清单（使用前逐项打勾）

• [ ] 列出实际使用的 source 子集清单（按 metadata.jsonl 的 source 字段统计）；
• [ ] 对照 §6.2 表格确认每个子集的许可类型；
• [ ] Unknown/未标子集（BHX/QUILT-1M/SA-Med2D-20M/VALSET/IHC4BC）：向上游原作者逐条确认或直接排除；
• [ ] 研究协议子集（CheXpert/PadChest/PIMIC）：确认自己持有有效协议，且用途不超出协议范围；
• [ ] CC BY-NC 系子集：确认下游无商业用途（含「免费但商业背景」的产品）；
• [ ] 拟公开发布的模型权重：评估是否蒸馏/ memorize 了不可再分发子集的内容（NC-ND 与协议类子集尤其敏感）；
• [ ] 商用场景：单独评估 GPT 生成文本的权利灰色地带（§6.1 存照）。

§7 评估与基准：LLaVA-Tri 成绩单与横向对照

7.1 LLaVA-Tri 三基准成绩

论文的评估设计是「同架构、换数据」：以 LLaVA 为基座，分别用 MedTrinity-25M 与其他医学数据集预训练，控制变量比较。三基准结果（论文报告，超越同期 SOTA MLLM）：

基准	内容	规模	LLaVA-Tri 表现
VQA-RAD	放射 VQA（人工构建）	315 问	超 SOTA
SLAKE	中英双语医学 VQA	642 图/约 1.4 万问	超 SOTA（ICLR 版报告）
PathVQA	病理 VQA	4,977 图/约 3.3 万问答	超 SOTA

三个基准分别覆盖放射、多模态、病理——恰好对应 MedTrinity 训练数据的三大主力模态，说明收益并非单一模态的特化。

7.2 与竞品数据集的描述质量对照

论文还做了描述丰富度的横向对照：随机抽取 MIMIC-CXR、SLAKE、ROCO 与 MedTrinity 的图文样本，人工比较描述属性数。结论：MedTrinity 的描述在属性数量（疾病、位置、形态、关系、模态等维度）上显著更丰富——这与设计目标一致，因为它本来就是奔着「多粒度」去的。但注意该对照由数据集作者自己组织，没有外部评审盲评，属「自证型」证据，权重应打折。

7.3 复现与使用注意

用 MedTrinity-25M 做训练/评测时容易踩的四个坑：

1. 基准污染自查：VQA-RAD、SLAKE、PathVQA 本身就是源子集——若你的训练切片把源子集的问答对也混了进去，基准成绩会虚高。训练/评测隔离必须做到 source 级别。
2. 生成式标签的偏置：分类任务用 caption 里的疾病判断当标签时，错误率等于 grounding+生成的联合错误率，且错误与模态/疾病类别相关（系统性而非随机），会直接印进模型。
3. 跨子集患者泄漏：同一患者的序列影像可能分布在多个源子集（如 TCGA 与 PTCGA），patient-level 切分需要自己重建。
4. 分辨率与预处理痕迹：不同源子集的预处理标准不同，直接混合训练会把「预处理指纹」学进模型——论文未提供统一的像素级规范化承诺，敏感任务需自行归一。

§8 局限、偏置与批判性使用指南

8.1 已知局限清单

1. 标注可靠性无金标准背书。没有任何一条 caption 经过执业医师逐条审校。流水线的质量上限由 grounding 模型与 MLLM 决定，而论文未发布对自动标注本身的人工抽检精度/召回数字——这是方法论上最常被诟病的一点。
2. 幻觉风险。MLLM 生成描述时，知识库约束降低但不消除幻觉；典型错误形态是把正常结构描述成异常、把 A 病灶的描述错配给 B 区域。
3. 分布不透明。无官方逐子集规模表、无疾病分布表、无模态占比表（§4.4）。
4. 患者级信息缺失。无患者 ID 映射，跨图患者关系不可恢复，严格的 patient-level 实验无法在该数据集上直接做。
5. 许可碎片化。28 个许可、6 个不可再分发、5 个 Unknown（§6）——使用摩擦被系统性低估。
6. 英文中心。描述文本全英文，中文医学场景需要二次翻译或对齐（SLAKE 虽是双语子集，但生成的 caption 是英文）。

8.2 适用与不适用场景

适合：医学多模态基础模型预训练（规模红利最大化的场景）；区域级图文对齐研究；标注流水线方法研究；作为「教师数据集」蒸馏出小而精的子数据集。

不适合（或需强加工）：临床级报告生成评测（文本不是真实报告）；需要金标准标签的模型基准发布（标注未经人工验证）；单病种深度研究（各病种样本浅而广）；任何对假阳性标注零容忍的场景（如直接辅助诊断原型）。

8.3 推荐使用模式：三段式质检

实践中被验证有效的用法是「三段式」：

1. 抽样质检先行：按 source 分层抽 1,000~2,000 条，人工评 caption 的病灶指代准确性、疾病判断正确性，得到各子集的质量画像；
2. 质量加权采样：对质量差的子集降权或只取其图像重生成标注，质量好的直接用；
3. 下游过滤闭环：训练时用 loss 过滤或一致性过滤（同一图像多次生成取多数）继续清洗。

这套流程把「数据集不可靠」转化为「数据集 + 质检流程」的工程问题——这也正是使用自动标注数据集的成熟姿势。

§9 生态位与库内互链网络

9.1 在医学多模态数据集版图中的位置

MedTrinity-25M 占据的生态位可以用一个二维矩阵描述：横轴是「标注粒度」（图级 → 区域级），纵轴是「规模」（十万级 → 千万级）。绝大多数数据集挤在左下（图级+小规模，如 VQA-RAD）或右下（区域级+小规模，如 DeepLesion）；报告类数据集在左上（图级+中规模，如 MIMIC-CXR）。右上角「区域级+千万级」长期空缺——MedTrinity-25M 是第一个站稳这个象限的公开资源。

这个生态位决定了它的三类典型用户：预训练团队（要规模）、区域对齐研究者（要粒度）、数据工程团队（要流水线方法）。三类用户的关注点分别对应 §4、§5、§8。

9.2 库内互链点（本库条目）

以下是本库中与 MedTrinity-25M 直接相关的条目，建议互链（rid 以 DB 实查为准，frontmatter relatedLink 一律用 /0 占位由发布流程回填）：

库内条目	rid	与 MedTrinity-25M 的关系
chexpert	5	源子集（研究协议，不可再分发）
mimic-cxr	16	源子集上游（MIMIC-CXR-JPG 同族）
deeplesion	17	源子集（CC BY 4.0，CT 病灶主力）
brats	24	源子集族（脑肿瘤 MRI）
quilt-1m	51	源子集（病理图文对，不可再分发）
padchest	117	源子集（研究协议，不可再分发）
vqa-rad	240	源子集 + LLaVA-Tri 评测基准
slake	250	源子集 + LLaVA-Tri 评测基准
pathvqa	260	源子集（MIT）+ 评测基准
pmc-oa	320	源子集（OpenRAIL）
vqa-med	280	同域 VQA 基准
mimic-cxr-jpg	617	源子集（不可再分发）

9.3 上游-下游血缘速查

上游（28 个源子集的头部代表）：图像与标注的原始出处。其中 CheXpert(5)、mimic-cxr(16)、padchest(117)、deeplesion(17)、brats(24) 五个在本库均有独立条目，各自条目的许可与规模细节可直接查阅——这省去了本条目重复展开的必要。

平行（同代多模态医学数据集）：PMC-OA(320) 与 quilt-1m(51) 是「图文对」路线的代表，与 MedTrinity 的「三元组」路线构成方法对照。

下游（LLaVA-Tri 的成绩基准）：vqa-rad(240)、slake(250)、pathvqa(260)——既是源又是靶，这种「训练-评测同源」关系是使用 §7.3 坑 1 的根源。

9.4 与本库方法论条目的互链建议

radgraph(561)、radgraph2-radiology-reports(622)、radvlm-instruction-dataset(624)、radialog-instruct-dataset(625) 这一批「放射报告结构化与指令化」条目，与 MedTrinity 的 caption 生成流水线构成同一问题（如何让文本紧贴影像内容）的两条技术路线——报告侧靠医生文书，MedTrinity 靠模型生成。互链阅读能完整呈现该问题的路线图。

§10 常见误解澄清（坑 1-8）

坑 1：把 25M 当成 2500 万个图文对。
25M 是图像数。描述文本挂在图像与其 ROI 上，一图多 ROI 时描述条数更多，但这不等于「配对样本」意义上的规模。论文口径始终是 images。

坑 2：以为整包有一个统一 license。
没有。HF 卡片无 license 字段是有意为之——整包不可用单一许可描述。paperswithcode 标的 CC BY-NC 4.0 是第三方口径，不能替代逐子集核查（§6）。

坑 3：以为 gated=auto 需要人工审批。
自动批准。填表即得，通常分钟级。真正的门槛不在审批而在 2TB 下载与六子集的额外申请。

坑 4：以为下载了就拿到全部 25M。
18M accessible 才是 HF 上直接可见的量。六个不可再分发子集要另行向上游申请（§6.3）。75K demo 与 accessible 的关系官方材料未明说。

坑 5：把 caption 当临床报告。
caption 是知识库约束下的模型生成描述，风格、结构、免责措辞都与放射报告不同。用它训练「报告生成」学到的是描述性文本，直接上临床文书场景会水土不服。

坑 6：以为 ROI 坐标开箱即用。
metadata.jsonl 只有 file_name/id/caption/source 四字段。结构化 bbox 与掩码需要从 caption 解析或参考 GitHub 流水线代码的中间产物约定（§4.2）。

坑 7：拿 source 字段当疾病标签。
source 是「来自哪个源数据集」，不是诊断标签。疾病信息在 caption 里，且是模型判断而非金标准。

坑 8：分片号是连续的。
HF API 列表里 33/40 分片号缺席（132 files 里见不到 dataset_shard_33/40）——是列表缺口还是真缺分片未明（§9 存照）。下载脚本不要假设 1…47 连续可迭代，以实际 siblings 列表为准。

§11 下游实操清单

场景 A：预训练一个医学多模态模型

1. 全量拉取（§6.4），磁盘预留 >2TB；
2. 按 source 统计分布，决定子集配比（§4.4）；
3. 排除或降权 Unknown 许可子集（§6.2）；
4. 用 metadata.jsonl 建 id→file→caption 索引，注意 zstd 解压顺序；
5. 训练切分：按 source 分桶 + 分桶内随机，绝不按行随机（防跨图泄漏）；
6. 评测锁 source：vqa-rad/slake/pathvqa 三个子集的问答部分整体划出训练集。

场景 B：构建区域级 VQA 数据

1. 从 caption 的局部层抽取区域描述句；
2. 用模板把属性句转问答对（模态问、疾病问、区域关系问）；
3. 对生成对做人工抽检（建议每子集 300 条）；
4. 与 vqa-rad(240)/slake(250) 原生问答合并时，标注数据来源字段以便消融。

场景 C：用流水线标注自有数据

1. 克隆 GitHub 仓库，读流水线代码（grounding 模型权重入口在仓库 README）；
2. 私有数据先过质量过滤；
3. 跑 grounding 得 ROI——对照自有小规模人工标注估计检出质量；
4. 构建面向自己病种的迷你知识库（这一步决定描述质量上限）；
5. 调 MLLM 生成 caption，抽样质检后入库。

场景 D：许可审计（合规/法务）

1. 导出实际用到的 source 清单；
2. 对照 §6.2 表逐条填审计表（许可类型/是否禁商用/是否需协议）；
3. Unknown 子集逐条向原作者邮件确认（§6.1 投诉通道即官方联系人）；
4. 输出「可用子集白名单」与「需协议子集待办清单」两份文档存档。

§12 一页速查卡

MedTrinity-25M 速查
────────────────────────────────────────────
是什么   25M 图像的 image-ROI-description 三元组多模态数据集
谁做的   UCSC-VLAA × HUST × Stanford × Harvard（一作谢云飞）
论文     arXiv:2408.02900 / ICLR 2025（OpenReview 30141）
规模     25M 图 / 10 模态 / 65+ 疾病 / 28 源子集 / 47 分片 >2TB
标注     全局（疾病/模态/区域/关系）+ 局部（ROI 框/掩码/区域文本）
怎么标   grounding 定位 → 知识库 → MLLM RAG 生成（全自动，无人工配对报告）
模型     LLaVA-Tri（VQA-RAD/SLAKE/PathVQA SOTA）
下载     HF UCSC-VLAA/MedTrinity-25M，gated=auto，走 hf-mirror.com
许可     混合！28 子集各异，必须逐子集核查（§6.2 表）
不可再分发 MIMIC-CXR-JPG / CheXpert / PadChest / KIPA22 / Quilt-1M / VALSET
最大坑   caption 非人工标注（幻觉风险）；ROI 坐标不在 metadata 里
相关库内 chexpert(5) mimic-cxr(16) deeplesion(17) brats(24) quilt-1m(51)
         padchest(117) vqa-rad(240) slake(250) pathvqa(260) pmc-oa(320)
────────────────────────────────────────────

§12A 逐模态画像：10 种模态各是什么处境

MedTrinity-25M 的「10 modalities」不是 10 个等大的桶，而是 10 个差异巨大的生态。理解每个模态在数据集里的处境，是设计采样与训练策略的前提。以下按源子集构成推断各模态画像（精确占比官方未发布，见 §16 存照）。

12A.1 X 光胸片（Chest X-ray）

体量：第一大模态，CheXpert + MIMIC-CXR-JPG + PadChest + NIH-CXR + CPD 合计估计近千万级。
上游质量：极高——各家都有成熟的元数据（视角、疾病标签体系）与大规模使用史。
标注特点：grounding 模型对胸片病灶（实变、积液、气胸、心影扩大）的训练最充分，检出与描述质量理应是全集最高档。
坑：这是基准污染重灾区——VQA-RAD/SLAKE 的问答语料衍生自胸片语境，训练评测隔离必须最严格。
许可梯度：NIH-CXR 是 CC0（最松），CheXpert/PadChest 是研究协议（最严），MIMIC-CXR-JPG 不可再分发——同一模态内许可跨度全谱系。

12A.2 CT（Computed Tomography）

体量：第二大或并列第二，DeepLesion（上万 key slices）+ CT-RATE + FLARE23 + ULS23 + KIPA22。
标注特点：CT 是「区域结构」最强的模态——DeepLesion 的 lesion 框、FLARE23 的器官掩码给 grounding 提供了结构骨架，描述文本可依托空间关系展开（「位于肝右叶」「紧邻主动脉」）。
坑：CT 是 3D 体积，MedTrinity 按 2D 切片处理——层间上下文丢失，连续病灶可能被拆成多个独立 ROI。需要 3D 任务的使用者要回到上游数据集。

12A.3 MRI

体量：中等，BRATS 系（24/非洲/儿童/脑膜瘤等变体）+ MAMA-MIA（乳腺）为主。
标注特点：脑肿瘤 MRI 有成熟的分割金标准，异常区域边界清晰，grounding 表现应较好；但 MRI 序列多样（T1/T2/FLAIR/DWI），caption 是否区分序列信息未见官方说明。
坑：多序列图像（同一患者同一部位多个序列文件）在「25M 图像」计数中被逐文件计数，实际患者/检查数远小于图像数。

12A.4 病理（Pathology / 显微镜）

体量：与胸片竞争第二，NCT-CRC-HE-100K（10 万 patch）+ Breast Histopathology（近 28 万 patch）+ PatchGastricADC22 + TCGA/PTCGA。
标注特点：病理 patch 是「一图一主题」的极端形态——一张 patch 就是一块组织，全局层与局部层描述高度重合。NCT-CRC-HE-100K 自带组织学类别标签，是描述可靠性的优质锚点。
坑：patch 化图像无全局解剖上下文，描述只能谈组织学形态，谈不了「位于哪个器官的哪个部位」（除非 source 是 TCGA 这类带定位的）。病理描述与放射描述的话语体系完全不同，模型混训时要注意语域漂移。

12A.5 内窥镜（Endoscopy）

体量：中小，PatchGastricADC22（严格说属病理但仍源自内镜活检）与部分胃肠数据。
标注特点：内镜图像的异常（溃疡、息肉、肿瘤）边界模糊、外观多样，是 grounding 模型的困难模态；描述文本的可靠性预期应下调。

12A.6 超声（Ultrasound）

体量：小，BreastCancer 等乳腺超声子集。
标注特点：超声图像噪声明暗差异大、依赖操作者，自动描述难度高。好在其病灶（肿块、囊肿）类别相对集中，知识库可以做得较深。

12A.7 皮肤镜（Dermoscopy）

体量：小。皮损分类数据集多为千到万级。
标注特点：皮损图像标准度较高（皮肤镜协议统一），但恶性/良性判断是高利害诊断，自动描述的错误在此模态的风险代价最大——用于任何诊断相关任务前建议重点抽检。

12A.8 眼科影像（Ophthalmology）

体量：小。眼底照相等。
标注特点：眼底病变（糖网、青光眼）分级体系成熟，知识库易构建；图像构图高度标准化（圆形视野），对 grounding 相对友好。

12A.9 细胞学 / 涂片

体量：小。与病理显微观同源但对象是细胞层面。
标注特点：细胞学描述依赖高倍形态学词汇（核浆比、染色质形态），知识库条目的专业深度决定描述质量。

12A.10 其他 / 混合

体量与特点：BHX、VALSET、SA-Med2D-20M 等不易归类的子集。SA-Med2D-20M 是分割主导（掩码强、文本弱），进入 MedTrinity 后文本由流水线补齐——这是「路线三借结构」的典型样本。这几个子集同时也在 Unknown 许可清单里（§6.2），使用前先过合规。

12A.11 模态维度的三条结论

1. 质量梯度：胸片/CT/病理（上游标注密集）> MRI/眼科 > 内镜/超声/皮肤（小而难）。抽样质检（§8.3）应按此梯度分层。
2. 2D 化代价：CT/MRI 的 3D 本性被切片处理抹平，3D 任务请回上游。
3. 计数错觉：patch 化与序列化让「25M 图像」远大于「25M 独立临床发现」，规模数字要打折理解。

§12B 28 子集逐个速览：一张使用决策表

下表在 §6.2 许可表基础上补充「用途决策」列，供快速筛查：

子集	许可	模态	可否商用	可否再分发	使用建议
NIH-CXR	CC0	胸片	可	可	首选实验田
VQA-RAD	CC0	胸片 VQA	可	可	评测专用，勿入训练
NCT-CRC-HE-100K	CC0	病理	可	可	病理主力，标签可靠
Breast Histopathology	CC0	病理	可	可	patch 均衡
DeepLesion	CC BY 4.0	CT	可	可	区域级研究首选
SLAKE	CC BY 4.0	多模态 VQA	可	可	评测专用
BRATS24-MICCAI	CC BY 4.0	MRI	可	可	脑瘤分割
PatchGastricADC22	CC BY 4.0	病理	可	可	胃腺癌
BreastCancer	CC BY 4.0	超声	可	可	乳腺超声
CPD	CC BY 4.0	胸片	可	可	补充量
PathVQA	MIT	病理 VQA	可	可	评测专用
PMC-VQA	CC BY-SA	多模态 VQA	可（同方式共享）	可（同方式共享）	注意传染性
PMC-OA	OpenRAIL	多模态图文	受 RAIL 条款	受 RAIL 条款	读限制条款
TCGA / PTCGA	CC BY-NC-SA	病理	禁	可（NC-SA）	非商业研究
FLARE23	CC BY-NC-SA	CT 分割	禁	可（NC-SA）	非商业
CT-RATE	CC BY-NC-SA	CT	禁	可（NC-SA）	非商业
ULS23	CC BY-NC-SA	病灶分割	禁	可（NC-SA）	非商业
CISC	CC BY-NC-SA	—	禁	可（NC-SA）	非商业
LLaVA-Med	CC BY-NC(-SA)	指令数据	禁	可（NC）	非商业
MAMA-MIA	CC BY-NC(-SA)	MRI	禁	可（NC）	非商业
KIPA22	CC BY-NC-ND 3.0	病理	禁	不可	只读参考
CheXpert	Stanford RUA	胸片	依协议	依协议	须持 RUA
PadChest	BIMCV 协议	胸片	依协议	依协议	须申请
PIMIC-CXR-JPG	PhysioNet DUA 1.5.0	胸片	依协议	依协议	须认证
IHC4BC	Unknown	病理	?	?	先问后用
BHX	未标	—	?	?	先问后用
QUILT-1M	未标（上游 Own 口径）	病理图文	?	官方标不可再分发	先问后用
SA-Med2D-20M	未标	分割	?	?	先问后用
VALSET	未标	评测	?	官方标不可再分发	先问后用

决策规则三行：要商用 → 只碰前 14 行（CC0/CC BY/MIT/注意 RAIL 与 SA 的条款）。要再分发衍生数据 → 排除全部 NC/ND/协议/未标行。只想快速实验 → NIH-CXR + NCT-CRC-HE-100K + DeepLesion 三件套最省心。

§12C 训练配方参考：从 25M 到一个可用模型

本节给出一个以 MedTrinity-25M 为主食的预训练配方骨架（结合论文 LLaVA-Tri 的公开信息与社区通行做法），供迁移改造。

12C.1 三阶段配方

阶段一：模态对齐预训练。目标：让视觉编码器适应医学影像分布。数据：全量图像 + caption 全局层。损失：图文对比/生成混合。要点：按模态分桶均衡采样，防止胸片/病理两大巨头淹没小模态；学习率取通用多模态预训练的保守档（医学数据分布窄，过热易塌缩到两大模态）。

阶段二：区域-文本细对齐。目标：注入区域级监督。数据：解析局部层描述与 ROI 指代。要点：ROI 指代的解析质量是本阶段成败关键（§13.2 用法二）；建议对解析失败样本直接丢弃而非降质保留。

阶段三：指令/问答微调。目标：对齐下游任务形态。数据：caption 转化的指令数据 + 上游原生 VQA（vqa-rad/slake/pathvqa 的训练划分）。要点：原生 VQA 只进阶段三且只进训练划分——它们同时是评测集（§7.3 坑 1）。

12C.2 数据卫生五条

1. UUID 去重：metadata.jsonl 按 id 去重一次，防分片重叠；
2. 近重复检测：patch 化病理数据同源 patch 相似度高，用感知哈希做一轮近重过滤可提升效率；
3. caption 长度分布检查：异常长的 caption 常是生成失控样本，截尾审查；
4. source 分层切分：train/val/test 按 source 分桶再切，杜绝同源泄漏；
5. 评测集白名单隔离：vqa-rad、slake、pathvqa 三个 source 在预训练阶段就整体排除。

12C.3 期望管理

按 LLaVA-Tri 的公开结果，这套配方在三基准的超 SOTA 幅度是「明显但非碾压」量级——规模红利真实存在，但自动标注的信息密度上限摆在那里。若你的下游指标不涨，优先排查顺序是：评测污染反向（评测集被训练分布带偏）→ 区域解析质量 → 模态配比 → 学习率。不建议第一反应就怀疑数据规模——25M 的规模很少是瓶颈。

§12D 术语表：读懂本条目需要的 30 个词

数据结构类

• 三元组（image-ROI-description triplet）：本数据集的基本单元——图像、其上的感兴趣区域、对该区域的多粒度文本描述。区别于传统「图文对」的关键是 ROI 这一维。
• ROI（Region of Interest，感兴趣区）：图像中被判定为异常或有信息量的区域，通常以边界框表达，部分情况附分割掩码。
• 多粒度标注（multigranular annotation）：同一资源上并存多个粒度的标注——全局层（整图）与局部层（区域）。
• metadata.jsonl：HF 仓库的元数据清单，每行一条 JSON 记录（file_name/id/caption/source 四字段）。
• tar.zst：tar 打包 + zstd 压缩的分片格式，47 个分片构成全量。
• gated=auto：HuggingFace 的门控模式之一——申请即自动批准，无人工审核。

流水线方法类

• grounding（定位/接地）：把自然语言概念对应到图像具体区域的任务；此处指专家级病灶定位模型。
• RAG（Retrieval-Augmented Generation，检索增强生成）：生成前先检索知识库条目作为参照，约束模型输出。本数据集防幻觉的核心机制。
• 知识库（disease knowledge base）：按疾病组织的结构化医学知识条目集，描述生成的「围栏」。
• MLLM（Multimodal Large Language Model，多模态大语言模型）：能同时处理图像与文本的大模型，流水线第五步的执行者。
• caption：生成的描述文本；本数据集中同时承载全局与局部信息。
• 幻觉（hallucination）：模型生成与图像事实不符内容的现象；自动标注质量的最大威胁。

许可合规类

• CC0：公有领域贡献，无任何保留权利要求。
• CC BY / BY-SA / BY-NC / BY-NC-SA / BY-NC-ND：知识共享许可家族——BY=署名，SA=相同方式共享（传染性），NC=非商业，ND=禁止演绎。字母越多限制越多。
• OpenRAIL：开放-负责任 AI 许可，在开源基础上附加使用场景限制条款。
• RUA（Research Use Agreement）：机构间研究使用协议，CheXpert 的准入形式。
• DUA（Data Use Agreement）：数据使用协议，PhysioNet 的准入形式。
• 再分发（redistribution）：把数据（或含数据的衍生品）向外提供。六个子集明确不可（§6.3）。
• 许可继承：聚合数据集的各部分保留其上游许可——再加工不洗白许可。

评测与训练类

• VQA（Visual Question Answering，视觉问答）：对图像提问并回答的多模态任务，医学 AI 的主流评测形态之一。
• SOTA（State of the Art）：当前最优成绩。
• 基准污染（benchmark contamination）：评测集内容混入训练数据导致成绩虚高；本数据集的特有风险（评测集也是源子集）。
• 患者级切分（patient-level split）：按患者而非按图像划分 train/val/test，防止同一患者跨集泄漏。
• 弱监督（weak supervision）：用非金标准信号（如自动生成的疾病判断）作训练标签。
• 分层采样（stratified sampling）：按 source/模态分层取样，保证子集配比可控。

规模口径类

• 25M / 18M accessible / 75K demo：全量 / 可自由访问部分 / 演示子集三档（§1 Q8）。
• 10 modalities：影像模态大类数（§12A 逐个画像）。
• 28 源子集：官方 README 许可表口径的上游数据集数。
• >2TB：全量下载的存储体量估计。

§12E 十问 FAQ：写作与审稿中最常被问的问题

Q1：这个数据集的标注能信吗？
分层回答：结构信息（ROI 位置、掩码）继承自上游标注密集型数据集，较可信；疾病判断依赖 grounding 模型，中可信；描述细节是 MLLM 生成，需抽检。没有任何一层有医师逐条签名。

Q2：为什么不用人工标注？
25M 张图 × 多 ROI 的人工成本是天文数字（对比 §5.2 表）。论文的选择是：人工投在训练 grounding 模型的私有数据上（一次性投入），再由模型放大到千万级。

Q3：ICLR 2025 接收说明同行认可了什么？
认可的是「区域级自动标注」这条路线与 LLaVA-Tri 的验证结果。评审关注的标注可靠性问题，论文的回应方式是给出下游基准收益——这是数据集论文常见但并非无懈可击的论证结构。

Q4：我要做一个课程项目，值得下全量吗？
不值得。75K demo 或自行用 GitHub 流水线标注小数据即可。全量 2TB 的下载与解析成本对课程项目是纯浪费。

Q5：和直接用 GPT-4V 给图像写描述有什么区别？
三点：规模（流水线批量跑 25M 张）；质量约束（专家 grounding 保证 ROI 真实存在 + 知识库防幻觉，裸调 MLLM 无此保障）；一致性（统一模板与粒度结构）。

Q6：数据里有隐私问题吗？
上游数据集均为公开学术资源（大多数已过脱敏流程），但聚合后体量放大了重新识别的面（同一患者跨子集图像组合）。研究者仍应按公开医学数据伦理规范使用，不尝试个体重识别。

Q7：caption 是英文的，中文研究能用吗？
能用但要加工：要么训练英文主干的模型再适配中文，要么对 caption 做翻译（翻译引入新噪声），要么只用图像与结构信息、文本自建。

Q8：LLaVA-Tri 权重在哪，和本数据集什么关系？
LLaVA-Tri 是项目组发布的模型（GitHub/HF），以 MedTrinity-25M 预训练。它是数据集价值的证明物，也是复现论文结果的起点。

Q9：能拿它参加竞赛吗？
看竞赛规则对预训练数据与许可的要求：多数医学影像竞赛允许公开数据预训练，但 NC 类子集若竞赛成果商业化就违规；评测集若与竞赛测试集重叠还涉嫌作弊。逐条读赛规。

Q10：数据集会更新吗？
HF 仓库在论文发表后仍持续维护（分片与说明有更新痕迹）。重大版本更新（如 30M 或模态扩充）尚无官方公告，使用时以仓库当前状态为准。

§12F 方法论反思：自动标注路线的五个深层问题

超越「标注有噪声」的表层批评，这条路线还有五个更结构性的问题，值得在方法论讨论中正面处理：

一、评价者与被评价者同源。 自动标注的质量由模型评判或由下游基准间接反映，而下游基准本身可能被同分布数据「驯化」——一个系统性偏差既存在于训练数据也存在于评测集时，基准提升无法证明偏差不存在。这是自动标注路线区别于人工标注路线的认识论困境：后者至少有「专家独立于数据生成过程」这一锚点。

二、知识库成为偏差放大器。 RAG 的知识库约束是双刃剑：它压制幻觉，但也把知识库的编辑偏见印进全部描述——知识库没有的疾病形态会被系统性写成已知类别（强迫归类的「近邻错误」），且这种错误全数据集一致，统计上极难通过抽样发现。

三、长尾的双重惩罚。 grounding 模型对常见病检出好、对罕见病检出差；知识库对常见病条目深、罕见病条目浅。两个机制叠加，长尾疾病在 MedTrinity 里是「检出少 + 描述浅」双重弱化——而医学 AI 最需要数据的恰是长尾。

四、许可碎片化是路线的结构性产物而非执行疏漏。 任何「聚合上游 + 自动加工」的路线都必然继承上游许可的碎片化。这不是 MedTrinity 团队可以修好的缺陷，而是后来者设计同类数据集时应前置解决的问题（例如只聚合宽松许可子集的「洁食版」策略——代价是规模腰斩）。

五、规模数字的传播学效应。 「25M」在传播中倾向于被读成「2500 万个高质量训练样本」，而实际语义是「2500 万张图，每张配了未经人工验证的文本」。数字的可传播性与语义的精确性之间的落差，是所有大规模自动标注数据集共同的公关陷阱——也是本条目用大量篇幅澄清口径（§4、§10、§16）的原因。

§12G 版本与口径演进史：从 v1 到 ICLR 到 HF 现状

数据集类资源的「版本」散落在论文版本、仓库状态与社区转述三个层面，MedTrinity-25M 的三个时间断面如下：

断面一：arXiv v1（2024-08）。 项目首次公开。这一版的叙事重心是「流水线方法论」：90+ sources 的口径、LLaVA-Tri 的初步成绩、对「无需配对报告」卖点的完整阐述。此版本被引用最多，也是 90+ 口径的源头。

断面二：ICLR 2025 camera-ready（2025-01）。 叙事重心转向「规模与基准」：来源数口径收敛到 30+（与 README 的 28 子集表对齐）、SLAKE 成绩补入、写作全面精修。此后项目页与 GitHub README 均以 ICLR 口径为准。引用建议：谈方法论引 v1，谈规模与许可引 ICLR 版 + README。

断面三：HF 仓库现状（持续维护）。 47 分片 + metadata.jsonl 的实际形态、gated=auto 放行、18M accessible 的实际可见量。三个断面之间的差异本身就是 §16 双口径存照表的来源。

社区转述层：paperswithcode 的许可口径、第三方博客对 75K demo 的转述、各种综述里的规模转引——这一层的信息不可作为一手依据，本条目全部标注存照。

§12H 与通用多模态数据集的对照：医学特异性的四点体现

把 MedTrinity-25M 与通用领域同代多模态数据集（LAION 系、DataComp 系）对照，能看清「医学特异」到底特异在哪：

一、许可的不可调和性。 通用图文对抓自开放网页，可以「先抓后说」；医学影像几乎全部来自有明确许可的学术资源，聚合必然碎片化（§6）。这决定了医学数据集工程的法务成本是结构性的。

二、描述的专业门槛。 通用 caption 错了顶多「不精确」；医学描述把良性写成恶性是有利害的。这解释了为什么 MedTrinity 要建知识库、为什么通用领域直接裸调 MLLM 就行。

三、评测集的稀缺与重叠。 通用领域评测集多到可以严格隔离；医学 VQA 基准一只手数得过来，且与训练数据高度同源（§7.3）。医学多模态的「基准污染」不是疏忽而是结构性风险。

四、隐私与再识别。 通用图像的隐私风险低；医学影像跨数据集聚合后， DICOM 元数据残留与跨库患者匹配构成真实的再识别面。这也是医学数据集普遍 gated 而通用数据集开放的原因。

这四点合起来就是一句话：医学多模态数据集工程 = 通用方法论 + 法务工程 + 安全工程。MedTrinity-25M 在后两者上的暴露（§6、本节）与它在第一项上的贡献（§5）同样值得后来者研究。

§12I 假想工作流：五个典型用户的第一个星期

用户一：博士新生做医学 VQA。
周一读论文与本项目条目 §0-§1；周二跑通 demo 下载与解析；周三决定：训练侧用 18M accessible 中 CC0/CC BY 子集，评测用 vqa-rad/slake/pathvqa 标准划分；周四写 source 分层切分脚本；周五抽查 500 条 caption 质量并记录各 source 印象分。一周内获得可训练、可辩护的数据管线。

用户二：企业算法工程师做产品预研（商用背景）。
第一天法务介入，按 §12B 决策表圈定前 14 行子集；第二天用白名单子集试跑；第三天发现量不够（白名单只剩约千万级且部分模态缺失）；结论：商业场景下 MedTrinity 只能当「预训练拼图的一块」，主粮仍需自建或采购。这个结论本身就是有价值的信息。

用户三：数据集方法研究者。
关心 §5 流水线与 §12F 反思。复现路径：GitHub 代码 + 自有小数据（万级）跑全流程，人工抽检对比论文口径——这是该数据集在方法层面最可复现的贡献点。

用户四：期刊审稿人。
被邀审一篇「在 MedTrinity-25M 上训练」的投稿。审查清单：是否隔离了 vqa-rad/slake/pathvqa 的评测划分（§7.3 坑 1）？是否按 source 报告了数据构成？生成式标签的偏置是否讨论（§12F）？许可声明是否逐子集（§6.5）？四问齐备才算合规使用。

用户五：医学图书馆员/数据管理专员。
任务是评估机构是否应采购/接入该资源。决策要素：存储 >2TB + 六子集需各自协议（机构层面 PhysioNet 认证/RUA 是否已有）+ Unknown 子集不可控。合理结论通常是「接 HF gated 渠道 + 按 §12B 白名单提供子集级访问」而非整包镜像。

§12J 反直觉三则

一、更大 ≠ 更难用对。 25M 的规模反而降低了「用错」的门槛——任何子集配比、任何切分方式都能跑出「能训练」的管线，而问题（泄漏、污染、许可）全部静默。小数据集的错误会立刻暴露，大数据集的错误会陪你到论文发表。规模把工程纪律从「可选」变成「生死」。

二、自动标注的「均匀的错误」比人工标注的「随机的错误」更危险。 人工标注误差倾向于随机分布，统计上可被大规模数据平均掉；模型生成的误差是系统性的（同一模型、同一知识库、同一模板），25M 个样本会把同一个错误复制 2500 万遍——规模在这里不是纠错器而是复印机。对策只能是在流水线层（多样化知识库、多次生成投票）而非数据层解决。

三、最宽松的子集往往最有用。 直觉上大家想用最大的子集（胸片协议类），但 CC0/MIT/CC BY 子集（NIH-CXR、NCT-CRC-HE-100K、DeepLesion、PathVQA）才是能自由实验、自由分发、自由商用的部分。对大多数研究者的实际自由度而言，MedTrinity-25M 的有效规模是「白名单子集之和」而非 25M——理解这一点能省掉大量合规返工。

§12K 给数据集建设者的启示清单

从 MedTrinity-25M 的成功与缺陷中，可以提炼一份可操作的「下一代医学多模态数据集设计清单」：

1. 许可先行：采集前先建许可白名单，Unknown 来源不入池（§6 的 5 个 Unknown 是反面教材）；
2. 发布逐子集统计表：模态/疾病/规模三张表应在发布时同步给出（§4.4 的空缺是最大信息缺口）；
3. 结构化与文本并列：ROI 坐标应有独立字段而非埋进 caption（§4.2 的四字段设计是短板）；
4. 标注分层发布置信度：至少给每条描述一个来源标识（grounding 类别、知识库命中数、生成模型版本），让下游可过滤；
5. 评测隔离承诺：明确声明哪些子集与公开基准重叠、应如何排除；
6. 抽检报告：发布自带的人工抽检精度/召回数字，哪怕只有 1000 条——有数字的弱点好过没数字的沉默；
7. 患者级元数据：至少保留可重建患者关系的最小信息（内部 ID 映射表按申请提供）；
8. 文档双口径即事故：90+/30+ 这类口径漂移应在新版本中显式注明变更原因，而非静默替换。

这份清单每一条都对应本条目正文中的一个具体缺口——一份数据集的批评，最终应沉淀为下一份数据集的规格。

§12L 数据集的「引用礼仪」

最后回到最日常的问题：写论文时怎么引用与描述这个资源。

引用格式：同时给 arXiv（2408.02900）与 ICLR 2025（OpenReview 30141）。bibtex 以论文官方页面为准。

描述规范三则：

1. 规模写法用「约 2500 万幅图像、10 种模态、65 种以上疾病」——不要写成「2500 万标注样本」（§10 坑 1）；
2. 标注性质必须写明「自动流水线生成（grounding + RAG）」，不得含糊为「标注数据集」；
3. 许可声明逐子集或至少写明「混合许可、须逐子集核查」，不得笼统写「CC BY-NC 4.0」（§10 坑 2）。

结果报告规范：报告在 MedTrinity 上训练的成绩时，同步报告所用子集清单与切分方式——这不只是可复现性问题，更是许可合规的可审计性要求。一个无法回答「你用了哪些子集」的结果表，在审稿与法务两侧都过不了关。

§19 数据治理与伦理讨论

19.1 隐私保护的已知与未知

已知层面：28 个源子集全部是公开学术数据集，其中临床影像类（CheXpert、MIMIC-CXR、PadChest）在上游已执行各自机构的标准脱敏流程（去标识、烧录区清洗等）。未知层面：MedTrinity 流水线本身没有公开额外的隐私审计报告——重采样图像的元数据是否残留、跨子集聚合后的再识别面扩大问题（同一患者图像分布多库后组合信息增加）未见到专项讨论。聚合行为本身是隐私研究里的已知风险点（多库联接放大个体可识别性），使用大型聚合数据集时应保持这一意识。

19.2 生成内容的伦理属性

描述文本由 GPT 系/开源 MLLM 生成，这带来两个伦理属性：其一，文本不是医师陈述，任何把它呈现为「医学意见」的使用都是误导——产品化场景必须显著区分「AI 生成描述」与「临床报告」；其二，生成文本继承了基础模型的偏见（不同人群在影像呈现与疾病分布上的差异等），而知识库护栏无法完全校正——在公平性敏感的研究（跨人群性能差异）里，这一偏置来源必须写入 limitation。

19.3 对上游数据生态的反馈效应

一个值得观察的现象：大型聚合数据集会反过来改变上游生态——上游作者发现自己的数据被「批发」进 25M 包后，可能收紧许可（这正是六个子集 Available=No 的部分背景），而新数据作者可能在授权时主动排除聚合用途。MedTrinity 许可表里 Unknown 与协议类的高占比，某种程度上就是这种张力的事后快照。后续聚合项目应把「上游授权关系维护」当作持续性工作而非一次性动作。

§20 疾病覆盖与临床维度

20.1 65+ 疾病的三层结构

MedTrinity-25M 的疾病覆盖不是一个平铺的 65 类清单，而是一个隐式的三层结构：

第一层：系统/部位。胸部（肺、心、纵隔）、腹部（肝、胰、肾、肠道）、脑与神经、乳腺、骨骼肌肉、皮肤、眼科、妇科/泌尿、血液/淋巴、全身性——十大影像模态各自锚定一组部位。

第二层：疾病家族。肿瘤（良恶性、原发转移）、炎症与感染、退行性与慢性病、创伤与急症、先天异常、术后改变。每个源子集都偏向某几个家族：NCT-CRC-HE-100K 集中在结直肠肿瘤组织学，DeepLesion 泛病灶（肿瘤/骨折/钙化皆有），CheXpert 系集中在胸部五类经典征象（气胸、实变、积液、心影扩大、肺水肿）。

第三层：具体疾病/征象。65+ 的计数在这一层，且是「caption 中出现过的疾病词汇」的宽松口径——不是受控词表标注。这意味着 65 这个数字的实际语义是「描述文本覆盖的疾病概念下限」，做疾病分类任务时不能直接当成类别体系用。

20.2 高频疾病的可靠性梯度

疾病覆盖在质量上严重不均。推理链条：源子集体量大的疾病 → grounding 训练数据多 → 知识库条目深 → 描述可靠。按此推断的质量头部：胸片五大征象、结直肠癌组织学、脑肿瘤（BraTS 系）、乳腺病变、普遍性病灶检出（DeepLesion 系）。质量尾部：罕见病、少见模态的少见表现、多病共存图像。

这个梯度对使用者的含义：想做好看的整体指标用头部疾病，想做有临床价值的创新去尾部——但尾部数据既少又不可靠，需要自建验证集。

20.3 疾病信息的正确用法

三种错误用法（常见于初稿审稿意见）：把 65+ 当分类任务类别数（错：无受控词表）；把 caption 疾病判断当诊断金标准（错：模型判断）；把疾病分布当流行病学数据（错：源子集采样偏差叠加，无人群代表性）。

正确用法：疾病信息是弱监督信号，用于预训练、检索、粗筛、或作为多实例学习（MIL）的 bag 级标签。任何需要精确疾病标签的任务，应回到带受控标签的上游数据集（CheXpert 五征象、NCT-CRC-HE-100K 九类组织学等）取数。

§21 工程细节：存储、解析与算力预算

21.1 下载与存储预算表

项	估计	说明
原始分片	>2TB	47 个 tar.zst
解压后	2.5-4TB（估）	zstd 压缩比与图像格式决定
临时空间（解压）	≥1 个分片	逐分片解压可控制峰值
工作盘合计	建议 5-6TB	留出索引与缓存余量
下载时长（100Mbps）	2-3 天	千兆带宽约 5-6 小时

下载策略：huggingface-cli download --repo-type dataset UCSC-VLAA/MedTrinity-25M 支持断点续传；国内走 HF_ENDPOINT=https://hf-mirror.com 环境变量。47 分片逐个校验大小（sibling 列表为准，§10 坑 8），缺失分片号不要补猜。

21.2 解析流水线参考实现要点

1. 两步解压：zstd -d dataset_shard_N.tar.zst && tar -xf dataset_shard_N.tar；批量场景用 tar --zstd -xf 一步到位（依赖 zstd 支持）；
2. 边解边索引：每解压一个分片立即扫描其图像文件并 append 到 id→path 索引，不要等全部解压完（防中断丢失进度）；
3. caption 预切分：按 GitHub 流水线模板把全局层/局部层切分成结构化字段一次算好存 Parquet，后续所有实验都从 Parquet 读——不要每个实验重复解析 25M 行 JSONL；
4. 图像校验：解压后抽样用 PIL 逐分片开图验证，坏图记录并剔除——2TB 下载中出现损坏文件是常态。

21.3 训练算力的现实预算

以 LLaVA 级 7B 模型为参照：阶段一全量一轮（25M 样本、约 1 epoch）在 8×A100 上是周级工程；demo/子集起步（1-5M 样本）是个人实验室可承受的档位。论文的 LLaVA-Tri 结果依托了 Microsoft/OpenAI/TRC/GCP/AWS/Lambda 的算力捐赠（§3.2）——这不是谦虚的致谢，而是对所需资源的诚实提示。

21.4 中断友好工程清单

大规模数据工程的中断是常态而非例外：所有脚本幂等（可重跑、跳过已完成分片）；索引落盘分片级 checkpoint；下载/解压/解析三阶段解耦；每阶段产物独立可验证。这四条能把一次 2TB 工程的中断损失从「从头再来」压到「从断点续跑」。

§22 LLaVA-Tri 深读：论文的核心实验设计

22.1 实验矩阵

LLaVA-Tri 的实验设计回答三个问题：

问题一：区域级文本监督是否优于纯图文对？ 对照设置：同架构模型分别用「有 ROI 对齐的 MedTrinity 描述」与「无对齐的通用医学图文对」预训练，比三基准成绩。结果支持前者——这是数据集存在意义的直接证明。

问题二：数据规模的收益曲线走向？ 用不同规模子集（百万级到千万级）分别预训练，观察基准成绩随规模的走向。论文报告的趋势是收益持续但边际递减——符合预训练的一般规律，也提示 25M 之外继续堆同质数据的收益有限，下一个突破口在标注质量或多样性。

问题三：多粒度描述的哪个层贡献最大？ 消融全局层与局部层。区域级信息的增益在定位类与区域类问题上最明显——与直觉一致。

22.2 解读时的三个保留

其一，三基准规模小（VQA-RAD 315 问），成绩差异的统计稳定性有限，解读宜看方向不宜看分差。其二，评测集与源子集的语域重叠（同源自胸片语境）天然有利于 MedTrinity 风格的描述——表观收益含语域匹配成分。其三，「超 SOTA」的比较对象是当时的通用+医学 MLLM，两三年后这个结论只具历史价值。实验证据的正确用法是「方向性验证」，不是「性能承诺」。

22.3 复现路径

GitHub 仓库提供 LLaVA-Tri 的训练与评测代码入口。复现的最小验证路径：不重跑预训练，直接下载官方权重在三基准上评测——先对齐论文数字，再决定是否投入自训。全量复现（数据 + 预训练）是周级到月级的工程，仅建议在方法改进研究中有选择地进行。

§23 延伸阅读与相关资源导航

方法论近邻（自动标注流水线）：

• 各家 MLLM 重 caption 工作（LLaVA 系的 self-instruct 思想向医学的迁移）——MedTrinity 的第五步就是这条路线的医学化；
• 通用领域合成标注数据集（如用强模型给 LAION 子集写描述的工作）——方法论同构，可对照其质检策略。

互补数据资源（按短板互补关系）：

• SA-Med2D-20M：掩码强文本弱，与 MedTrinity 互补（互为源子集）；
• MIMIC-CXR/CheXpert/PadChest：文本权威性天花板，区域级弱；
• DeepLesion/FLARE23/TotalSegmentator：结构化区域标注金标准。

本库内延伸条目：vqa-rad(240)、slake(250)、pathvqa(260)（评测端）；chexpert(5)、mimic-cxr(16)、mimic-cxr-jpg(617)、padchest(117)（放射报告端）；deeplesion(17)、brats(24)、quilt-1m(51)、pmc-oa(320)（源数据集端）；radgraph(561)、radvlm-instruction-dataset(624)（报告结构化方法端）。

阅读顺序建议：先读本条目建立全景 → 按任务挑 2-3 个源条目深读 → 用 §11 实操清单落地。本条目刻意把每个上游的细节留在各自条目里，避免重复与失同步。

§12M 按问题检索索引：四十个常见问题的一句话导航

关于身份（→§2）

1. MedTrinity-25M 的官方全名？§2 开头。
2. MedTrinity 与 MedTrinity-25M 有区别吗？§2 名称辨析 1。
3. UCSC-VLAA 是什么？§2 名称辨析 2 与 §3.2。
4. 和 SA-Med2D-20M 什么关系？§2 名称辨析 3。
5. 一作是谁？§3.2（谢云飞，equal technical contribution 三人组）。

关于规模（→§4）
6. 25M 是图像数还是样本数？§1 Q1、§10 坑 1。
7. 18M accessible 和 25M 差在哪？§6.3、§16 存照。
8. 75K demo 怎么拿？§6.4、§16 遗留疑点 4。
9. 47 个分片都齐吗？§10 坑 8、§16 技术存照。
10. 下载要多少存储？§21.1 预算表。

关于标注（→§5）
11. 标注是谁做的？§1 Q5、§5.2。
12. 描述分几层？§5.1 第五步。
13. ROI 坐标在哪拿？§10 坑 6、§4.2。
14. 65+ 疾病是什么口径？§20.1。
15. 标注可靠性有数字吗？§16 遗留疑点 2。

关于许可（→§6）
16. 整包是什么许可？§1 Q10、§10 坑 2。
17. 哪些子集不能再分发？§6.3。
18. 商用能用哪些子集？§12B 决策规则。
19. Unknown 子集怎么办？§6.5 清单第三条。
20. 版权投诉找谁？§6.1（yxie126@ucsc.edu）。

关于训练（→§12C）
21. 三阶段配方是什么？§12C.1。
22. 评测集怎么隔离？§7.3 坑 1、§12C.2 第五条。
23. 患者级切分怎么做？§20 后 §4.4、§8.1 第四条。
24. 模态配比怎么定？§12A.11、§12C.1 阶段一要点。
25. 算力要多少？§21.3。

关于评测（→§7）
26. LLaVA-Tri 在哪三个基准达 SOTA？§7.1。
27. 成绩能信多少？§22.2 三个保留。
28. 基准污染怎么防？§11 场景 A 第六步。
29. 能拿它参加竞赛吗？§12E Q9。
30. 权重在哪下？§12E Q8、§22.3。

关于工程（→§21）
31. zstd 怎么解？§21.2 第一条。
32. 中断了怎么办？§21.4 幂等清单。
33. 坏图怎么处理？§21.2 第四条。
34. caption 切分规则哪里找？§13.2 用法一、§21.2 第三条。
35. 2TB 下载要多久？§21.1。

关于批判（→§12F、§8）
36. 自动标注的系统性错误为什么危险？§12J 第二则。
37. 知识库怎么变成偏差放大器？§12F 第二点。
38. 长尾疾病为什么双重吃亏？§12F 第三点。
39. 隐私上有什么新风险？§19.1。
40. 引用时怎么写许可声明？§12L 三则。

§12N 关键事实复核卡：交稿前逐条过一遍

以下 15 条是本条目的事实承重墙，修订时改动任何相邻内容都应回头复核本卡与 FACTS.md 的一致性：

1. 全名：MedTrinity-25M: A Large-scale Multimodal Dataset with Multigranular Annotations for Medicine；
2. arXiv 2408.02900（2024-08），ICLR 2025 poster（OpenReview 30141）；
3. 机构：HUST + UCSC（UCSC-VLAA）+ Stanford + Harvard；一作谢云飞，与周策、高朗同等技术贡献；
4. 规模：25M+ 图像 / 10 模态 / 65+ 疾病 / 28 源子集（README 表口径）；
5. 三档：25M 全量 / 18M accessible / 75K demo（75K 待一手确认）；
6. HF：UCSC-VLAA/MedTrinity-25M，gated=auto，47 tar.zst 分片，>2TB；
7. metadata.jsonl 四字段：file_name / id / caption / source；
8. 流水线五步：收集 → 预处理 → 专家 grounding 定位 ROI → 疾病知识库 → MLLM RAG 生成；
9. 标注双层：全局（疾病/模态/区域/关系）+ 局部（ROI 框/掩码/区域文本）；
10. 六子集不可再分发：MIMIC-CXR-JPG、CheXpert、PadChest、KIPA22、Quilt-1M、VALSET；
11. 许可代表：CC0（NIH-CXR 等 4 个）、CC BY 4.0（DeepLesion/SLAKE 等 6 个）、MIT（PathVQA）、OpenRAIL（PMC-OA）、协议类（CheXpert RUA、PadChest、PhysioNet DUA 1.5.0）、Unknown（IHC4BC、BHX、QUILT-1M、SA-Med2D-20M、VALSET）；
12. 投诉通道：yxie126@ucsc.edu，3 个工作日；
13. LLaVA-Tri：VQA-RAD / SLAKE / PathVQA 超 SOTA（ICLR 版含 SLAKE）；
14. 双口径：v1 摘要 90+ sources vs ICLR/项目页 30+ sources；
15. 技术存照：HF siblings 无 dataset_shard_33/40；25M−18M 差值构成无官方说明。

§12O 三种深度的阅读套餐

十五分钟套餐（了解是什么）：INFOBOX → §1 十问十答 → §12 速查卡。能回答「这是什么、多大、什么许可、怎么拿」。

两小时套餐（决定用不用）：十五分钟套餐 + §5 流水线 + §6 全章 + §8 局限 + §12B 决策表。能完成 go/no-go 决策与首轮合规筛查。

两天套餐（开工干活）：两小时套餐 + §12A-§12C（模态/子集/配方）+ §11 实操清单 + §21 工程细节 + 对应源数据集条目深读。能落地一条可辩护的数据管线，并预判审稿人会问的四个问题（隔离/构成/偏置/许可）。

导师转学生场景：直接转发本条目 + 指定「两天套餐」，并以 §12N 复核卡作为组会检查点——比口头交代十遍更可靠。

§12P 十条金句：全条目的压缩记忆点

1. 规模把标注从稀缺经济带进规模经济，代价是担保从医师签名换成流水线设计。（§0）
2. 三元组的核心增量是 ROI 这一维：从「图和文相关」到「这句话说的是这个框」。（§1 Q6）
3. 流水线唯一的人工投入是训练 grounding 模型的私有标注，之后是模型放大千万倍。（§5.1）
4. 再加工不洗白许可：28 个子集的许可随数据一起继承。（§6.1 原则 2）
5. 产品合规边界由最严格的那个子集决定。（§6.1 原则 3）
6. 六个 Available=No 子集就是 25M 与 18M 差距的最可能构成。（§6.3）
7. 评测集也是源子集：训练评测隔离必须做到 source 级。（§7.3 坑 1）
8. 25M 是图像数不是样本数，且远大于独立临床发现数。（§10 坑 1、§12A.11）
9. 自动标注的错误是系统性的：规模是复印机，不是纠错器。（§12J 第二则）
10. 对大多数使用者，有效规模是白名单子集之和，不是 25M。（§12J 第三则）

这十条覆盖了全条目的论证骨架。任何对外介绍本数据集的场合（组会、审稿答复、技术评审），能准确复述这十条并指出出处章节，即为合格掌握。

§12Q 结语前的自问自答：本条目自己接受一次审稿

Q：本条目最可能的错误在哪里？
三处风险自曝：其一，各模态画像（§12A）由源子集构成推断而非官方统计，占比性描述可能与实测有出入；其二，28 子集许可表转写自官方 README，若上游已变更而 README 未同步，本表会滞后；其三，LLaVA-Tri 成绩为论文自报，本条目未独立复现。

Q：为什么花这么多篇幅在许可而非数据本身？
因为这是本资源区别于其他医学数据集的最大使用摩擦点，也是官方文档覆盖最薄弱的环节。数据本身的介绍论文与项目页已经写得很好，条目的边际价值在把它们没有系统化的合规信息结构化。

Q：条目与 FACTS.md 的关系？
FACTS.md 是九节结构的证据底稿（含全部来源 URL 与存照），本条目是其叙事化展开。事实冲突时以 FACTS.md 的存照为准，本条目正文如与存照冲突视为笔误。

Q：什么时候本条目需要重写？
三个触发条件：官方发布逐子集统计表（§4.4 与 §12A 需实测数字替换推断）；官方给出统一许可或 18M/25M 差值说明（§6.3 与 §16 相应收敛）；出现 30M/40M 级后继版本（需新增版本链小节）。

§13 案例解剖：一条三元组记录的完整生命史

为了把前文的抽象描述落到实处，本章用一条（合成的）典型记录走完它的全生命周期——从一张胸片进入流水线，到被某个 VQA 训练脚本消费。

13.1 诞生：从图像到三元组

假设输入是一张来自 NIH-CXR 子集（CC0）的胸片。流水线的处理路径：

1. 预处理：图像被规范化为统一格式并赋予 UUID id: 3f8a...c21，记录 source: NIH-CXR；
2. grounding 定位：专家定位模型检出两个异常区域——右下肺野一个高密度影（判为实变/effacement 线索）与心影边缘（判为心胸比线索），输出两个 ROI 框；
3. 知识库检索：检出类别命中「肺炎实变」与「心脏扩大线索」两类知识条目；
4. MLLM 生成：全局层生成「这是一张胸片（chest X-ray），显示右下肺野实变样高密度影，心影边缘不清……」；局部层为每个 ROI 生成「该区域位于右下肺野，密度增高伴空气支气管征，符合实变表现……」式的区域描述；
5. 落盘：一行 JSONL——{"file_name": "...", "id": "3f8a...c21", "caption": "全局层 + 局部层拼接", "source": "NIH-CXR"}。

这条记录的许可身份由 NIH-CXR 决定：CC0，公有领域——下游最省心的那种。

13.2 消费：三种典型用法

用法一（captioning 预训练）：训练脚本直接用 image + caption 做图文对齐损失。注意 caption 是全局层+局部层的拼接，若只想用全局层需按模板切分——官方未提供分层字段，切分规则要自己从 GitHub 代码里的生成模板反推。

用法二（区域级 VQA 构造）：解析局部层描述句，模板化生成问答——「右下肺野的异常表现是什么？」→「实变样高密度影伴空气支气管征」。质检重点：指代消解——描述里的「该区域」脱离图像语境后是否仍然可定位，是这类构造数据的最大质量风险。

用法三（弱监督分类）：从全局层抽疾病判断当标签训练分类器。此时标注错误率 = grounding 误检率 + 生成幻觉率的卷积，且错误集中在 grounding 模型的系统性弱项上（如小病灶、少见病）——错误不是随机的，模型会把它们学成系统性偏置。

13.3 死亡与重生：数据的再利用边界

这条 CC0 记录可以自由再分发、商用、改写——但同批下载里那条来自 PTCGA（CC BY-NC-SA）的记录就不行：再分发必须带相同许可，商用直接禁止，且「相同方式共享」条款要求衍生数据同样开放。一个混合了两者的小数据集，整体只能按最严格的 CC BY-NC-SA 走。这就是 §6.1「最严格约束原则」在一条记录尺度上的体现。

§14 按角色阅读路径

数据工程师：§4.2（仓库结构）→ §6.4（下载实操）→ §11 场景 A（预训练清单）→ §12（速查卡）。你的核心风险是存储与解析（zstd 分片、caption 切分模板）。

ML 研究员：§0（问题定义）→ §5（流水线方法）→ §7（基准证据）→ §8（局限）。若做方法研究，§5.2 的自动 vs 人工对照表是与你工作对话的锚点。

临床信息学/合规：§6 全章 → §8.1 → §14 本段。你的核心动作是 §6.5 清单逐项打勾，Unknown 子集逐条邮件确认。

学生/入门者：§1 十问十答 → §13 案例解剖 → §12 速查卡 → 有余力回读 §5.1 流水线。§13 的单记录生命史是理解全文的最短路径。

模型评测者：§7.3（复现四坑）→ §8.1 → §11 场景 B。你的核心警惕是基准污染与生成式标签偏置。

§15 与相关工作的定位对照

把 MedTrinity-25M 放进 2024-2025 医学数据集的群像里，可以看到三条路线的汇流：

路线一：图文对扩张（PMC-OA、Quilt-1M、ROCO）。用网页挖掘把图文对堆到百万级。弱点：图-文相关但不对齐，文本质量参差。MedTrinity 把其中几个收作子集，等于对它们做了一次「文本重写升级」。

路线二：报告数据集精耕（MIMIC-CXR、CheXpert、PadChest）。文本权威但规模中等、模态单一、许可最严。MedTrinity 的关系是「借图像、不借文本」——报告类子集的图像进入流水线，文本则由生成替代。

路线三：标注密集型（DeepLesion、FLARE23、SA-Med2D-20M、TotalSegmentator 系）。区域级结构化标注（框/掩码）的金标准来源，但文本几乎为零。MedTrinity 把它们当「空间骨架」——ROI 坐标与掩码承袭自上游，再往上长出文本。

MedTrinity-25M 的独特动作是在三条路线上各取所需再融合：从路线一借规模、从路线二借图像质量、从路线三借区域结构，然后用自动流水线补齐三者都缺的「区域级文本」。这个定位也预告了它的批评面：三条路线各自的弱点（文本不可靠、许可碎片化、分布不透明）也都随融合继承了下来——天下没有免费的融合。

§16 存照、双口径与遗留疑点汇总

双口径存照（官方材料内部不一致处）：

#	口径 A	口径 B	处置
1	arXiv v1 摘要：90+ sources	ICLR camera-ready/项目页：30+ sources	全文按 28 子集（README 表）口径成稿，两口径并存
2	三子集口径 25M/18M/75K demo（第三方与仓库转述）	一手 README 未直接确认 75K	75K 标注为待核
3	LLaVA-Med/MAMA-MIA 子集许可：CC BY-NC-SA 4.0（官方表）vs CC BY-NC 4.0（各自卡片）	两处并存	使用时以各子集自身 HF 卡片为准
4	paperswithcode：CC BY-NC 4.0（含 OpenAI 政策理由）	官方无统一 license	记为第三方归纳，不采信为官方口径

技术存照：

• HF API siblings 列表中 dataset_shard_33/40 缺席（132 files 内未见），是列表缺口还是真缺分片不明；
• 25M 全量与 18M accessible 的差值构成未见官方明说（六个不可再分发子集应为主因，但无官方算式）。

遗留疑点：

1. 各源子集的精确图像数与疾病分布表官方未发布——任何精确的构成分析都只能是下载后实测；
2. 自动标注本身的人工抽检精度/召回数字论文未发布——流水线质量只有间接证据（下游基准提升）；
3. grounding 模型所用私有专家标注数据的规模与标注协议未公开；
4. 75K demo 子集的确切内容与获取入口待一手确认；
5. GPT 生成文本在 OpenAI 服务条款下的下游权利边界，属法律灰色地带，本条目不做法律结论。

§17 建议互链点汇总（供主会话回填 relatedLink）

以下为本条目建议的双向互链目标（rid 为 DB 实查 status=1 AND del_sign=0 的在架记录）：

• chexpert（rid=5）— 源子集，研究协议类代表；
• mimic-cxr（rid=16）与 mimic-cxr-jpg（rid=617）— 源子集/上游，PhysioNet 系代表；
• deeplesion（rid=17）— 源子集，CT 病灶标注主力；
• brats（rid=24）— 源子集族，MRI 肿瘤代表；
• quilt-1m（rid=51）— 源子集，病理图文对路线对照；
• padchest（rid=117）— 源子集，研究协议类代表；
• vqa-rad（rid=240）— 源子集 + 评测基准；
• slake（rid=250）— 源子集 + 评测基准（双语）；
• vqa-med（rid=280）— 同域 VQA 基准（不同资源）；
• pathvqa（rid=260）— 源子集（MIT）+ 评测基准；
• pmc-oa（rid=320）— 源子集，OpenRAIL 许可代表。

消歧说明：vqa-med(280) 与 vqa-rad(240) 是两个不同资源，勿混；mimic-cxr(16) 与 mimic-cxr-jpg(617) 同族不同粒度条目，本数据集官方子集名为 MIMIC-CXR-JPG，主互链建议指向 617，16 作为同族阅读延伸。

§18 结语

MedTrinity-25M 的价值主张可以压缩成一句话：它把医学多模态数据从「有多少配对报告」的稀缺经济，推进到「有多少图像」的规模经济——代价是把标注质量的担保从「执业医师签名」换成了「流水线设计 + 统计冗余」。这个交换在基础模型预训练场景里几乎肯定划算，在高风险评测与临床落地场景里则需要使用者自建质检体系。本条目 §6 的逐子集许可手册与 §8 的批判性使用指南，正是为后一种使用者准备的：数据集的规模红利是作者的贡献，而合规红利要靠自己挣。

附录 A：来源清单与抓取时点

来源	位置	抓取时点
论文 v1（90+ sources 口径）	arxiv.org/abs/2408.02900	2026-10-17
ICLR 2025（OpenReview 30141）	openreview.net	2026-10-17
项目页（30+ sources 口径）	yunfeixie233.github.io/MedTrinity-25M	2026-10-17
HF 数据集卡片与 API（gated=auto、分片列表、metadata 字段）	hf.co UCSC-VLAA/MedTrinity-25M（镜像 hf-mirror.com）	2026-10-17
官方 README 逐子集许可表（28 子集）	github.com/yunfeixie233/MedTrinity-25M	2026-10-17
paperswithcode 许可口径（CC BY-NC 4.0，第三方）	paperswithcode.com	2026-10-17
库内互链 rid	本库 DB 实查 status=1 AND del_sign=0	2026-10-17

附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	8	论文开放获取 + ICLR 接收 + HF/项目页/GitHub 四端可索引；名字辨识度高
A 可获取性	6	HF gated=auto 即申即得；但六子集需另行协议申请、五子集许可 Unknown，实际可获取量打折
I 可互操作	6	metadata.jsonl + tar.zst 标准格式；但 ROI 坐标埋在 caption 无结构化字段、无官方 DICOM 转换层
M 元数据质量	5	四字段极简；无逐子集统计表、无疾病分布表、无患者级信息；双口径（90+/30+）未澄清
S 可持续性	6	HF 托管稳定、流水线代码开源可复制；许可碎片化使长期合规维护成本转嫁给使用者
综合评级	6.2/10（中上）	可发现性与方法论一流；元数据与许可治理是两块明显短板

附录 C：数据获取决策树

需求是什么？
├── 快速验证想法 / 教学
│   └── 75K demo 或 GitHub 流水线跑自有小数据（无需 2TB 下载）
├── 非商业研究（预训练/方法研究）
│   ├── 1) HF gated=auto 申请（自动批准）
│   ├── 2) 全量或 CC0/CC BY 子集优先（§12B 白名单）
│   ├── 3) 六个不可再分发子集 → 逐一到上游申请（PhysioNet/Stanford RUA/BIMCV）
│   └── 4) 评测锁 source：vqa-rad/slake/pathvqa 整体划出训练
├── 商业用途
│   ├── 只用 CC0/CC BY/MIT 子集（注意 PMC-OA 的 OpenRAIL 条款与 PMC-VQA 的 SA 传染性）
│   ├── 排除全部 NC/ND/协议/Unknown 子集
│   └── 评估 GPT 生成文本的权利灰色地带（§6.1 存照）
└── 法务审计
    └── §6.5 合规自查清单逐项打勾，输出白名单 + 待办清单存档

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• padchest — 共享标签：多模态 / 医学影像 / 图像分类
• echonet-dynamic — 共享标签：医学影像 / 医学图像分割 / 图像分类
• ddti — 共享标签：医学影像 / 医学图像分割 / 图像分类
• gmai-mmbench — 共享标签：多模态 / 医学影像 / 医疗NLP
• reflacx-xray-localization — 共享标签：多模态 / 医学影像 / 医疗NLP
• radvlm-instruction-dataset — 共享标签：多模态 / 医学影像 / 医疗NLP
• radialog-instruct-dataset — 共享标签：多模态 / 医学影像 / 医疗NLP
• oimhs — 共享标签：医学影像 / 医学图像分割 / 图像分类
• tn3k — 共享标签：医学影像 / 医学图像分割 / 图像分类
• pfus1 — 共享标签：医学影像 / 医学图像分割 / 图像分类

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。