MMedC — 255 亿 token 多语言医学预训练语料

INFOBOX — MMedC 一屏速览

维度	内容
本质	多语言医学领域自回归预训练语料（corpus，非 QA 集、非挑战赛）
团队	上海交大人工智能学院 + 上海人工智能实验室（MAGIC-AI4Med）
论文	Nat Commun 15, 8395 (2024)；arXiv:2402.13963（2024-02-21 首发）
规模	约 25.5B token；6 主语言（HF 实挂 8 语言）；HF 存储 105.1 GB
语言	英语/中文/日语/法语/俄语/西班牙语（+ HF 挂 Arabic/German ZIP）
四类来源	通用语料过滤 / 教材 OCR / 医学网站 / 小规模语料
硬数字	英语 ~42%、俄语 ~7%；教材 >20,000 本；通用过滤每语言 200 术语
配套基准	MMedBench：53,566 QA 对（训练 45,048 + 测试 8,518）、6 语言、21 领域
配套模型	MMed-Llama 3.1 70B 在 MMedBench 达 80.51（超 GPT-4 74.27）
获取	HF Henrychur/MMedC，gated=false 无门禁，直接下载 ZIP
许可	语料 CC BY-NC-SA 4.0 ｜ 基准 CC BY-NC 4.0 ｜ 论文 CC BY 4.0 ｜ 代码 CC BY-SA
库内互链	xmedbench(727)、medmcqa(111)、medqa(50)、multimedbench(129)、pubmedqa(49)、cmedqa2(825)

MMedC 是一个"把医学知识装进六种语言"的语料工程：它不采集病例、不标注图像，而是把散落在通用网页、医学教材、医学网站和既有小规模语料里的医学文本，按语言整理成一份约 255 亿 token 的纯净预训练语料，用来给通用大模型"补医学课"。它的价值不在于某一条数据，而在于证明了一条可复制的多语言医学语料构建流水线——并用配套的 MMedBench 基准和 MMed-Llama 3 系列模型，把这个流水线的效果量化到了"8B 参数可媲美 GPT-4"的程度。

导语读法三则：

1. 只想下数据：直奔 §6 获取与许可——HF 无门禁可直接下载 ZIP，但先看清 CC BY-NC-SA 的商用禁令。
2. 关心语料怎么造：直奔 §3 收集流水线——CulturaX 过滤、教材 OCR、网站爬取、小规模语料四路并进，MKC/DENS 双阈值是核心判据。
3. 关心效果与对标：直奔 §7 基准与结果——MMedBench 六语言榜单、1,136 条人审 rationale 子集、MMed-Llama 3.1 70B 超 GPT-4。

§0 导读：这个数据集解决什么问题

通用大模型在中文里能写诗、在英文里能编程，但一旦被问"这个病人的肾功能指标意味着什么"，各语言的回答质量参差不齐——问题不在模型架构，而在预训练语料里医学文本的密度与语言覆盖。英语世界有 PubMed、PMC、医学教材等海量资源，而日语、俄语、西班牙语的医学高质量文本则零散得多。既有的医学 LLM（如 PMC-LLaMA、MEDITRON）大多只覆盖英语，非英语的医学能力长期缺乏系统性的预训练底座。

MMedC 的回答是"多语言 + 多来源 + 可量化"。多语言：覆盖英、中、日、法、俄、西六种主语言（HF 仓库另挂阿拉伯语、德语），用同一套过滤与预处理标准对齐。多来源：从通用网页（CommonCrawl/CulturaX）里用医学关键词规则捞出医学内容，从两万多本医学教科书里用 OCR 提取正文，从医学百科/咨询/新闻站点爬取，再并入 Wikipedia、百度百科、UFAL 等既有小规模语料——四路互补，既保证规模又保证权威性。可量化：每一条过滤规则都有 MKC（医学关键词计数）与 DENS（关键词密度）双阈值，并配人工抽检（每语言 100 句，平均 98 句判为医学相关）来校准噪声。

更关键的是，MMedC 不是一个孤立语料，而是一套"语料 + 基准 + 模型"的三件套。同团队用 MMedC 做自回归持续预训练，得到 MMedLM / MMedLM 2 / MMed-Llama 3 系列模型，并用自建的 MMedBench（53,566 道多语言医学多选题）评测；最终 MMed-Llama 3.1 70B 在 MMedBench 上取得 80.51 的多语言平均分，超过 GPT-4 的 74.27。语料的价值因此被直接翻译成了模型的分数提升，这让 MMedC 成为"领域语料如何决定模型上限"的一个可复现样本。

对 AI-Ready 数据集的读者而言，MMedC 的独特之处在于它同时是"训练数据"和"评测生态的源头"：它本身就索引了 MedQA、IgakuQA、FrenchMedMCQA、RuMedDaNet、Head-QA 等多个源数据集，又与库内的 medmcqa、xmedbench 等评测条目构成上下游关系。理解它，等于理解多语言医学 LLM 这条链路的起点。

§0 读法三则：

1. 这个条目是纯语料条目——它不提供标注、不做评测，一切评测数字都来自配套的 MMedBench（正文只作对照，不作为 MMedC 自身属性）。
2. 全文 token 数字均出自论文表与 HF 仓库卡；论文 6 语言主口径与 HF 8 语言实挂、论文英语 10.56B 与 HF 可下载 6.56B 的两组冲突已在坑 1、坑 2 存照。
3. 检索时把 MMedC 与 MMedBench 混为一谈会得到错误的规模（25.5B token 是语料，53,566 是基准 QA 对）——两者许可也不同（SA vs 非 SA）。

§1 数据集速览：十问十答

Q1：MMedC 是什么？是数据集还是模型？
它是一个多语言医学预训练语料（corpus），本质是一堆按语言和来源整理好的纯文本 txt 文件。它与 MMedBench（评测基准）、MMedLM 系列（模型）是同团队三件套里的"数据底座"那一件。

Q2：有多大？
约 25.5 billion（255 亿）tokens。HF 仓库的 size_categories 标注为 10B<n<100B；HF API 实测 usedStorage 为 105,143,439,302 bytes，约 105.1 GB（八语言 ZIP 合计）。

Q3：覆盖哪些语言？
论文主口径为 6 种主要语言：英语、中文、日语、法语、俄语、西班牙语。HF 仓库实际挂出 8 个语言 ZIP——另有 Arabic.zip 与 German.zip（详见坑 1 的双口径存照）。每种语言在论文中都对应一个语系：英/西/法/俄/德属印欧语系，中/日属汉藏语系，阿属亚非语系。

Q4：数据从哪来？
四类来源：(i) 通用语料过滤——从 CulturaX（CommonCrawl 多语言精编版，6.3 万亿 token）中用医学关键词规则筛出医学内容，是各语言的主体；(ii) 医学教科书——>20,000 本书经 OCR 提取正文；(iii) 医学网站——医学百科、咨询平台、新闻站点三类；(iv) 现成小规模语料——Wikipedia、百度百科、UFAL Medical Corpus。

Q5：每种语言各有多少 token？
论文表（单位：十亿 token）显示英语 10.56 最多、俄语 1.69 最少。完整分布：英语 10.56、西班牙语 4.35、法语 2.10、俄语 1.69、汉语 4.74、日语 2.05。英语约占总量的 42%，俄语约占 7%。

Q6：怎么保证筛出来的真是医学内容？
通用语料过滤用两个判据：MKC（Medical Keyword Count，文本中唯一医学关键词的个数）与 DENS（关键词占文本长度的密度）。每语言预先选定 200 个医学术语（共 1,200 个，清单发布在 GitHub），只有当 MKC 超过阈值 T_C 且 DENS 超过阈值 T_D 时，该文本才被判为医学相关。为校准质量，每语言随机抽 100 句人工判定，平均 98 句被确认为医学相关。

Q7：教材是怎么处理的？
参照 PMC-LLaMA 的方法，用 PaddleOCR（对多语言支持好）对每页生成文本框坐标与内容，再按"从左到右、从上到下"的阅读顺序重组为正文；预处理阶段按页码剔除封面、目录、后记等非正文页。教材提取量：英语 4B、中文 1.1B、俄语 0.4B、法语 0.3B token。

Q8：能直接下载吗？
可以，无门禁。HF 数据集 Henrychur/MMedC 的 gated 字段为 false，无需登录申请、直接下载分语言 ZIP（或 MMedC.zip 全量）。注意英语教材那 4B token 因版权不随仓库发布。

Q9：许可是什么？能商用吗？
语料本体是 CC BY-NC-SA 4.0——署名、非商业、相同方式共享。SA（相同方式共享）意味着用 MMedC 训练的衍生语料若要再分发，必须沿用同一许可。商用需另行授权。配套 MMedBench 是 CC BY-NC 4.0（无 SA 条款），论文是 CC BY 4.0，代码是 CC BY-SA，模型权重视具体模型而定。

Q10：为什么它对 AI-Ready 重要？
它示范了一条"多语言 + 多来源 + 可量化过滤"的领域语料构建流水线，并且是少见的"语料即生态起点"型条目——下游直接长出基准（MMedBench）和模型（MMed-Llama 3 系列）。对中文及其他非英语医学 NLP 社区，它是长期缺乏的预训练底座补位者。

§2 数据构成与规格

2.1 总量与存储口径

MMedC 的核心数字有两个口径，必须分清：

口径	数值	来源	含义
Token 计数	约 25.5B tokens	论文摘要 / HF README	语料规模的语言学度量
压缩文件字节	105,143,439,302 bytes（≈105.1 GB / 97.9 GiB）	HF API usedStorage	八语言 ZIP 合计的物理存储
size category	10B < n < 100B	HF cardData	HuggingFace 的规模分档

这两个数字不可互相换算：token 是分词后的语言单元计数，字节是压缩后的文件体积，两者之间隔着语言、词表、压缩率三重变量。引用规模时若只说"105 GB"会低估 token 量（因冗余度高、压缩后变小），只说"25.5B token"则无法预估下载与解压成本——规范做法是并列两个口径。

2.2 逐语言 token 分布（论文 Table 口径）

论文给出的六主语言、四来源 token 分布（单位：十亿 tokens）：

语言	语系	过滤内容	教材	网站	小规模语料	合计
英语	印欧语系	6.56	4.00	0.00	0.00	10.56
西班牙语	印欧语系	3.98	0.31	0.05	0.02	4.35
法语	印欧语系	1.90	0.02	0.00	0.17	2.10
俄语	印欧语系	1.29	0.40	0.00	0.00	1.69
汉语	汉藏语系	3.34	1.21	0.00	0.19	4.74
日语	汉藏语系	1.93	0.00	0.10	0.01	2.05

三个观察：

1. 通用语料过滤（filter content）是所有语言的主体来源。除英语外，几乎所有语言的最大贡献都来自这一列——这说明 CulturaX/CommonCrawl 的覆盖广度是语料规模的根基。
2. 英语独占约 42%（10.56 / 25.49），俄语最小约 7%（1.69 / 25.49）。语言分布高度不均，这既是资源现实（英语医学文本天然最多），也是使用者必须记住的偏差（跨语言结论需按语言分别验证）。
3. 教材与小规模语料是"精料"：教材在英语（4.00）、中文（1.21）、俄语（0.40）旁显著占比，提供的是权威教科书级表达；小规模语料则以法语（0.17）、中文（0.19）相对突出，补的是维基/百科式结构化知识。

注意：上表是论文合计口径。HF 仓库中英语教材的 4.00B token 因版权不随发布（README 建议参考 PMC-LLaMA），因此从 HF 实际下载到的英语约为 6.56B（仅过滤内容）——这是坑 2 的双口径存照。

2.3 HF 仓库实挂语言与 ZIP 结构

HF 仓库 Henrychur/MMedC 的文件清单（API 实测）为八个语言 ZIP 加 README 与 .gitattributes：

ZIP 文件	对应语言	论文主口径是否包含
English.zip	英语	是
Chinese.zip	中文	是
Japanese.zip	日语	是
French.zip	法语	是
Russian.zip	俄语	是
Spanish.zip	西班牙语	是
Arabic.zip	阿拉伯语	否（论文列为未来扩展）
German.zip	德语	否（论文列为未来扩展）

每个 ZIP 内部按四类来源组织文件夹：过滤后内容（filtered content）、医学网站（medical websites）、医学教材（medical textbooks）、小规模数据集（small-scale datasets）。数据以 txt 纯文本存储。README 给出的批量读取方式为 os.walk 遍历目录下所有 .txt 文件（并跳过 cultural_filtered_data_used 目录）。

英文 README 特别申明：英语教材语料不计入本仓库——“English Textbooks is not included in this repo due to copyright issues. For this part of 4B English corpus, please refer to PMC-LLaMA”。

2.4 四类来源的规模与角色

来源	角色	规模要点	权威性
通用语料过滤	规模主体	CulturaX 6.3 万亿 token 起，逐语言规则筛	中（网页噪声）
医学教科书 OCR	权威精料	>20,000 本书；英 4B/中 1.1B/俄 0.4B/法 0.3B	高（教科书）
医学网站爬取	时效补充	日 0.1B/西 0.05B/法 0.1M；百科+咨询+新闻三类	中高（站点分级）
小规模语料	结构化补充	Wikipedia / 百度百科 / UFAL Medical Corpus	中（众包/翻译向）

四类来源在设计上互补：过滤内容补"量"，教材补"权威"，网站补"时效与常识"，小规模语料补"结构化与既有生态"。这也是 MMedC 区别于"单一网页爬取型语料"的关键——它显式承认不同来源的信噪比差异，并让使用者在解压后的目录结构里就能看到来源标注。

2.5 语言分布的结构性含义

论文表里的六个数字不是平均分布，而是反映了一个残酷现实：医学文本的语言资源极不均衡。把六语言 token 排序可得：

排名	语言	token（十亿）	占六语言总量
1	英语	10.56	41.4%
2	汉语	4.74	18.6%
3	西班牙语	4.35	17.1%
4	法语	2.10	8.2%
5	日语	2.05	8.0%
6	俄语	1.69	6.6%
—	合计	25.49	100%

（按论文表合计 25.49B 计算；HF 八语言合计 token 未单列。）

头部集中：英语一家独大（41.4%），与第二名汉语（18.6%）相差一倍以上。这与全球医学文献的英语主导地位一致——PubMed 收录的绝大多数文献为英文，医学教科书也以英文最丰富。使用者的直接推论是：若不做语言重加权，模型能力会向英语倾斜，小语种的语言特有医学知识（如日本的诊疗习惯、俄罗斯的医学判断题型）可能被英语信号淹没。

尾部互补：汉语（4.74B）与西班牙语（4.35B）合计占 35.7%，构成英语之外的"第二梯队"。这两个语言的语料规模接近，说明团队对中文（依托百度百科与中文教材）和西班牙语（依托 Head-QA 与西语网站）都做了针对性补强。

小语种策略：日语（2.05B）与俄语（1.69B）虽最小，但仍有十亿量级——对这两个语言而言，这已经是可观的医学预训练规模。俄语教材贡献 0.4B（占俄语总量近四分之一），说明教材路径在语言资源匮乏时起了关键托底作用。

2.6 与常见医学预训练语料的横向对照

MMedC 常与既有的医学预训练资源并提，但定位差异明显：

资源	覆盖语言	规模量级	组织形态	许可
MMedC	6 主（HF 8）	25.5B token	语料+基准+模型三件套	CC BY-NC-SA
PMC-LLaMA 语料	主要英语	教材+论文	聚焦英文学术文本	学术用途
MEDITRON 语料	主要英语	论文+指南	英文临床指南+PubMed	各异
BioMistral 语料	主要英语	生物医学	英文生物医学	各异
xmedbench	6 语言	21,326 题	纯评测集	Apache-2.0

MMedC 的差异化在于**“多语言 × 多来源 × 配套完整”**三点同时满足：既有的英语病理/临床语料多是单语言，而多语言医学资源又多以评测集形式存在（如上表 xmedbench）。MMedC 补的正是"多语言医学训练语料"这块空白。

2.7 尺度的直观参照

25.5B token 是什么概念？若按英文平均约 4 字符/token 粗估，约等于一千亿字符量级的纯文本；相当于数万本医学教科书的内容总量。HF 上 105.1 GB 的压缩包解压后体积会显著膨胀（txt 压缩率通常 3-4 倍），解压后的磁盘占用可能达数百 GB——部署前请预留足够的存储与解压时间。这也是为什么 README 建议按语言分别下载：全量解压对普通工作站的磁盘是不小的压力。

2.8 语料的"医学性"如何被定义

一个容易被忽略但极重要的问题：MMedC 里什么算"医学内容"？答案是由关键词规则定义的——凡是通过 MKC/DENS 双阈值的文本即为医学。这意味着：

1. 边界是统计性的，不是语义性的。一篇讲"医学教育政策"的新闻可能因术语密度达标而入选，而一篇用通俗语言讲病理机制的科普可能因术语密度不足而落选。
2. 术语表的选择决定召回边界。每语言 200 个术语是人为选定的，选词偏好会系统性影响语料的主题分布（如偏临床则更多病例讨论，偏基础则更多生化生理）。
3. 96%-98% 的人工核验精度意味着约 2%-4% 的入选文本在人工看来并非医学相关——这部分是规则过滤的固有代价。

使用者若做细分任务（如只想要"临床诊疗"相关语料），需要在此之上再做一轮主题过滤——MMedC 提供的是"广义医学"语料，不是"细分临床"语料。

§3 收集流水线：四路并进如何造出一份医学语料

3.1 第一路：通用语料过滤（CommonCrawl → CulturaX → 医学子集）

这是贡献 token 最多的路径，也是流水线中最讲方法论的一段。

起点：CulturaX——CommonCrawl 的清洗与去重版本，覆盖 167 种语言、约 6.3 万亿 tokens。选它而非原始 CommonCrawl，是因为 CulturaX 已经做过语言识别、去重、质量过滤，能显著降低后续噪声。

判据设计：团队为每一种目标语言精心挑选 200 个医学相关术语（六语言共 1,200 个，覆盖医学、药学、医学生物学）。术语清单公开发布在 GitHub 仓库，供复现与审计。

两个核心指标：

• MKC（Medical Keyword Count，医学关键词计数）：定义为文本中出现的唯一医学关键词的个数。形式化地，MKC = |K_U|，其中 K_U = {k | k ∈ T ∧ k ∈ K}，T 为文本词集、K 为医学术语表。
• DENS（Keyword Density，关键词密度）：医学关键词总长度占文本总长度的比例，即 D = Σ_{k∈K} len(k)·occ(k,T) / len(T)，其中 occ(k,T) 为关键词 k 在文本 T 中的出现次数。

判定规则：当 MKC > 阈值 T_C 且 DENS > 阈值 T_D 时，该文本被判为医学相关并保留。用"计数 + 密度"双阈值而非单一阈值，是为了同时排除两类误判：MKC 防止"只碰巧出现一个术语"的短文本入选，DENS 防止"术语绝对数够多但主体是无关内容"的长文本入选。

分词适配：对以空格分词的语言（如英语、西班牙语、法语、俄语、德语），分词后再做关键词匹配；对无明确词界的语言（如中文、日语），直接做关键词串匹配。这一区分对中文、日语的召回率至关重要——若不特殊处理，词界假设会系统性地漏掉大量中文医学文本。

质量核验：每种语言随机抽 100 句人工判定是否医学相关，平均 98 句判定为相关。这给出约 98% 的精度的自评，同时也诚实暴露了约 2% 的噪声——这部分噪声会进入下游预训练。

3.2 第二路：医学教科书 OCR

来源：参照 PMC-LLaMA 的思路，收集超过 20,000 本书（数十种医学教科书）。

OCR 引擎：PaddleOCR——团队明确选它是因为其"擅于处理多语言"。OCR 输出每个文本框的坐标与内容，然后按"从左到右、从上到下"的顺序重排，还原成接近原始阅读顺序的正文流。

版式清洗：按页码识别并剔除封面、目录、后记等非正文页面。这一步很关键——目录页充满章节名与页码，若不剔除会污染语料（大量无上下文的短语碎片）。

产出：英语 4B、中文 1.1B、俄语 0.4B、法语 0.3B tokens。注意日语与西班牙语教材没有进入提取量清单，说明教材这条路径的语言覆盖并不均衡。

版权处置：受版权限制的书籍不直接随仓库发布，论文只公开书名清单（name list）与收集/预处理的方法与工具。这是整个语料中最需要使用者注意合规的一块。

3.3 第三路：医学网站爬取

团队爬取三类网站作为补充：

1. 医学百科：提供疾病与药物的详细信息，质量高，但数量有限、访问常受限制；
2. 医学咨询平台与医学科普文章：医学常识丰富，贴近患者表达；
3. 医学新闻网站：数据量最大、无访问限制，且含最新信息。

三类站点在"权威性—时效性—可得性"上各有取舍，合起来补的是教材与通用网页之间的空白。提取量为日语 0.1B、西班牙语 0.05B、法语 0.1M tokens——规模远小于过滤与教材路径，属于点缀性补充。

3.4 第四路：现成小规模医学语料

直接整合三个既有开源资源：

• Wikipedia：用与通用过滤相同的医学关键词规则，从中提取医学领域内容；
• 百度百科（Baidu Baike）：同款过滤方法，补中文结构化知识；
• UFAL Medical Corpus：面向机器翻译任务的医学平行语料，直接使用。

这一路体现了"不重复造轮子"的工程哲学——既有高质量小语料直接并入，用统一格式对外发布。

3.5 流水线全景

CulturaX (6.3T tokens, 167 语言)
      │  每语言 200 医学术语 → MKC>T_C 且 DENS>T_D
      ▼
[过滤内容] ──┐
             │
>20,000 医学教材 ──PaddleOCR──→ 去非正文页 ──→ [教材文本] ──┤
             │
医学百科/咨询/新闻站点 ──爬取──→ [网站文本] ──┼──→ 分语言·分来源打包 → MMedC.zip
             │
Wikipedia/百度百科/UFAL ──┐                    │
                          ▼                    │
                     [小规模语料] ─────────────┘

四路并进后，语料按"语言 × 来源"二维组织，最终以 txt 分文件夹打包，交付到 HuggingFace。

§4 规格细节与使用注意

4.1 文件组织与读取方式

MMedC.zip 解压后为四个顶层文件夹，对应四类来源：过滤后内容、医学网站、医学教材、小规模数据集。每个文件夹内部再按语言分目录。数据全部为 .txt 纯文本。

README 提供的标准读取方式是遍历目录下所有 txt 文件：

import os
txt_root = "PATH/TO/MMEDC"
txt_paths = []
for root, dirs, files in os.walk(txt_root):
    if 'cultural_filtered_data_used' not in root:
        for file in files:
            if file.endswith('.txt'):
                txt_paths.append(os.path.join(root, file))

cultural_filtered_data_used 是过滤流程的中间产物目录，读取时应跳过——它记录的是"被判定为医学相关"的中间态，不是最终交付语料。

4.2 纯文本格式的取舍

MMedC 采用最朴素的 txt 格式，而非 JSONL/Parquet。这一取舍的利弊都很明显：

• 利：无格式依赖、任何语言任何工具都能读、预处理成本极低、跨框架（PyTorch/TF/JAX）通用；对 continued pretraining 这种"只要连续文本流"的场景最友好。
• 弊：不带任何元数据（无来源标注字段、无时间戳、无质量分数字段）——来源信息只存在于文件夹路径里，一旦被下游打散重组就丢失；也无法按单条记录做过滤或采样。

因此，若下游要做"按来源加权采样"或"按来源质量过滤"，必须在读取阶段就把文件夹路径解析成来源标签，否则这份语料的来源信息会被浪费。

4.3 与 PMC-LLaMA 的关系

MMedC 在两条线上与 PMC-LLaMA 直接相关：

1. 教材 OCR 方法参照 PMC-LLaMA；
2. 英语教材的 4B token因版权不随 MMedC 发布，README 指引使用者"参考 PMC-LLaMA"获取这部分。

这意味着"完整的英语医学文本"在生态上要 MMedC + PMC-LLaMA 两个来源拼合，MMedC 单独并不构成完整的英语医学语料。

4.4 关键规格速查

项	值
格式	纯文本 txt
打包	分语言 ZIP（八语言）+ 全量 MMedC.zip
内部结构	语言 ×
token 总量	约 25.5B
HF 存储	105.1 GB
语言	6 主语言（论文）/ 8 语言（HF 实挂）
门禁	gated=false，无申请
许可	CC BY-NC-SA 4.0
版本 sha	6629f0a54ae73b6f32d42476b2b9e90ff96035fd

4.5 预处理实操建议

拿到 MMedC 后，直接喂进预训练框架前通常还需要几步预处理。以下是基于其格式特点的建议：

1. 来源标签化：读取时把文件夹路径解析成 {language, source_type} 两个字段。若不做这一步，来源信息在后续 shuffle/拼接中会永久丢失，也就无法做"按来源加权采样"。
2. 去重：不同来源之间可能存在重叠（如某段医学百科内容同时出现在 Wikipedia 语料与网站爬取里）。跨来源做一轮 MinHash/SimHash 去重可减少重复 token 浪费。
3. 异常文本清理：OCR 教材可能残留页眉页脚、乱码字符；网站文本可能含导航栏碎片。建议对教材来源额外做一轮"每行长度过滤"与"符号比例过滤"。
4. 语言校验：虽然语料按语言分目录，但网页抓取难免混入少量其他语言片段，可用 fastText 语言识别做二次校验。
5. 分段与打包：txt 转成预训练常用的 packed sequences（如每条固定长度拼接）时，注意在文档边界插入 EOS 标记，避免跨文档语义污染。

这些步骤的来源是通用的医学语料预处理经验，非论文原文；MMedC 论文本身只描述到"分语言分来源打包成 txt"为止。

4.6 复用团队的数据采集代码

团队开源了 data_collection 文件夹，包含数据过滤与教材 OCR 的完整流程。对想复现或迁移到其他领域的团队，这是最有价值的资产：

• 过滤代码：实现了 MKC/DENS 的计算与阈值判定，可替换术语表迁移到其他领域（如把医学术语换成法律术语即可做法律语料过滤）。
• OCR 代码：基于 PaddleOCR，含文本框排序与非正文页剔除逻辑。
• 术语清单：六语言共 1,200 个医学术语，可直接审计过滤规则的主题偏向。

注意 OCR 部分需额外安装依赖（README 已提示），部署时需预留环境配置时间。代码许可为 CC BY-SA——若修改后再发布，需沿用相同许可。

§5 配套基准与模型：语料如何变成能力

MMedC 本身不含评测，但它从设计之初就与同团队的 MMedBench 基准、MMedLM 系列模型绑定。理解这条"语料 → 基准 → 模型"的链路，才能真正看懂 MMedC 的价值主张。

5.1 MMedBench：语料的配套评测基准

MMedBench（Multilingual Medical Benchmark）是团队自建的多语言医学多选题问答基准，特点有三：

1. 题目直接来自各国医学考试，而非翻译。团队刻意避免用翻译制造多语言——因为各国的医疗实践指南差异会导致"直译题"在目标语言下诊断理解失真。因此每个语言的题都取自该语言本地的真实考试：
   • 英语 / 中文（简繁）：MedQA（基于 USMLE 美国执业医师考试，每题 4 选项）
   • 日语：IgakuQA（2018–2022 日本执业医师考试）
   • 法语：FrenchMedMCQA（法国药学专科文凭真实考试）
   • 俄语：RuMedDaNet（俄罗斯医学判断题，处理为二选一）
   • 西班牙语：Head-QA（西班牙医疗系统专业职位考试）
2. 每题带 rationale（理由）。团队用 GPT-4 为每道题生成"为什么选这个答案"的解释句，让基准不仅能测"选对没有"，还能测"解释得对不对"。训练集 45,048 对的 rationale 全部由 GPT-4 自动生成。
3. 规模与划分：共 53,566 个 QA 对，划分为 45,048 训练 + 8,518 测试。测试集覆盖 21 个医学领域（内科、生化、药理、精神、微生物、生理、病理、免疫、妇产、公共卫生、血液、外科、急诊、骨科、神经、解剖、医学遗传、放射、皮肤、内分泌等）。另有一个 1,136 条人工核验的 rationale 子集，专供推理能力评估（从每语言随机抽 200 题、约 1,200 条中，经三名标注者核验，GPT-4 生成理由 94.7% 合格后留下的样本）。

5.2 从语料到模型：MMedLM 家族

团队用 MMedC 对通用基座做自回归持续预训练（auto-regressive continued pretraining），得到一系列医学基座模型：

模型	参数	基座	发布	权重许可
MMedLM	7B	InternLM	2024-02-20	Apache-2.0
MMedLM 2	7B	InternLM 2	2024-02-20	Apache-2.0
MMedLM 2-1.8B	1.8B	InternLM 2-1.8B	2024-03-01	Apache-2.0
MMed-Llama 3-8B	8B	Llama 3	2024-05-24	Llama 3 community
MMed-Llama 3-8B-EnIns	8B	Llama 3	2024-05-24	Llama 3 community
MMed-Llama 3.1-70B	70B	Llama 3.1-70B	2025-03-07	Llama 3 community

训练成本：README 明确提示，自回归持续训练至少需要 8 张 A100 80GB GPU 并训练一个多月。这从侧面反映了 25.5B token 语料的实际体量——它不是一份"下载下来就能秒训"的小数据集。

口径漂移存照：GitHub README 的 Introduction 段称最终模型为 MMedLM 2（7B），而 arXiv 摘要与 Nature 正式版强调 MMed-Llama 3（8B）；2025 年又发布 MMed-Llama 3.1 70B。"最终模型"的表述随发布阶段演进，引用时须注明版本。

5.3 训练基础设施

论文与 README 披露的实验环境为 A100 80GB GPU + Slurm 调度系统，依赖 PyTorch 1.13 与 Transformers 4.37；LoRA 微调另需 PEFT 库。团队开源了三条流水线的代码：pretrain（自回归持续训练）、finetune（MMedBench 训练集微调，支持全参微调与 PEFT 两种）、inference（MMedBench 测试集推理），以及 data_collection（数据过滤与教材 OCR 的完整采集流程）。

§6 获取与许可：一份无门禁但有限制的语料

6.1 获取路径

MMedC 的获取门槛很低——没有门禁、无需申请、无需签署协议：

步骤	操作
1	访问 HF 数据集页 Henrychur/MMedC（国内环境走 hf-mirror.com 镜像）
2	直接下载 MMedC.zip（全量）或按语言下载单语言 ZIP
3	解压得到四类来源 × 语言的 txt 目录树
4	用 README 的 os.walk 片段批量收集 txt 路径

HF API 实测：gated: false、private: false、disabled: false，createdAt 2024-02-20，lastModified 2024-07-25，sha 6629f0a54ae73b6f32d42476b2b9e90ff96035fd。抓取时点（2026-10-16）downloads 786、likes 36。配套 MMedBench 同样 gated=false（downloads 289、likes 15）。

6.2 许可分层（务必逐层看清）

MMedC 生态的许可不是一个数，而是五个不同许可的堆叠，每一层管不同的资产：

资产	许可	商用	衍生/再分发限制
MMedC 语料本体	CC BY-NC-SA 4.0	否	衍生须相同方式共享（SA）
MMedBench 基准	CC BY-NC 4.0	否	无 SA 条款
论文本体	CC BY 4.0	是	署名即可
仓库源代码	CC BY-SA	是	衍生代码须相同许可
MMedLM/MMedLM 2 权重	Apache-2.0	是	宽松
MMed-Llama 3/3.1 权重	Llama 3 community license	附条件	受 Meta 社区许可约束

使用者的核心陷阱在于语料的 SA 传染性：CC BY-NC-SA 4.0 的"SA"意味着——若你基于 MMedC 构建并对外发布一份衍生语料（如"MMedC 中文子集清洗版"），该衍生语料也必须采用 CC BY-NC-SA 4.0 授权。这与纯 CC BY-NC 不同（后者只限制商用、不强制相同许可）。模型训练产出（权重）通常不视为语料的衍生作品，但语料本身的再分发一定受 SA 约束。

第二条陷阱是AI-Ready 评分与商用许可的错位：一份 CC BY-NC 的语料在学术上是完全开放的（可自由下载、修改、研究），但商业落地（如训练商用医疗大模型）需另行取得授权。抓取时点未见官方商用授权通道的公开说明。

6.3 逐语言下载的实务建议

全量 MMedC.zip 约 105 GB，逐语言下载可按研究目标裁剪：

• 只做中文医学 LLM：只下 Chinese.zip（约 4.74B token 对应部分，含教材 1.21B 与小规模 0.19B）；
• 只做英语医学 LLM：只下 English.zip，但注意教材 4B 不在其中，需自行从 PMC-LLaMA 补齐；
• 做非英语低资源方向：日语（2.05B）、西班牙语（4.35B）相对丰富，是除英语外规模较大的语言；
• 做多语言对齐：六语言全下，用"语言 × 来源"目录结构做配对采样。

由于是分语言 ZIP，下载粒度足够细；但同一语言内部的四类来源无法再单独下载，只能整包下载后按目录裁剪。

6.4 与库内可获取性光谱的对照

在库内的条目光谱中，MMedC 属于**“学术全开放、商用受限、无门禁”**的一类——与需要邮件申请的请求制数据集（如 PANDA-PLUS 的掩码）形成鲜明对照：MMedC 的获取门槛几乎为零，代价转向许可层面（NC + SA）。对学术研究者而言它门槛极低，对企业用户而言则需先解决授权问题。

§7 评估与影响：语料的分数兑现

MMedC 的价值主张最终落在两个方面：它支撑的模型在基准上得了多少分，以及它在多语言医学 AI 生态里的位置。

7.1 MMedBench 多语言榜单（GitHub 主表口径）

下表为各模型在 MMedBench 上的多选题平均准确率（%，六语言平均；Github README 主表）：

模型	参数	年份	MMedC 预训练	MMedBench Avg
GPT-3.5	—	2022.12	否	51.47
GPT-4	—	2023.3	否	74.27
Gemini-1.0 pro	—	2024.1	否	55.20
BLOOMZ	7B	2023.5	否	45.10
InternLM	7B	2023.7	否	45.67
Llama 2	7B	2023.7	否	42.26
MedAlpaca	7B	2023.3	否	41.11
ChatDoctor	7B	2023.4	否	39.53
PMC-LLaMA	7B	2023.4	否	40.04
Mistral	7B	2023.10	否	60.73
MEDITRON	7B	2023.11	否	52.24
InternLM 2	1.8B	2024.2	否	40.58
InternLM 2	7B	2024.2	否	58.59
BioMistral	7B	2024.2	否	57.45
Llama 3	8B	2024.4	否	62.79
MMedLM	7B	—	是	55.01
MMedLM 2	7B	—	是	67.30
MMedLM 2	1.8B	—	是	48.75
MMed-Llama 3	8B	—	是	67.75
MMed-Llama 3.1	70B	—	是	80.51

（评估设置：GPT/Gemini 走 API zero-shot；开源模型先在 MMedBench trainset 训练后评测。）

关键读数：

1. MMed-Llama 3 8B（67.75）超越其基座 Llama 3 8B（62.79）约 5 分——这 5 分几乎全部可归因于在 MMedC 上的自回归持续训练，是"MEdC 语料有效性"的最直接证据。
2. MMed-Llama 3.1 70B（80.51）超过 GPT-4（74.27）——团队以此宣称其开源医学基础模型达到甚至超过闭源顶配。
3. MMedLM 2-1.8B（48.75）超过多数 7B 通用模型（Llama 2 7B 42.26、MedAlpaca 41.11），说明在高质量领域语料上持续训练能以小博大。

7.2 英语基准的交叉验证

团队另在常用英语医学基准上做了对照（GitHub 表，MMed-Llama 3 8B）：MedQA 65.4 / MedMCQA 63.5 / PubMedQA 80.1，英语基准平均 72.59，超过 Llama 3 8B 的 68.56。这说明 MMedC 的增益不局限于多语言，在英语医学任务上同样可观——语料里的英语部分（过滤内容 6.56B）本身就有价值。

7.3 rationale 推理评估

在人审的 1,136 题子集上，团队用 BLEU-1 / ROUGE-1 评理由句相似度（GitHub 表）：MMedLM 2 平均 48.81 / 45.29，MMedLM 45.05 / 41.84，均高于 InternLM2 的 46.52 / 42.86。这组数字说明 MMedC 预训练不只提升"选对答案"，还提升了"讲清理由"的能力。

7.4 在生态中的位置

MMedC 处于多语言医学 AI 生态的上游数据层：向下它整合了 MedQA、IgakuQA、FrenchMedMCQA、RuMedDaNet、Head-QA、Wikipedia、百度百科、UFAL 等既有资源；向上它长出 MMedBench 基准与 MMedLM/MMed-Llama 模型家族。库里与它关系最近的条目是 xmedbench(727)——同为多语言（含阿拉伯语、印地语）医学 MCQA 方向的基准，但 xmedbench 是评测集、MMedC 是训练语料，两者正好构成"数据—评测"的上下游配对。

对中文社区而言，MMedC 的意义还在于它把百度百科这类中文结构化知识、以及大量中文教材与中文网页医学内容正式纳入了多语言医学预训练资源，弥补了以往中文医学 LLM 语料来源单一的问题。

7.5 增益归因：那 5 分从哪来

MMed-Llama 3 8B（67.75）比基座 Llama 3 8B（62.79）高约 5 分，团队据此主张 MMedC 的价值。要正确理解这 5 分，需注意三点归因边界：

1. 训练数据是唯一变量：模型架构、参数规模、评测协议都相同，唯一差别是在 MMedC 上做了自回归持续预训练——因此增益可合理归因于语料。
2. 增益是"领域对齐"而非"新知识注入"的简单叠加：持续预训练让模型的语言分布向医学文本倾斜，使其在医学多选题的措辞、术语、推理模式上更"对味"。这既包含知识补充，也包含风格适配。
3. 对比基座选择影响倍数：以 InternLM/InternLM 2 为基座的 MMedLM 系列（55.01 / 67.30）增益更剧烈，而以 Llama 3 为基座的版本（67.75）增益相对温和——因为 Llama 3 本身的英语医学能力已经较强（62.79），可提升空间相对小。

一个反直觉观察：MMedLM 2-1.8B（48.75）超过了 Llama 2 7B（42.26）、MedAlpaca 7B（41.11）等更大的通用模型。这说明在医学这类知识密集但语料集中的领域，“用高质量领域语料训练小模型"可能优于"用大模型直接零样本推理”。

7.6 与闭源模型的比较边界

MMed-Llama 3.1 70B 在 MMedBench 上达 80.51，超过 GPT-4 的 74.27——但比较须有边界意识：

1. 单一基准：这是 MMedBench 一个基准上的结果，不能外推到"所有医学任务"。
2. 评测设置不同：GPT-4 走 API zero-shot；开源模型先在 MMedBench 训练集上微调过再测。两者的"起跑线"不同，严格意义上不是同条件对比。
3. 多选题格式的局限：多选题准确率不能完全代表临床推理能力——真实临床是开放式决策，而非选 ABCD。

因此这组数字的合理读法是"MMedC 预训练能让开源模型在医学多选题这一任务上达到甚至超过闭源顶配"，而非"开源模型全面超越 GPT-4"。

7.7 生态影响与后续演进

从发布节奏看，MMedC 生态在持续演进：2024 年 2 月首发语料+基准+模型，5 月补 Llama 3 版本，2025 年 3 月推出 70B 版本并支持 8 种语言。HF 仓库也在 2024 年 7 月追加了阿拉伯语、德语 ZIP。这说明团队把 MMedC 当作一个长期维护的资源，而非一次性发布物。

对多语言医学 AI 领域，MMedC 的间接影响在于提供了可复现的基线：此后任何声称"多语言医学 LLM 变强了"的工作，都需要在 MMedBench 上与 MMed-Llama 3 系列对标——这本身就是一个数据集对领域方法论的塑造。

§8 方法学启示：三条可迁移的经验

MMedC 作为一份语料论文，其方法论价值往往超过数据本身。以下三条经验可迁移到其他领域的语料构建。

8.1 "规则过滤 + 人工抽检"是低资源语言语料的可行范式

在没有现成医学领域语料的语言里，最经济的起点不是标注，而是用关键词规则从通用语料里捞。MMedC 的 MKC + DENS 双阈值设计是一个范本：

• **MKC（唯一关键词计数）**保证"术语覆盖度"——文本真的围绕多个医学概念，而非蹭到一个词；
• **DENS（关键词密度）**保证"主题纯度"——医学内容占比足够高，而非长文里夹一句术语。

双阈值组合比单阈值鲁棒得多：单看 MKC 会漏掉"短而精"的片段（术语数少但全是医学），单看 DENS 会漏掉"长而杂"的综述（密度低但绝对信息量足）。再配每语言 100 句的人工抽检（平均 98 句合格），就把"规则"和"事实"校准到了一起。这套流程对任何"有通用语料、缺领域语料"的语言都可直接复用。

8.2 多来源互补是规模与质量的平衡术

单一来源必然偏科：只用网页爬取则噪声大、只用教材则规模小、只用百科则时效差。MMedC 用四路并进化解：

维度	主要贡献来源
规模（量）	通用语料过滤（CulturaX）
权威（质）	医学教科书 OCR
时效与常识	医学网站爬取
结构化与生态	Wikipedia/百度百科/UFAL

更值得学习的是它把来源信息保留在目录结构里——即使格式是朴素的 txt，使用者仍能通过路径还原来源并据此加权。这是"格式极简但信息不丢"的设计。

8.3 "语料 + 基准 + 模型"三件套是价值兑现的完整闭环

一份语料若只发布数据、不发布评测与模型，其价值主张是悬空的——没人知道它有用。MMedC 的做法是三件套同时发布：

1. 语料（MMedC）解决"拿什么训"；
2. 基准（MMedBench）解决"训完怎么量"；
3. 模型（MMedLM/MMed-Llama 3）解决"训出来长什么样"。

三件套让"语料有效性"被直接翻译成"模型分数提升"（MMed-Llama 3 8B 比基座高约 5 分），这是最有说服力的证据形式。对其他领域语料构建者的启示是：别只发数据，把量尺和样机一起发。

§9 与库内条目的关系

9.1 家族图谱

条目	rid	与 MMedC 的关系
xmedbench	727	最直接对标：同为多语言医学 MCQA 方向基准（Apollo 六语言，Apache-2.0）；MMedC 是训练语料、xmedbench 是评测集
medmcqa	111	印度医学多选题基准，MMedBench 的同域近邻（评测生态）
medqa	50	MMedBench 英语/中文来源数据集（USMLE），血缘上游
multimedbench	129	Med-PaLM M 多模态多任务基准，多语言医学评测对照
pubmedqa	49	PubMed 问答基准，MMedBench 英语来源生态相邻
cmedqa2	825	中文医疗问答答案选择基准，中文医学 NLP 生态近邻
semmeddb	836	NLM 语义谓词库，医学文本语义处理生态

9.2 检索路径建议

• 想找训练语料：落在 MMedC（本条）；想找"六语言医学评测集"则去 xmedbench(727)。
• 想上溯来源：MMedC 的评测配套 MMedBench 直接聚合 MedQA(50)、IgakuQA、FrenchMedMCQA、RuMedDaNet、Head-QA——其中 MedQA(50) 已在库内。
• 想横向比较多语言医学基准：MMedC(本条) ↔ xmedbench(727) ↔ multimedbench(129) 三读。
• 想做中文医学 NLP：MMedC 的中文部分（4.74B token）与 cmedqa2(825) 分属"预训练语料"与"问答评测"两端。

§10 避坑清单：八个已踩过的坑

坑 1：把 MMedC 和 MMedBench 当成同一个东西

MMedC（语料，25.5B token，CC BY-NC-SA）与 MMedBench（基准，53,566 QA 对，CC BY-NC）是两个独立资产，名字只差一个后缀，规模、格式、许可全不同。检索或引用时混淆会直接写错规模与许可。规矩：说 token 量就是 MMedC，说 QA 对数就是 MMedBench。

坑 2：以为 HF 下载的就是论文里的 25.5B

论文表的英语合计是 10.56B，但其中 4B 英语教材因版权不随 HF 仓库发布（README 明确指向 PMC-LLaMA）。从 HF 下载的英语实际约 6.56B。因此"论文口径总量"与"HF 可下载量"不一致——引用时务必区分，别声称"下载了 25.5B"。

坑 3：语言数到底是 6 还是 8

论文与多数二手页写"6 种主要语言"；但 HF 仓库实挂 8 个语言 ZIP（多出 Arabic.zip、German.zip）。更微妙的是，论文正文把德语、阿拉伯语列为未来扩展目标，而 HF 仓库却挂出了对应 ZIP——说明仓库在论文之后做过更新。规矩：以 HF 实挂为准称"8 语言"，并说明论文主口径为 6 语言。

坑 4：把 CC BY-NC-SA 当成普通的 CC BY-NC

MMedC 的许可带 **SA（相同方式共享）**条款——衍生语料若要再分发，必须沿用 CC BY-NC-SA 4.0。这与纯 CC BY-NC（无 SA）在衍生再分发上有本质差别。想构建"MMedC 清洗子集"并对外发布的人，会被 SA 传染性绑定到同一许可。

坑 5：以为"开放获取"就等于"可商用"

CC BY-NC 的 NC（非商业）条款明确禁止商业使用。学术上完全开放（可自由下载、修改、研究），但企业用它训练商用医疗模型需另行授权。抓取时点未见官方商用授权通道说明——商用前必须自行联系团队。

坑 6：把 MMedC 当监督数据集查标注

MMedC 是自监督预训练语料，没有逐条标签、没有 label 字段、没有 train/test 划分。它是纯文本流，用途是 continued pretraining。期望从它里面"取标注做分类"会一无所获——想要带标签的医学数据应去处方的 MMedBench。

坑 7：忽略"21 医学领域"与"20 项实列"的不一致

论文正文表述 MMedBench 覆盖"21 medical topic categories"，但实际列举的领域只有 20 项（Internal Medicine … Endocrinology）。引用领域数时，按"论文自述 21、实列 20"存照，避免以讹传讹。

坑 8：以为 Arabic/German 的 token 量有论文背书

二次来源给出"阿拉伯语 0.64B、德语 1.54B token"的具体数字，但论文正文并无这两个语言的 token 量（论文只把它们列为未来扩展）。HF 只有 ZIP 文件、无 token 统计。因此这两个数字无一手支撑，引用只能作提示性说明并标注来源存疑。

坑 9：把 MMedC 的英语部分当作完整英语医学语料

因教材 4B 缺席，MMedC 的英语部分是不完整的。要做完整的英语医学预训练，需 MMedC（6.56B 过滤内容）+ PMC-LLaMA（教材）拼合。单用 MMedC 会系统性缺少教科书级的英语表达。

坑 10：混淆"论文的 CC BY 4.0"与"数据集的 CC BY-NC-SA 4.0"

论文本体是 CC BY 4.0（可商用），数据集是 CC BY-NC-SA 4.0（禁商用 + SA）——同一个项目的不同资产许可不同。看到"CC BY 4.0"就以为数据可商用是常见误读。引用许可时须精确到"哪个资产用哪个许可"。

§11 总结

11.1 三句话总结

1. MMedC 是上海交大与上海 AI Lab 构建的约 255 亿 token 多语言医学预训练语料，覆盖六主语言（HF 实挂八语言）、四类来源，CC BY-NC-SA 4.0 无门禁于 HuggingFace 公开。
2. 它的方法论核心是 MKC + DENS 双阈值的关键词规则过滤加每语言人工抽检，再叠加教材 OCR、网站爬取、小规模语料三路，兼顾规模与权威。
3. 它是一套"语料 + 基准 + 模型"三件套的数据底座——配套 MMedBench 评测显示 MMed-Llama 3.1 70B 达 80.51，超过 GPT-4 的 74.27，把语料价值兑现成可量化的模型增益。

11.2 适合谁

• 构建多语言医学 LLM、需要非英语医学预训练语料的团队；
• 研究领域语料构建方法论（规则过滤 + 抽检校准）的 NLP 研究者；
• 做中文、日语、俄语、西班牙语"低资源"医学 NLP 的团队；
• 需要医学多选题评测生态对照的基准研究者（配合 MMedBench/xmedbench）；
• 想把通用模型"医学化"、评估 continued pretraining 收益的工程团队。

11.3 不适合谁

• 需要带标注的监督数据做分类/抽取的人（MMedC 无标注，应去 MMedBench）；
• 需要病例级/患者级数据做临床建模的人（MMedC 非病例数据）；
• 想商业使用语料而不解决 CC BY-NC-SA 授权的人；
• 期望"下载即用英语完整医学语料"的人（英语教材 4B 缺席）；
• 需要图像/多模态医学数据的人（MMedC 是纯文本）。

11.4 30 秒决策卡

你的需求	结论
多语言医学预训练语料	✅ 直接下 HF Henrychur/MMedC
医学多选题评测集	➡️ 去 Henrychur/MMedBench 或库内 xmedbench(727)
商用医学大模型	⚠️ 需先解决 CC BY-NC-SA 授权
带标注监督数据	❌ MMedC 不含，另寻
英语完整医学语料	⚠️ MMedC 缺教材，需配 PMC-LLaMA
中文医学预训练语料	✅ Chinese.zip（4.74B token 量级）
病例/患者级数据	❌ 非本语料范畴

11.5 与"领域语料三问"的自检

任何一个团队要用 MMedC 做实验，动笔前先回答三个问题：

1. 我的目标语言是什么？ —— 若只有英语，MMedC 不是最优（缺教材、且英语资源另有更专的选择如 PMC-LLaMA）；若是非英语（尤其日、俄、西）或需多语言对齐，MMedC 价值凸显。
2. 我的任务需要标注吗？ —— 需要标注（分类/抽取/NER）则 MMedC 只能做预训练底料，监督信号须另寻（MMedBench 或库内 medmcqa 等）。
3. 我的部署是否商用？ —— 商用则必须先解决 CC BY-NC-SA 授权，否则只能在学术场景使用。

三问的答案决定了 MMedC 在你的管线里是"核心资产"还是"辅助资源"。

§12 三条实操清单（附录前置）

在进入 FAQ 与附录前，先给出三条最容易被忽略的实操清单，供动手前对照。

12.1 下载前 checklist

• [ ] 确认目标语言，只下需要的语言 ZIP（避免 105 GB 全量下载）
• [ ] 预留解压后磁盘空间（txt 解压通常膨胀 3-4 倍，全量可能需数百 GB）
• [ ] 国内环境改用 hf-mirror.com 镜像
• [ ] 读一遍 README 的"英语教材不在仓库"提示，避免误判英语规模
• [ ] 记录下载时的 sha（6629f0a5...），便于复现

12.2 使用前 checklist

• [ ] 把目录路径解析成 {language, source_type} 标签并保留
• [ ] 跨来源去重（MinHash/SimHash）
• [ ] 教材来源额外清理 OCR 噪声（页眉页脚/乱码）
• [ ] 语言二次校验（fastText 等）
• [ ] 明确许可边界——商用需另行授权

12.3 引用前 checklist

• [ ] token 量与 HF 存储两个口径并列，不混用
• [ ] 语言数写"6 主语言（HF 实挂 8 语言）"
• [ ] 英语规模注明"教材 4B 缺席"
• [ ] 许可精确到资产（语料/基准/论文/代码/权重各不同）
• [ ] 引文同时给 arXiv:2402.13963 与 Nat Commun 15, 8395

FAQ（高频问答 40 问）

A. 基础认知

1. MMedC 的全称是什么？
Massive Multilingual Medical Corpus，大规模多语言医学语料库。

2. 它是谁做的？
上海交通大学人工智能学院智慧医疗团队（MAGIC-AI4Med 组）与上海人工智能实验室，共 8 位作者，第一作者 Pengcheng Qiu（邱鹏程）。

3. 发表在哪？
论文《Towards Building Multilingual Language Model for Medicine》发表于 Nature Communications 15, 8395 (2024)，doi 10.1038/s41467-024-52417-z；预印本 arXiv:2402.13963。

4. 它和普通数据集有什么不同？
它是预训练语料而非监督数据集——没有标签、没有样本划分，是一大堆按语言和来源整理的纯文本，用途是给通用大模型做医学领域自适应。

5. 为什么医学 LLM 需要专门的语料？
通用模型的医学能力受限于预训练语料中医学文本的密度；且英语以外语言的医学高质量文本稀缺，需要专门构建并以统一标准对齐。

B. 数据与获取

6. 怎么下载？
HF Henrychur/MMedC，gated=false 无门禁，直接下载 MMedC.zip 或单语言 ZIP；国内走 hf-mirror.com。

7. 有多大？
约 25.5B tokens；HF usedStorage 105,143,439,302 bytes（约 105.1 GB）。

8. 覆盖哪些语言？
论文主口径 6 语言（英/中/日/法/俄/西）；HF 实挂 8 语言（增阿拉伯语、德语）。

9. 什么格式？
纯文本 txt，按"语言 × 来源"目录组织，分语言 ZIP 打包。

10. 每种语言各多少 token？
英语 10.56B、汉语 4.74B、西班牙语 4.35B、法语 2.10B、日语 2.05B、俄语 1.69B（论文表口径）。

11. 能商用吗？
MMedC 语料为 CC BY-NC-SA 4.0，禁止商业使用且衍生须相同许可，商用需另行授权。

12. 为什么英语教材不在仓库里？
版权问题。英语教材 4B token 不公开发布，README 建议参考 PMC-LLaMA。

C. 语料构建

13. 数据从哪来？
四类来源：CommonCrawl/CulturaX 过滤、>20,000 本医学教材 OCR、医学网站爬取、现成小规模语料（Wikipedia/百度百科/UFAL）。

14. 怎么筛医学内容？
用 MKC（唯一医学关键词计数）+ DENS（关键词密度）双阈值，每语言 200 个医学术语，MKC>T_C 且 DENS>T_D 才保留。

15. 教材怎么处理？
PaddleOCR 识别文本框，按左→右上→下重排为正文，剔除封面/目录/后记等非正文页。

16. 过滤质量怎么保证？
每语言随机抽 100 句人工判定，平均 98 句被确认为医学相关（约 98% 精度）。

17. 分词差异怎么处理？
有空格词界的语言先分词再匹配；中文、日语等无词界语言直接串匹配。

D. 基准与模型

18. MMedBench 是什么？
同团队的多语言医学多选题基准，53,566 QA 对（训练 45,048 + 测试 8,518），6 语言，21 医学领域。

19. MMedBench 的题是翻译来的吗？
不是。题目直接取自各国真实医学考试：英语/中文用 MedQA，日语用 IgakuQA，法语用 FrenchMedMCQA，俄语用 RuMedDaNet，西班牙语用 Head-QA。

20. 什么是 rationale 子集？
1,136 条经三名标注者人工核验的理由句样本，用于评估模型的推理（解释）能力。

21. MMedC 训出了哪些模型？
MMedLM(7B)、MMedLM 2(7B/1.8B)、MMed-Llama 3-8B、MMed-Llama 3-8B-EnIns、MMed-Llama 3.1-70B。

22. 效果如何？
MMed-Llama 3.1 70B 在 MMedBench 达 80.51，超 GPT-4 的 74.27；MMed-Llama 3 8B（67.75）比基座 Llama 3 8B（62.79）高约 5 分。

23. 训练要多少算力？
README 提示至少 8 张 A100 80GB GPU 训练一个多月。

E. 生产与库内

24. 库内哪个条目和它最像？
xmedbench(727)——同为多语言医学 MCQA 方向，但 xmedbench 是评测集、MMedC 是训练语料。

25. 库内哪些条目是它的血缘上游？
medqa(50) 是 MMedBench 的英语/中文来源数据集；pubmedqa(49)、medmcqa(111) 同处医学 MCQA 生态。

26. 它和 multimedbench(129) 什么关系？
同属多语言医学评测生态，但 multimedbench 是 Med-PaLM M 的多模态多任务基准，定位不同。

27. 中文部分有多少？
论文表汉语合计 4.74B token（过滤 3.34 + 教材 1.21 + 小规模 0.19）。

F. 复现与工程细节

28. 代码在哪？
GitHub MAGIC-AI4Med/MMedLM，含 pretrain/finetune/inference/data_collection 四部分；代码许可 CC BY-SA。

29. 数据预处理代码开源吗？
开源。data_collection 文件夹含数据过滤与教材 OCR 流程（OCR 另需额外依赖）。

30. 医学术语清单在哪？
发布在 GitHub 仓库，六语言共 1,200 个术语。

31. 模型权重许可？
MMedLM/MMedLM 2 为 Apache-2.0；MMed-Llama 3/3.1 为 Llama 3 community license。

32. 排行榜在哪？
https://henrychur.github.io/MultilingualMedQA/。

G. 常见误读纠正

33. “MMedC 是 105 GB 的数据集”——对吗？
不完整。105 GB 是压缩文件字节数，约 25.5B token 才是语料规模。两个口径不可混用。

34. "MMedC 覆盖 8 种语言"和"覆盖 6 种语言"哪个对？
都对，取决于口径：论文主口径 6 语言，HF 仓库实挂 8 语言（增阿拉伯语、德语）。规范写法是"6 主语言（HF 实挂 8 语言）"。

35. “MMedC 可以商用因为论文是 CC BY 4.0”——对吗？
不对。论文是 CC BY 4.0，但语料本体是 CC BY-NC-SA 4.0，禁商用且有 SA 传染性。资产许可须分别看。

36. “下载 MMedC 就等于拿到完整英语医学语料”——对吗？
不对。英语教材 4B token 因版权不在仓库，需另配 PMC-LLaMA。

37. “MMedC 里有标注可以训练分类模型”——对吗？
不对。它是无标注的纯文本预训练语料。

38. “MMedC 和 MMedBench 是同一个东西吗？”
不是。MMedC 是训练语料（25.5B token），MMedBench 是评测基准（53,566 QA 对），许可也不同。

39. “Arabic/German 各 0.64B/1.54B token 有论文背书吗？”
没有。论文未给这两个语言的 token 量，只在"未来扩展"中提及；具体数字是二次来源且无一手支撑。

40. “MMed-Llama 3.1 70B 超过 GPT-4 意味着开源全面胜出吗？”
不。这是单一基准（MMedBench 多选题）且评测设置不同（GPT-4 zero-shot，开源模型先微调）下的结果，不能外推为全面超越。

---

事实清单（硬事实 34 条）

1. MMedC 全称 Massive Multilingual Medical Corpus，约 25.5B tokens。
2. 构建方为上海交大人工智能学院 + 上海人工智能实验室，8 位作者。
3. 论文 arXiv:2402.13963（v1 提交 2024-02-21，v4 2024-06-02）。
4. 正式发表 Nature Communications 15, 8395 (2024)，doi 10.1038/s41467-024-52417-z。
5. HF Henrychur/MMedC createdAt 2024-02-20，lastModified 2024-07-25。
6. HF usedStorage 105,143,439,302 bytes（约 105.1 GB）。
7. 论文六主语言 token 分布：英 10.56 / 中 4.74 / 西 4.35 / 法 2.10 / 日 2.05 / 俄 1.69（十亿）。
8. 英语约占总 token 42%，俄语约 7%。
9. HF 仓库实挂 8 个语言 ZIP（含 Arabic.zip、German.zip）。
10. 四类来源：通用语料过滤、医学教材 OCR、医学网站、小规模语料。
11. 通用过滤起点为 CulturaX（CommonCrawl 多语言版，6.3 万亿 token）。
12. 每语言 200 个医学术语，六语言共 1,200 个。
13. 过滤判据为 MKC（唯一关键词计数）+ DENS（关键词密度）双阈值。
14. 过滤质量核验：每语言抽 100 句，平均 98 句判为医学相关。
15. 教材收集 >20,000 本，用 PaddleOCR 识别。
16. 教材提取量：英 4B / 中 1.1B / 俄 0.4B / 法 0.3B token。
17. 网站提取量：日 0.1B / 西 0.05B / 法 0.1M token。
18. 小规模语料含 Wikipedia、百度百科、UFAL Medical Corpus。
19. 语料格式为纯文本 txt，按语言 × 来源目录组织。
20. 英语教材 4B token 因版权不随 HF 仓库发布。
21. MMedC 许可 CC BY-NC-SA 4.0；MMedBench 许可 CC BY-NC 4.0。
22. 论文本体 CC BY 4.0；代码 CC BY-SA；MMedLM 权重 Apache-2.0。
23. MMedC/MBench 均 gated=false 无门禁。
24. HF 版本 sha 6629f0a54ae73b6f32d42476b2b9e90ff96035fd。
25. MMedBench 共 53,566 QA 对，训练 45,048 + 测试 8,518。
26. MMedBench 覆盖 21 医学领域（论文自述；实列 20 项）。
27. rationale 人工核验子集 1,136 条；GPT-4 生成理由 94.7% 合格。
28. MMedBench 来源数据集：MedQA、IgakuQA、FrenchMedMCQA、RuMedDaNet、Head-QA。
29. MMed-Llama 3.1 70B 在 MMedBench 达 80.51，超 GPT-4 的 74.27。
30. MMed-Llama 3 8B 达 67.75，比基座 Llama 3 8B 的 62.79 高约 5 分。
31. MMedLM 2-1.8B 达 48.75，超多数 7B 通用模型。
32. 模型家族：MMedLM(7B)、MMedLM 2(7B/1.8B)、MMed-Llama 3-8B/EnIns、MMed-Llama 3.1-70B。
33. 训练环境 A100 80GB + Slurm，至少 8 卡训练一个多月。
34. 排行榜 https://henrychur.github.io/MultilingualMedQA/。

---

术语表（28 条）

术语	释义
MMEdC	Massive Multilingual Medical Corpus，本条语料
MMedBench	同团队多语言医学多选题问答基准
MMEdLM	基于 InternLM 的医学基座模型（7B）
MMEdLM 2	MMedLM 第二代（7B/1.8B）
MMEd-Llama 3	基于 Llama 3 的医学基座模型（8B）
自回归持续预训练	在通用基座上用领域语料继续做 next-token 预训练
token	分词后的语言单元，语料规模的度量单位
CulturaX	CommonCrawl 的多语言清洗版（167 语言，6.3T token）
CommonCrawl	公开网页抓取语料库
MKC	Medical Keyword Count，文本中唯一医学关键词计数
DENS	Keyword Density，医学关键词占文本长度的比例
MKC/DENS 双阈值	同时满足关键词计数与密度阈值才判为医学文本
PaddleOCR	百度开源的 OCR 引擎，擅多语言
OCR	光学字符识别
非正文页剔除	识别并删除封面/目录/后记等页面
rationale	多选题的答案解释句
MCQA	多选题问答（multi-choice QA）
MedQA	基于 USMLE 的医学多选题数据集
IgakuQA	日本执业医师考试题数据集
FrenchMedMCQA	法国药学考试多选题数据集
RuMedDaNet	俄罗斯医学判断题数据集
Head-QA	西班牙医疗职位考试问答数据集
UFAL Medical Corpus	面向翻译的医学平行语料
百度百科	中文众包百科，MMedC 中文小规模语料来源
CC BY-NC-SA 4.0	署名-非商业-相同方式共享许可（MMedC 语料）
CC BY-NC 4.0	署名-非商业许可（MMedBench）
门禁（gated）	HF 数据集是否需申请下载；MMedC 为 false
A100 80GB	NVIDIA 显卡型号，训练硬件
Slurm	集群作业调度系统
全参微调 / PEFT	两种微调方式：全参数更新 / 参数高效微调

---

附录

附录 A：条目信息速查卡

项	值
条目名	MMedC
url_name	mmedc
类型	多语言医学预训练语料（三件套之数据底座）
论文	Nat Commun 15, 8395 (2024)；arXiv:2402.13963
团队	上海交大人工智能学院 + 上海 AI Lab
规模	约 25.5B token；HF 105.1 GB
语言	6 主语言（HF 实挂 8 语言）
许可	语料 CC BY-NC-SA 4.0
抓取时点	2026-10-16
库内互链	xmedbench(727)/medqa(50)/medmcqa(111)/multimedbench(129)/pubmedqa(49)/cmedqa2(825)

附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	9	论文开放获取 + HF 数据集页 + GitHub 仓库 + 排行榜四入口，索引充分；MMedC/MMedBench 命名相近略有混淆风险
A 可获取性	9	gated=false 无门禁、直接下载、分语言 ZIP；唯一缺口是英语教材 4B 因版权缺席
I 可互操作	8	纯文本 txt 通用性极强，任何框架可读；但无标准 schema/元数据字段，来源信息仅存于目录结构
M 元数据质量	7	论文表格与过滤规则完备，术语清单开源；但 Arabic/German token 量缺失、21/20 领域表述不一致、语言数 6/8 双口径
S 可持续性	8	依托 HF 平台与活跃团队（2025 年仍发新模型）；sha 固定、版本可追溯；语料本体非商业许可对长期复用有一定限制
综合评级	8.2/10（优秀）	学术获取门槛极低、文档与方法论清晰；被非商业许可与元数据小瑕疵轻微拉低

附录 C：逐项证据链自证

关键数字	来源	位置
25.5B tokens	论文摘要 / HF README	arXiv / HF
六语言 token 分布	论文 Table	arXiv / HF README
MKC/DENS 双阈值	论文方法节	arXiv HTML
每语言 200 术语、共 1,200	论文方法节	arXiv HTML
教材 >20,000 本	论文方法节	arXiv HTML
PaddleOCR / 非正文页剔除	论文方法节	arXiv HTML
98/100 句抽检	论文方法节	arXiv HTML
HF 存储 105.1 GB / 8 ZIP / gated=false	HF API 实测	hf-mirror API 2026-10-16
CC BY-NC-SA 4.0（MMedC）	HF cardData	hf-mirror API
CC BY-NC 4.0（MMedBench）	HF cardData	hf-mirror API
53,566 QA / 45,048+8,518	HF MMedBench README / 论文	HF / arXiv
1,136 rationale 子集	论文方法节	arXiv HTML
80.51 vs 74.27	GitHub README 主表	GitHub
作者机构 SJTU + Shanghai AI Lab	论文作者栏	arXiv HTML

附录 D：数据获取决策树

需求是什么？
├── 多语言医学预训练语料
│   └── HF Henrychur/MMedC（gated=false，CC BY-NC-SA）
│       ├── 只做中文 → Chinese.zip
│       ├── 只做英文 → English.zip（注意无教材）
│       └── 多语言 → 全部语言 ZIP
├── 医学多选题评测集
│   ├── 多语言医学 MCQA → MMedBench 或库内 xmedbench(727)
│   └── 印度/英语 MCQA → medmcqa(111) / medqa(50)
├── 商用授权
│   └── ⚠️ 需联系团队取得 NC 豁免，公开通道未见
└── 带标注监督数据
    └── ❌ 不在 MMedC，去 MMedBench 或库内问答基准

附录 E：MMedBench 六语言来源对照表

语言	来源数据集	考试来源	官方划分
英语	MedQA	USMLE 美国执业医师考试	官方
中文（简/繁）	MedQA	USMLE（简体中文部分）	官方
日语	IgakuQA	日本执业医师考试（2018-2022）	无（随机 8:1:1）
法语	FrenchMedMCQA	法国药学专科文凭考试	官方
俄语	RuMedDaNet	俄罗斯医学判断题（转二选一）	官方
西班牙语	Head-QA	西班牙医疗职位考试	官方

附录 F：四类来源规格总表

来源	规模要点	处理方式	主要贡献
通用语料过滤	CulturaX 6.3T 起	MKC+DENS 双阈值	各语言主体 token
医学教材 OCR	>20,000 本	PaddleOCR + 去非正文页	权威表达（英/中/俄/法）
医学网站	百科/咨询/新闻	爬取	时效与常识（日/西/法）
小规模语料	Wikipedia/百度百科/UFAL	同款过滤/直接使用	结构化知识（法/中）

附录 G：模型家族总表

模型	参数	基座	发布日	权重许可
MMedLM	7B	InternLM	2024-02-20	Apache-2.0
MMedLM 2	7B	InternLM 2	2024-02-20	Apache-2.0
MMedLM 2-1.8B	1.8B	InternLM 2-1.8B	2024-03-01	Apache-2.0
MMed-Llama 3-8B	8B	Llama 3	2024-05-24	Llama 3 community
MMed-Llama 3-8B-EnIns	8B	Llama 3	2024-05-24	Llama 3 community
MMed-Llama 3.1-70B	70B	Llama 3.1-70B	2025-03-07	Llama 3 community

附录 H：时间线总表

时间	事件
2024-02-20	MMedC、MMedBench 数据集发布；MMedLM/MMedLM 2 模型发布
2024-02-21	arXiv 预印本 v1 发布；排行榜上线
2024-03-01	MMedLM 2-1.8B 发布
2024-05-24	MMed-Llama 3-8B 及 EnIns 版发布
2024-06-02	arXiv v4（最终版）
2024-07-25	HF MMedC 更新（挂 Arabic/German ZIP）
2024-09-27	论文被 Nature Communications 接受
2025-03-07	MMed-Llama 3.1-70B 发布

附录 I：许可分层速查

资产	许可	商用	SA 传染
MMedC 语料	CC BY-NC-SA 4.0	否	是
MMedBench	CC BY-NC 4.0	否	否
论文	CC BY 4.0	是	否
代码	CC BY-SA	是	是
MMedLM/MMedLM 2 权重	Apache-2.0	是	否
MMed-Llama 3/3.1 权重	Llama 3 community	附条件	附条件

附录 J：双口径登记表

项	口径 A	口径 B	采用
语言数	论文 6 主语言	HF 实挂 8 语言	称 8（HF 实挂），并存照论文 6
英语 token	论文 10.56B	HF 可下载 6.56B	并列，注明教材缺席
医学领域数	论文自述 21	实列 20	称 21（自述）/实列 20
最终模型	GitHub 段 MMedLM 2(7B)	arXiv/Nature MMed-Llama 3(8B)	并存照，注明阶段

附录 K：与库内条目的关系声明

• xmedbench(727)：最直接对标，同为多语言医学 MCQA 方向（MMedC=语料，xmedbench=评测集）。
• medqa(50)：MMedBench 英语/中文来源数据集，血缘上游。
• medmcqa(111)：印度医学多选题基准，同域近邻。
• multimedbench(129)：Med-PaLM M 多模态多任务基准，多语言评测对照。
• pubmedqa(49)：PubMed 问答基准，英语来源生态相邻。
• cmedqa2(825)：中文医疗问答答案选择基准，中文生态近邻。
• semmeddb(836)：NLM 语义谓词库，医学文本语义生态。

附录 L：维护计划与触发点

触发点	动作
HF 仓库新增语言 ZIP	更新 §2.3 语言表与坑 3
论文正式版给出 Arabic/German token 量	解除 §9 遗留疑点 1
团队发布新模型	更新附录 G/H 与 §7 榜单
许可条款变更	更新附录 I 与 §6.2
HF 仓库 sha 变更	更新 §6.1 版本指认

附录 M：检索关键词速查

中英文检索词：MMedC、MMedBench、MMedLM、MMed-Llama 3、多语言医学语料、multilingual medical corpus、医学大语言模型、medical LLM、continued pretraining、MKC、DENS、CulturaX、PaddleOCR、Shanghai Jiao Tong University、上海交通大学、MAGIC-AI4Med。

附录 N：术语过滤规则伪代码

输入: 目标语言 L, 通用语料 D_L, 医学术语表 K_L (|K_L|=200),
      阈值 T_C, T_D
输出: 语言 L 的医学子语料 M_L

M_L = []
for text T in D_L:
    if L 有空格词界:
        tokens = word_tokenize(T)
        K_U = {k | k ∈ K_L and k ∈ tokens}
    else:
        K_U = {k | k ∈ K_L and k in T}   # 直接串匹配
    MKC  = len(K_U)
    DENS = sum(len(k) * count(k, T) for k in K_L) / len(T)
    if MKC > T_C and DENS > T_D:
        M_L.append(T)
return M_L

（伪代码按论文方法节描述重构，非官方实现；官方实现见 GitHub data_collection 文件夹。）

附录 O：教材 OCR 流程骨架

对于每本教材 book:
    对于每页 page:
        若 page 是 封面/目录/后记:  # 按页码识别
            continue
        boxes = PaddleOCR(page)
        # boxes: 每个含 {坐标, 文本}
        按 (top, left) 排序:  # 先上→下, 同高再左→右
            sorted_boxes = sort(boxes, key=(y, x))
        for b in sorted_boxes:
            写入正文流(b.text)

附录 P：逐语言来源贡献对照

语言	主贡献来源	次贡献来源	特殊说明
英语	过滤内容 6.56B	教材 4.00B（不在仓库）	规模最大
汉语	过滤内容 3.34B	教材 1.21B	含百度百科
西班牙语	过滤内容 3.98B	教材 0.31B	含 Head-QA 生态
法语	过滤内容 1.90B	小规模 0.17B	含网站 0.1M
日语	过滤内容 1.93B	网站 0.10B	无教材贡献
俄语	过滤内容 1.29B	教材 0.40B	教材占比最高

附录 Q：证据强度分级

事实类别	证据强度	说明
token 分布、规模	强	论文表 + HF README 双源一致
过滤方法（MKC/DENS）	强	论文方法节详细描述
许可条款	强	HF cardData 实测
HF 存储/门禁状态	强	HF API 实测
榜单分数	中强	GitHub 主表，单源于团队
Arabic/German token 量	弱	仅二次来源，无一手支撑
Nature 卷期页码	中	二手索引页，未一手核对

附录 R：坑点档案（与 §10 对照）

坑号	一句话	触发后果
坑 1	混淆 MMedC/MMedBench	规模与许可写错
坑 2	以为 HF=论文 25.5B	高估可下载量
坑 3	语言数 6 vs 8	引述矛盾
坑 4	忽略 SA 条款	衍生再分发违规
坑 5	开放=可商用	商用侵权风险
坑 6	当监督数据集	找不到标注
坑 7	21 vs 20 领域	数字以讹传讹
坑 8	Arabic/German token 无背书	引用失据
坑 9	英语部分不完整	缺少教材表达
坑 10	论文许可混同数据许可	许可误读

附录 S：六语言医学术语过滤的语言学考量

语言	分词方式	过滤难点
英语	空格分词	术语形态变化（复数/词形）
西班牙语	空格分词	重音符号与变位
法语	空格分词	连字符复合词
俄语	空格分词	西里尔字母与格变化
汉语	直接串匹配	无词界、术语长短不一
日语	直接串匹配	假名/汉字混合、无词界

附录 T：面向不同读者的阅读路径

读者	推荐路径
数据工程	§2 → §4 → §12 → 附录 D/O
语料方法论研究者	§3 → §8 → 附录 N/O
模型训练者	§5 → §7 → §6 → 附录 G
合规/法务	§6.2 → 附录 I → 坑 4/5/10
只想快速判断	§0 → §1 → §11.4 决策卡

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• aci-bench — 共享标签：医学问答与基准 / 医疗NLP / 多模态 / 临床文本
• open-pmc — 共享标签：医疗NLP / 生物医学文献 / 多模态
• pmc-oa-subset — 共享标签：医疗NLP / 生物医学文献 / 临床文本
• pmc-vqa — 共享标签：医疗NLP / 生物医学文献 / 多模态
• medicat — 共享标签：医疗NLP / 生物医学文献 / 多模态
• pmc-oa — 共享标签：医疗NLP / 生物医学文献 / 多模态
• tcm-pretrain-shizheng — 共享标签：医疗NLP / 生物医学文献 / 多模态
• lunguage — 共享标签：医学问答与基准 / 医疗NLP / 临床文本
• cohortx — 共享标签：医学问答与基准 / 医疗NLP / 生物医学文献 / 临床文本
• clicr — 共享标签：医学问答与基准 / 医疗NLP / 临床文本

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。