信息速览
INFOBOX — TCM-Pretrain-Data-ShizhenGPT 一屏速览
维度 内容 本质 「神农」ShizhenGPT 的开源预训练语料，共 5 个子集（2 文本 + 2 图文交错 + 1 合成） 系列 「岐黄问道·大模型」中的「神农」（系列名按任务口径，论文/README 未背书） 团队 FreedomIntelligence；通讯 Benyou Wang（王本友），中文大学（深圳） 论文 arXiv:2508.14706，2025-08-20（v1）；GitHub FreedomIntelligence/ShizhenGPT2025-08-18 建仓文本 Book_Corpus 3,256 本 / ~0.5B token；Web_Corpus >5B token 图文交错 Book：41,459 条 / 50,690 图（306 本书）；Web：505,465 条 / 1,143,954 图 合成 synthesized_vision：144,239 条 / 159,534 图，描述由 GPT-4o 生成 体量 README 口径 ~6B token；HF 页面 222 GB、2,916,667 行 许可 未公开（仓库 license 字段为空，论文无声明） 信号 声音/脉搏/气味不发布（隐私伦理原因） 下游 ShizhenGPT-7B/32B 的 LLM、VL、Omni 三形态；HF 上 14 个派生模型 基准 TCM-Text-Exams（1,088 题）+ TCM-Vision-Benchmark（7,204 题） 库内互链 huatuo-26m(823)、tcm-tongue(1052)、tcmssd(1054)、mtcmb(1108)、nb-tcm-chm(1116)
TCM-Pretrain-Data-ShizhenGPT 是「神农」大模型 ShizhenGPT 的开源预训练底座，也是目前公开渠道中体量最大的中医语料集合之一。它的名字里没有「Dataset」这个常见的谦辞，而是直白地标出了两件事：这是预训练数据，这是给 ShizhenGPT 用的。它由五个部分拼成，最容易被误读的地方恰恰在于——这五个部分不是同一类东西。前两个（TCM_Book_Corpus、TCM_Web_Corpus）是纯文本；中间两个（TCM_Book_Interleaved_Data、TCM_Web_Interleaved_Data）是图文交错的序列——文本与图像按书本或网页里的出场顺序交替排列，供多模态模型学习「图文共现」；最后一个（TCM_pretrain_synthesized_vision）里，图像的描述文本是 GPT-4o 生成的合成文本，必须与前三类真实语料分开对待。
导语读法三则：
- 只想拿语料训模型：直奔 §2 与 §6——先认清五个子集各自是什么，再确认许可未明这一硬约束。
- 关心「中医多模态」到底怎么做的：读 §3 的两条流水线（书籍 PDF 解析与网页图文抽取）与 §4 的合成那一节。
- 关心能不能信、能不能商用：读 §7 的许可与获取、§9 的坑点清单与 §10 的口径对照表——本条目专门为「卡片数字 vs 论文数字」的分歧列了对照。
§0 导读：这个数据集解决什么问题
中医药领域做语言模型，长期卡在两件事上。第一件是数据稀缺：英文医学文本有 PubMed 千万级摘要托底，而中医的经典著作、统编教材、临床医案、药材图谱分散在纸质书、扫描 PDF、公众号文章与各类门户网站里，公开可得且清洗干净的语料规模远小于西医。第二件是诊断的多模态性：中医的四诊「望闻问切」本身就是感官性的——望舌、望面色、闻声嗅气、按脉——传统纯文本大模型天然接不住这些信号。
ShizhenGPT 团队的应对思路，在这份预训练数据集里体现得相当直白：把能拿到的文本尽量做多（书籍 + 网页）、把能配对的图像尽量配对（书本插图 + 公众号配图）、把配不上文字的图像用多模态大模型合成描述、把暂时不能公开的信号（声音、脉搏、气味）先放进论文与指令数据集而不进预训练集。于是就有了五件套：两个文本子集、两个图文交错子集、一个合成子集。
这个思路解决了什么，也决定了它的边界在哪里。解决了：中文语境下第一次有一个百万级条目、百万级图像、两百 GB 量级的中医预训练语料可以公开下载，且自带一套从教材到网页、从文字到图文的完整配比设计。没解决：许可未声明、真伪语料混装、采集截止 2023 年 6 月、信号模态缺席、质量全靠模型打分而无人审抽样报告。这五个「没解决」，正是本条目后文反复提示的检索与使用风险。
读这个条目要知道的一件事：它不是一个「标准数据集发布」，而是一个「模型论文的附随数据发布」。数据集卡片写在 HuggingFace 上，数字口径来自仓库 README 与论文正文两个来源，两者有多处对不上（详见 §10）。遇到任何具体数字，第一反应应当是问「这个数字出自卡片还是论文」。
§1 数据集速览：二十问速答
Q1：它的官方名字到底叫什么？
HuggingFace 与 ModelScope 上的 repo 全名是 FreedomIntelligence/TCM-Pretrain-Data-ShizhenGPT。GitHub 上没有同名数据仓库，只有模型仓库 FreedomIntelligence/ShizhenGPT，数据集通过 README 里的 HF 链接分发。任务头里「岐黄问道·大模型」是系列层面的中文口径，论文与 README 的英文正文均未使用该名称——本条目沿用系列口径作背景，但不把它当作官方自称。
Q2：五个子集分别是什么？
TCM_Book_Corpus（文本）、TCM_Web_Corpus（文本）、TCM_Book_Interleaved_Data（图文交错）、TCM_Web_Interleaved_Data（图文交错）、TCM_pretrain_synthesized_vision（合成图文）。前四个的文本都是真实文本，第五个的描述文本是模型生成的。
Q3：为什么叫「交错」（interleaved）而不是「图文对」？
交错指的是一种序列组织方式：一张图出现在它原本所在的段落之后（或之前），文本与图像按自然阅读顺序串成一条长序列，模型在一次前向里同时看到「这段文字 + 紧跟的这张图」。这与 CLIP 式的独立图文对训练不同，更接近 Flamingo/IDEFICS 一脉的文档级多模态建模。
Q4：规模到底多大？
README 给的是 ~6B token。卡片给的是 Book ~0.5B + Web >5B。论文的方法节按 epoch 计：书籍 3.8GB 训 2 个 epoch 合 0.96B token，网页 21.2GB 合 5.33B token。HuggingFace 页面显示总体积 222 GB、2,916,667 行。这几个数不是同一个口径，不能相加混用。
Q5：数据从哪来？
书籍：收集约 5,000 本中医古籍与教材，清洗后保留 3,256 本，用 MinerU 把扫描 PDF 解析成图文交错内容。网页：Common Crawl 2017–2023（取自 OmniCorpus 的中文子集）用 30K 词中医药词典抽取，得 33.2GB 初筛；微信公众号文章（2023 年 6 月前）63.2GB；两步过滤后合成 21.2GB 正文。
Q6：清洗是怎么做的？
两步。第一步质量打分：用 DeepSeek-V3 给样本打 1–5 分，训练一个基于 text2vec-base-chinese 的分类器，再让它给全量语料打分，剔除低分与垃圾内容。第二步语义去重：算文本嵌入的余弦相似度，消掉高相似冗余。
Q7：图像是怎么筛出来的？
从约 500 万张微信配图中，用一个在 GPT-4o 标注数据上微调过的 CLIP 视觉分类器筛出中医相关图像，最终留下 1,143,954 张进入网页图文交错集。
Q8：合成部分做了什么？
synthesized_vision 子集的图像本身来自前两族，文本描述由模型依据「图像 + 其原始上下文」生成。卡片写的是 GPT-4o；论文正文写「多模态 LLM」，方法节里提到的是 Doubao-1.5-vision-pro。这是本条目最需要标注的双口径之一（§10 第 4 条）。
Q9：能不能商用？
无法从公开信息判断。 GitHub API 返回的 license 字段为 null，论文没有任何许可证声明段落，HF 卡片上的 license 字段在本次抓取中未能取得。可下载不等于可商用，先联系作者。
Q10：它和 ShizhenGPT 模型是什么关系？
它是模型的两个训练数据源之一（另一个是 27K 条指令数据集）。README 明确写了：预训练数据集用于「注入中医知识并对齐视觉与听觉理解」，指令数据集用于「提升指令遵循与回答质量」。
Q11（补充追问）：为什么这份数据集「看起来」很复杂？
因为它是五种数据契约捆在一个 repo 里：文本有文本的字段、交错有交错的序列结构、合成有合成的标注要求。把它们当成一份「数据集」使用，就会反复在字段层踩坑。
Q12（补充追问）：任务头说的「5 个部分」和 README 说的「两个数据集」矛盾吗？
不矛盾。README 说的是「预训练数据集 + 指令数据集」，指的是两个 repo；预训练数据集内部又分为五个子集。层级不同：repo 层两个，子集层五个。
Q13（补充追问）：3,256 本书中有多少是真正的古籍？
未公开。论文只说「收集约 5,000 本，清洗后保留 3,256 本」，没有披露古籍与今人教材的构成比例。
Q14（补充追问）：语料里有没有《黄帝内经》《伤寒论》这类原典？
极可能有（书籍收集覆盖中医经典），但具体书目未公开，无法逐本核对。做原典文本研究时，建议另行获取可信版本。
Q15（补充追问）：网页语料含不含问答平台（如某某问答网站）的内容？
只披露了 Common Crawl 子集与微信公众号两路来源，问答平台是否包含在 Common Crawl 抽取范围内，未明确。
Q16（补充追问）：能用来做中医知识图谱抽取吗？
可以，但需要自己完成实体识别与关系抽取，语料不提供任何标注。
Q17（补充追问）：图像有标注吗？
没有。图像仅与其上下文文本共现，没有实体名、类别、部位等结构化标注。
Q18（补充追问）：合成子集的 GPT-4o 提示词公开吗？
论文图 6 给出了提示词内容，但未提供可直接复制的完整调用脚本。
Q19（补充追问）：能不能只买/只下载 100 万张图那一部分？
HuggingFace 支持按文件下载，但各子集的目录结构未在本次抓取中确认（见坑 10）。
Q20（补充追问）：和「中医典籍知识库」有什么区别？
知识库是结构化的（实体-关系-属性），本数据集是非结构化语料。前者可直接查询，后者需先建模。
§2 数据构成与规格：五个子集逐一拆解
要正确使用这份语料，第一步是把五个子集当成五份独立的数据契约来读，而不是一个整体。
§2.1 TCM_Book_Corpus（文本）
官方卡片口径：3,256 本中医教材，约 0.5B token。论文补充了上游：收集约 5,000 本，清洗后保留 3,256 本，保留标准是质量与可解析性；解析工具是 MinerU（上海人工智能实验室开源的高精度 PDF 解析工具，能把扫描页里的版面、表格、插图分离出来）。解析后剔除了封面、目录等无正文价值的页，最终 3.8GB 纯文本。
这里有一个容易被忽略的细节：同一批 3,256 本书，既产出了 Book_Corpus，也产出了 Book_Interleaved_Data。论文对书籍图文交错的描述是「从 3,256 本中取插图数超过 50 的 306 本」，因此两个子集是同一书库的两种视图——纯文本视图与图文交错视图。做纯文本预训练用前者，做多模态对齐用后者，不应把两者当作互不相干的数据源重复计入总量。
§2.2 TCM_Web_Corpus（文本）
这是体量最大的部分，卡片口径 >5B token，论文口径 21.2GB / 5.33B token。它的两路来源性质不同：
- Common Crawl 2017–2023 子集：取自 OmniCorpus 的 Common Crawl 部分，用一个 30K 规模的中医药词典做关键词抽取，初筛得 33.2GB。这一路的好处是有年份跨度、覆盖各类中医门户与百科；坏处是网页噪音、广告、重复转载比例高，必须依赖质量分类器。
- 微信公众号文章：2023 年 6 月之前采集，63.2GB。这一路是中医科普与临床经验分享的高密度区，也是这份语料最「有中医味道」的部分；但它同时是版权与隐私风险最高的一路——公众号文章的作者权归属、以及文中可能出现的患者信息，都不在公开说明的处理范围内。
两路初筛合计约 96GB，经质量打分与语义去重后收敛到 21.2GB，压缩比接近 4.5:1。这个压缩比本身就是一个值得记录的事实：它说明原始网页文本的「有效信息密度」相当低。
§2.3 TCM_Book_Interleaved_Data（图文交错）
官方卡片口径：来自 306 本中医书籍，41,459 条条目，50,690 张图像。论文口径：306 本（筛选条件为插图数 > 50），51,619 张图像，17.6GB，训 2 个 epoch 合 0.14B token。
两个图像数 50,690 与 51,619 差 929 张——这是卡片与论文之间最干净的一处口径差，很可能来自「去重后保留」与「解析后原始抽取」两种统计时点。使用时若需要精确图像数以卡片为准（与文件内容一致的应是卡片），引用论文方法时以 51,619 为准并注明。
这一子集的价值在于版式语义：中医教材里「图 3-2 手太阴肺经循行示意图」这类内容，图文强绑定，图像剥离上下文后几乎没有价值；交错格式保留了这种绑定关系，是多模态模型学习中医「看图谱」能力的关键。
§2.4 TCM_Web_Interleaved_Data（图文交错）
官方卡片口径：505,465 条条目，1,143,954 张图像。论文口径：从约 500 万张微信图像中筛出 1,143,954 张，140.7GB，合 0.87B token。
这是整份数据集中图像数量最大的部分，也是「网页图文交错」这一构想在中医领域的最大规模实现。它的图像筛选依赖一个在 GPT-4o 标注数据上微调的 CLIP 分类器，这意味着图像的「中医相关性」标签本身是模型判断的结果，而非人工审核——分类器的假阳性（把普通植物照片判为中药材）与假阴性（漏掉舌象照片）都会直接传导到下游。
140.7GB 的体量对应 114 万张图像，平均每张图连带约 123KB 的存储，这个比例提示里面包含的是常规分辨率配图而非高清图谱。
§2.5 TCM_pretrain_synthesized_vision（合成图文，务必标注）
官方卡片口径：144,239 条条目，159,534 张图像，描述文本「generated from images and their context using GPT-4o」。论文口径：146,635 张图像，40.6GB，训 2 个 epoch 合 0.16B token，描述由「多模态 LLM」生成。
这一子集的合成性质必须被显式标注，理由有三：
- 文本不是原作者写的。它为图像生成的描述是模型对图像的「解释」，可能与原书/原文的图注不一致，也可能包含模型自身的幻觉。
- 图像是真的，文本是假的。因此它不适合用来做「中医图文事实核查」的语料，只适合用来做「图-文对齐训练」的增广。
- 它会放大上游错误。如果 CLIP 分类器误判了一张普通照片为药材图，GPT-4o 会据此写出一段「专业」的药材描述，错误从图像层传导到文本层并被「洗白」。
在数据集的处理谱系上，这类数据属于典型的 synthetic augmentation（合成增广），而非 collected corpus（采集语料）。本条目在 §4 单独用一节讨论它的生成机制与风险。
§2.6 五子集规格总表
| 子集 | 类别 | 条目数（卡片） | 图像数（卡片） | 图像数（论文） | 论文体积 | 论文 token | 真实性 |
|---|---|---|---|---|---|---|---|
| TCM_Book_Corpus | 文本 | 3,256 本 | — | — | 3.8 GB | 0.96B（2 epoch） | 真实 |
| TCM_Web_Corpus | 文本 | 未公开 | — | — | 21.2 GB | 5.33B | 真实 |
| TCM_Book_Interleaved_Data | 图文交错 | 41,459 | 50,690 | 51,619 | 17.6 GB | 0.14B（2 epoch） | 真实 |
| TCM_Web_Interleaved_Data | 图文交错 | 505,465 | 1,143,954 | 1,143,954 | 140.7 GB | 0.87B | 真实 |
| TCM_pretrain_synthesized_vision | 合成图文 | 144,239 | 159,534 | 146,635 | 40.6 GB | 0.16B（2 epoch） | 图像真、文本合成 |
| 合计（HF 页面实测） | — | 2,916,667 行 | — | — | 222 GB | — | — |
表中的「条目数」与 HF 页面的 2,916,667 行不是同一层级：卡片里的 entries 是该子集的语料条目，而 HF 的 rows 是数据集查看器统计的样本行，包含训练分片的切分方式差异。两者都真实，但不可互相换算。
§2.7 一个「模板语料」的自我认识
把五个子集放在一起看，可以读出一条清晰的构建逻辑：先有书，再有网；先有文，再有图；先有真，再补合成。
- 「先有书」是因为教材的可信度最高、体系化程度最好，是中医知识的主干；
- 「再有网」是因为教材覆盖面有限、更新滞后，网页与公众号补充了临床经验、民间用法与最新讨论；
- 「先有文」是因为纯文本预训练是第一阶段（论文的 Stage 1）；
- 「再有图」是因为多模态对齐必须在第二阶段（Stage 2）单独做；
- 「先有真，再补合成」是因为真正配好文字的图不够用，只能用模型的描述把「图多文少」的缺口填平。
这条逻辑线，也解释了为什么这份数据集的合成子集占比并不小（条目数 144,239，约占总条目数的一成半）——不是因为作者偏爱合成，而是因为真图文对的稀缺。
§3 构建流水线：从扫描页到预训练序列
§3.1 书籍线：MinerU 解析 + 图文分离
书籍这一路的起点是 PDF。中医古籍与统编教材大量以扫描版 PDF 流通，直接 OCR 只能拿到线性文字，丢失版式与图像位置。团队用 MinerU 做版面感知解析，得到三类产物：正文文本块、表格、图像及其在原页中的位置。
接下来的处理是一次分叉：
- 文本块按章节顺序拼接、清洗，形成 Book_Corpus 的纯文本；
- 图像与其前后文段落保持位置关系，形成 Book_Interleaved_Data 的交错序列。
这次分叉的隐含假设是：「插图数超过 50 的书才值得做交错」。这个阈值是工程权衡——插图太少的书，交错格式带来的收益抵不上处理成本。
§3.2 网页线：词典召回 + 质量分类 + 语义去重
网页这一路是「召回—精排—去重」三步漏斗：
- 召回：30K 中医药词典在 Common Crawl 中文子集上做关键词匹配，33.2GB；公众号部分按账号与关键词采集，63.2GB。
- 精排：DeepSeek-V3 对样本打 1–5 分，用这些标注训练一个
text2vec-base-chinese分类器，再对全量打分。论文把打分提示词放在图 5 中，说明它是「用大模型当评审」的典型做法。 - 去重：文本嵌入余弦相似度阈値以上的保留其一。
三个步骤各自的风险很不一样：召回阶段的风险是漏召（词典不含的新词、方言表述、民间别名会被漏掉）；精排阶段的风险是偏见（DeepSeek-V3 的打分偏好会被蒸馏进小模型，包括对文言的容忍度、对口语化科普的贬低）；去重阶段的风险是过度合并（不同医家对同一方剂的不同论述可能被判定为重复）。
§3.3 图像线：CLIP 分类器筛选 + 上下文保留
网页图像的处理与文本并行但独立：从约 500 万张微信配图中，用 CLIP 视觉编码器（在 GPT-4o 标注数据上微调）做二分类筛选（中医相关/不相关），留下的 114 万张与所在文章的文本段落一起构成交错序列。图像筛选与文本筛选是两条独立的质量闸门，这意味着存在「文本被保留但图像被剔除」或反之的组合，交错序列的完整性依赖两者在最终拼接时的一致性处理——论文未展开这一细节，属遗留疑点。
§3.4 合成线：图像 + 上下文 → 模型描述
合成子集的输入是「图像 + 它的原始上下文」，输出是一段描述性文字。论文把提示词放在图 6。这个设计的意图很明确：用模型已有的中医知识，把弱标注的图像变成强标注的图文对。它本质上是一种 self-instruct 式的数据增广，适用于对齐训练，不适用于知识获取。
§3.5 预训练配方：数据如何被用掉
数据集本身不含配方，但论文给了完整的两阶段训练设置，这对理解「这份数据怎么被消费」很关键：
| 阶段 | 数据 | tokens | batch | 学习率 | 序列长度 | 备注 |
|---|---|---|---|---|---|---|
| Stage 1（纯文本） | 中医 6.29B + 通用英文 FineWeb-edu 5.63B | 11.92B | 256 | 5e-5 | 4096（打包） | 1 epoch，仅文本 token 计 loss |
| Stage 2（多模态） | 图文 1.86B + 音频 0.07B + 重采样文本 1.75B | 3.84B | 128 | 5e-5 | — | 1 epoch，仅文本 token 计 loss |
| SFT | 指令数据（约 27K–31 万条，口径见 §10） | — | 128 | 5e-6 | — | 3 epoch，全参数微调 |
配方的两个要点值得记住：一是中医数据与通用英文数据按约 1.1:1 配比（6.29B vs 5.63B），说明团队把「保持通用能力」当作硬约束，而不是单纯的领域继续预训练；二是 Stage 2 里重采样了 1.75B 的中医文本，占比接近一半，目的显然是防止多模态阶段把纯文本能力「冲掉」——这是多模态继续预训练中常见的灾难性遗忘对策。
§3.6 防泄漏设计
团队在数据侧做了两道防泄漏：时间隔离（训练语料均早于 2023 年，评测集为 2024–2025 年的考试真题）与内容过滤（参照 Med-PaLM 2 的做法，剔除与训练源存在 64 字符及以上精确匹配的评测样本）。这两道措施在中医领域尤其必要，因为中医执业考试题目大量化用经典条文，模型很容易「背题」。
§4 合成数据：那一成半的语料是怎么来的
如果说这份数据集有一个最需要被读者标注星号的部分，就是 TCM_pretrain_synthesized_vision。
§4.1 它的构成
- 图像：来自书籍与网页两族真实语料，不是生成的；
- 文本：由多模态大模型依据「图像 + 上下文」生成，是生成的；
- 规模：卡片口径 144,239 条 / 159,534 图；论文口径 146,635 张 / 40.6GB / 0.16B token。
值得注意的是它的 token 效率：40.6GB 存储只对应 0.16B token（2 epoch 计），这说明该子集的存储主要被图像占用，文本部分相对短。换言之，它是「图重文轻」的配比，其作用更像是视觉侧的覆盖率补丁，而非文本知识来源。
§4.2 为什么必须标注为合成
在我们这套 AI-Ready 标注体系里，合成数据与采集数据的区分不是形式主义的标签。它有四个实际后果：
- 可追溯性不同：采集语料的每个句子都能追回到某本书某一页或某个网页，而合成语料的句子追回到的是一次模型推理。
- 错误类型不同：采集语料的错误是「原文如此」（知识本身的局限），合成语料的错误是「模型编的」（幻觉）。
- 版权的状态不同：图像是真图，其版权归属仍然跟着原始出处走；文本是模型产物，其版权状态在多数法域下更复杂。
- 评测污染风险不同：如果把合成语料混入评测题库的同源数据中，会造成虚假的能力提升。
因此本条目在全文、frontmatter 的 rai:dataLimitations 与 §2.5 中都对该子集做了显著标注。下游任何使用这份数据集写论文的人，都应在数据章节明确写出「其中 TCM_pretrain_synthesized_vision 为 GPT-4o 合成」这一句。
§4.3 一个常被问的问题：合成是不是「注水」
从「提高数据量」的角度看，合成确实是注水。但从「解决图多文少」的角度看，它是必要的应急手段：中医教材与公众号里的图像，很多只有一句简短图注（「图 12 舌苔厚腻」），不足以训练对齐；把它扩写成一段描述，至少让模型学会「看到舌苔厚腻的图时应该激活哪类文本表征」。
问题在于，这种扩写会把模型的先验固化进下一代的训练目标。第一轮用 GPT-4o 写描述，第二轮模型学到的就是「GPT-4o 眼中的中医」，而非「中医本身」。这在领域知识高度依赖经验判读（如舌象、脉象）的场景里，是最典型的**模型自噬（model collapse）**风险的温床。使用时的一条实用建议是：把合成子集的 loss 权重调低，或只在多模态对齐阶段用它，而不在知识注入阶段用它。
§5 下游模型与评测：语料喂出来的「神农」
预训练语料本身不带评测，但它的设计目的就是训出 ShizhenGPT，因此读它的评测结果，是判断这份语料「够不够用」的最直接方式。
§5.1 模型家族
ShizhenGPT 以 Qwen2.5 系列为底座，按能力拆成三种形态、两个尺寸：
| 形态 | 7B | 32B | 模态 | 架构说明 |
|---|---|---|---|---|
| LLM | 已发布 | 已发布 | 文本 | Qwen2.5 架构，纯文本推理 |
| VL | 已发布 | 已发布 | 文本 + 图像 | Qwen2.5-VL 架构，视觉问答 |
| Omni | 已发布 | 即将发布（README 口径） | 文本 + 图像 + 声音 + 脉搏 + 气味 | 自研信号编码器，需 transformers 特定版本 |
README 里特别说明：LLM 与 VL 两种形态是 Omni 模型的参数拆分变体，架构与 Qwen2.5 / Qwen2.5-VL 对齐，便于部署；Omni 才需要特定版本的 transformers。这个工程决策很务实——绝大多数用户只需要文本或图像能力，强行让所有人加载完整 Omni 模型是浪费。
Omni 的信号通路设计是：非音频信号先经线性插值转成波形，统一重采样到 16kHz，再转 128 通道 mel 频谱（25ms 窗、10ms 步长），经 stride-2 池化与一层 MLP（Signal Adapter）映射进语言模型；音频侧用 Whisper-large-v3 作编码器；视觉侧用 Qwen2.5-VL 的视觉编码器，4 个相邻 patch 分组拼接后过两层 MLP（Vision Adapter）。
§5.2 文本基准：TCM-Text-Exams
文本基准由五段国家级中医考试真题汇编，共 1,088 题：
| 分卷 | 题数 |
|---|---|
| 2024 年中医药剂师考试 | 480 |
| 2024 年中医执业医师资格考试 | 184 |
| 2024 年中医助理执业医师资格考试 | 138 |
| 2024 年中医综合考研真题（2024） | 147 |
| 2024 年中医综合考研真题（2025） | 139 |
平均分上，ShizhenGPT-7B 得 72.9，ShizhenGPT-32B 得 78.1。同表里，同规模的 Qwen2.5-7B 为 63.5、Qwen2.5-32B 为 70.2，说明领域预训练带来了约 8–9 个点的提升；中医专用小模型方面，Biancang-7B 52.5、Zhongjing-7B 44.7、Lingdan-13B 59.1、TCMChat-600k-7B 43.5，均低于 ShizhenGPT-7B。闭源大模型方面，DeepSeek-R1（671B）84.0、Doubao-1.5-Pro-32k 80.6 仍领先。
这组数字有一个容易被过度解读的地方：1,088 题规模不大，且全部来自考试题库，题型以单选、多选、判断为主，与真实临床推理的距离很远。用它来证明「中医知识掌握程度」是可接受的，用它来证明「中医临床能力」则超出证据范围。
§5.3 视觉基准：TCM-Vision-Benchmark
视觉基准由七段权威中医图谱汇编，共 7,204 题：
| 分卷 | 题数 | 内容 |
|---|---|---|
| TCM Patent | 1,119 | 中成药/方剂相关图谱识别 |
| TCM Material | 1,020 | 药材材料辨识 |
| TCM Herb | 1,100 | 中药饮片辨识 |
| Tongue | 768 | 舌象判读 |
| Palm | 640 | 手相/掌诊 |
| Holism | 1,011 | 整体观念相关图像题 |
| Tuina | 831 | 推拿手法/部位 |
| Eye | 715 | 目诊 |
视觉平均分：ShizhenGPT-7B 60.1，ShizhenGPT-32B 63.6，超过 GPT-4o 的 57.1、Doubao-1.5-Vision-Pro 的 58.3、Gemini-1.5-Pro 的 56.3，也显著高于 HuatuoGPT-Vision-7B 的 46.7。这是这份语料最有力的「效果证明」——1,143,954 张真实中医图像 + 159,534 张合成图像带来的视觉理解增益，是通用多模态模型未曾覆盖的。
需要提醒的是：表头的分段名（TCM Patent / Material / Herb）在抓取文本中仅有名称与题数，各段具体题型未逐段披露，因此「哪一段提升最大」这类问题无法从公开材料回答，属遗留疑点。
§5.4 语音与信号：语料缺席但模型有
有意思的是，预训练数据集不发布声音、脉搏、气味信号，但模型报告了这些模态的结果：
| 任务 | ShizhenGPT-7B | 随机/多数类基线 |
|---|---|---|
| 脉搏孕检（三分类） | 80.5 | 50.0 |
| 脉搏疾病分类 | 20.6 | 11.1 |
| 气味疾病分类（8 类） | 48.8 | 14.3 |
| 咳嗽 COVID 检测 | 58.7 | 50.0 |
| 心音心脏异常 | 62.9 | 50.0 |
| ECG 异常检测 | 71.5 | 50.0 |
| ECG 心跳分类 | 83.1 | 20.0 |
这些信号来自公开数据集与医院合作采集：脉搏孕检数据由合作医院采集 3,165 名育龄健康女性（由 ≥2 年经验的中医师按寸关尺三部法操作，按孕周标注）；气味数据为 CUHKSZ-Odors（8 类、每类 120 样本、9 传感器 1153×9 矩阵）；咳嗽取自 COUGHVID（>25,000 条众包录音，其中 2,800 条经专家标注）；心音取自 CirCor DigiScope；ECG 取自 PTB 与 MIT-BIH；音频部分则是把 Huatuo-26M 的 60K 医患对话用 CosyVoice 2 合成语音，得 58,462 条 / 238.67 小时。
关键提示：脉搏疾病分类 20.6 这个数字接近随机基线 11.1 的两倍但绝对水平很低，说明脉搏信号建模在这个数据规模上仍处于早期。读者若看到「支持切诊」的宣传，应当同时看到这个 20.6。
§5.5 公开基准上的横向对比
论文附录报告了 ShizhenGPT-32B 在四个公开中文医学/综合基准上的成绩：MedQA 92.2、CMB 88.7、CMExam 92.9、CMMLU 89.7，并标注为「100B 以下开源模型最佳」。这四个数字均带 ‡ 记号，该记号在抓取到的正文片段中未见解释，常见的两种可能是 few-shot 或带思维链的评测设置。因此本条目在引用时保留 ‡ 记号并提示读者：这些分数不能直接与零样本（zero-shot）排行榜数字对比。
这与 §5.2 的考试基准形成了有趣的张力：同样是「考试」，同样的 32B 模型，TCM-Text-Exams 只有 78.1，而 MedQA 高达 92.2。两个数字之间的差距，一部分来自题目难度与题型，另一部分很可能来自评测协议（‡）。跨表比较是这份数据集文档里最容易踩的坑之一。
§6 许可、获取与可得性
§6.1 获取路径
| 渠道 | 地址 | 状态 |
|---|---|---|
| HuggingFace | FreedomIntelligence/TCM-Pretrain-Data-ShizhenGPT |
公开，可直链下载 |
| ModelScope | FreedomIntelligence/TCM-Pretrain-Data-ShizhenGPT |
镜像，公开 |
| GitHub（模型仓库） | FreedomIntelligence/ShizhenGPT |
README 提供上述两个链接，不含数据本体 |
HuggingFace 页面显示：总计 2,916,667 行、估计 6,129,553 行、总体积 222 GB、上月下载 2,021 次。222GB 对个人用户是一个门槛，下载需提前规划存储与带宽。
§6.2 许可：一个必须直说的空白
这是本条目最不愿写、但必须写清楚的一段。
- GitHub 仓库：GitHub API 返回
「license」: null，仓库根目录未识别出许可证文件。 - 论文：全文只有「Datasets, models, and code are publicly available」一句，没有许可证段落。
- 数据集卡片：本次通过镜像站抓取时页面发生跳转，未能取得 license 字段，记为未公开。
三条渠道都没有给出可引用的许可文本。这意味着：使用者无法从公开信息判断这份 222GB 语料的再分发、商用、二次加工是否被授权。 在实际操作中，常见的两种做法是（a）按学术惯例仅限研究使用并致谢；（b）在使用前直接联系通讯作者取得书面许可。本条目建议后者。
一个供参照的旁证：同团队的模型仓库（如 ShizhenGPT-7B-LLM 的模型卡）标注 license: apache-2.0。但模型许可证不等于数据许可证——模型按其许可证分发，并不意味着其训练数据可以按同一许可证再分发。这条区分在中医语料这类混合了扫描书籍与公众号文章的集合上尤其重要。
§6.3 信号数据的不可得性
卡片明确写道：由于隐私与伦理考量，TCM 信号数据集（如声音、脉搏）不随本数据集提供，「部分信号数据可参考指令数据集」。这解释了为什么本数据集的五个子集里没有任何信号部分。
从合规角度看这是正确的取舍：脉象数据涉及患者生理隐私，气味数据涉及罕见病患者的可识别信息，咳嗽录音涉及呼吸道疾病状态，这些都不是「公开下载」应当承担的披露水平。但从研究角度看，这造成了一个断层——想要复现「切诊」能力的团队，拿不到对应的预训练语料，只能去找公开的脉搏数据集（如论文中的 AdBrc）自行搭。
§6.4 可得性的三层评价
| 层级 | 状态 | 说明 |
|---|---|---|
| 本体可得 | ✅ 高 | 两个平台直链，无申请栏 |
| 元数据可得 | ⚠️ 中 | 卡片有规模数字但缺字段级 schema、缺逐子集样例、缺许可 |
| 训练配方可得 | ✅ 高 | 论文给出两阶段超参与数据配比 |
| 许可可得 | ❌ 低 | 三条渠道均无许可证文本 |
§6.5 数据版本与更新台账
本条目的维护者应当持续跟踪以下几类变更，并据以更新本页。
| 跟踪项 | 当前状态（2026-10-17） | 变更后的影响 |
|---|---|---|
| 许可证声明 | 未声明 | 若补齐，§6.2、§12（DAIMS 的 M 与 S 项）需重评 |
| arXiv 版本 | v1（2025-08-20） | 若出 v2/v3，§10 的口径表需逐行复核 |
| GitHub 代码更新 | 最后 push 2025-11-13 | 若更新数据脚本，流水线描述可能变化 |
| 32B-Omni 模型 | 未发布 | 若发布，§5.1 的模型表需补行 |
| 信号数据 | 不发布 | 若开源，模态覆盖表（§11.6）需重写 |
| 文件树与子集目录 | 未取得 | 若可访问，§10.5 与附录 B 需补完 |
| 下游模型数 | 14 个（HF 页面） | 生态评价（§7.1）随时间更新 |
这张台账的用途不是「记录所有变化」，而是提醒使用者：本条目描述的是一个仍在演进中的数据集，任何具体数字都有时效性。引用时最好同时写下抓取日期。
§6.6 一个常被混淆的问题：预训练语料 vs 指令数据
初学者最常混淆的是这份预训练数据集与指令数据集的边界。这里明确划一下：
| 维度 | TCM-Pretrain-Data-ShizhenGPT（本条目） | TCM-Instruction-Tuning-ShizhenGPT |
|---|---|---|
| 用途 | 注入中医知识、对齐视觉与听觉理解 | 提升指令遵循与回答质量 |
| 规模 | ~6B token、222GB | README 口径 27K 条（论文口径另计，见 §10） |
| 形态 | 长文本、图文交错序列 | 问-答对（含多模态问答） |
| 与模型训练的关系 | Stage 1 与 Stage 2 | SFT |
| 是否含合成内容 | 含（synthesized_vision 子集） | 部分含（论文提到用 GPT-4o 生成视觉指令） |
一个实际推论是：只拿预训练语料训出来的模型不会对话。它可能「懂很多中医」，但不知道如何回答问题。要做出可用的助手，SFT 是必经步骤。很多二手报道把「6B token 中医语料」当成「一个能看病的 AI」，这是把两步合并成一步的误解。
§6.7 关于「开源」二字的分寸
README 的表述是「open-source the largest available TCM dataset」。严格来说，「开源」一词用于数据时应当满足三个条件：可自由获取、可自由使用、可自由再分发。本数据集只满足第一条。
这在中文 AI 圈是一个普遍现象：数据挂上 HuggingFace 就被称为「开源」，但许可证缺失意味着「使用」与「再分发」的法律基础是空的。本条目坚持把这种情况写作「公开发布」或「公开可得」，而不是「开源」，唯在引用原文表述时保留「open-source」字样。
这个分寸不是抠字眼。对有法务流程的机构用户而言，「无许可证」与「宽松许可证」是两种完全不同的采购状态：前者需要走人工审批，后者可以直接使用。
§7 生态与影响
§7.1 下游生态
HuggingFace 页面显示，有 14 个模型在本数据集上训练或微调，其中可辨认的主要是社区量化作者 mradermacher 发布的 GGUF 版本，覆盖 ShizhenGPT-7B/32B 的 LLM 与 VL 两种形态及其 i1 量化版。量化版的下载量在数百到近三千之间（7B-VL-i1 约 2.92k，32B-VL-i1 约 1.88k），说明有相当一批用户在实际部署这个模型。
GitHub 仓库在 2026-10-17 的抓取时点为 153 stars、19 forks、12 open issues，最后一次代码 push 是 2025-11-13。热度在中医大模型这一类项目里属于中上水平。
§7.2 论文里的对手盘：中医专模谱系
ShizhenGPT 的对比表等于给出了当代中医大模型的一份「名录」：
- TCMChat-600k-7B（43.5）：早期以指令微调为主的中医对话模型；
- Zhongjing-7B（44.7）：以张仲景《伤寒论》为核心的模型；
- Biancang-7B（52.5）：以扁鹊仓公典籍为核心；
- Lingdan-13B（59.1）：灵丹，规模略大；
- HuatuoGPT-Vision-7B（视觉 46.7）：华佗 GPT 的多模态分支。
这些名字背后是一整套中医典籍文化符号（时珍、仲景、扁鹊、仓公、华佗、灵丹），也说明国内这一赛道的命名惯例。ShizhenGPT 的差异化在于「语料规模 + 多模态广度」两条腿：语料规模上以 6B token 加 1.2M 图像领先，模态广度上把声音、脉搏、气味都纳入了模型（虽然语料不公开）。
§7.3 与本库已收录中医条目的关系
千方病案医数集里已有的中医类条目，大多偏「小而专」：
- huatuo-26m（rid 823）：中文医疗问答配对语料，是本数据集音频部分的来源（60K 医患对话被 TTS 合成）；
- tcm-tongue（rid 1052）：标准化舌象数据集，可与视觉基准的 Tongue 分卷（768 题）对照阅读；
- tcmssd（rid 1054）：中医证候标准化数据库，属于「知识体系侧」；
- mtcmb（rid 1108）：多任务中医评估基准，与本条目的文本基准构成「通用评测 vs 考试评测」的互补；
- nb-tcm-chm（rid 1116）：中药材果实图像识别，与视觉基准的 Herb/Material 分卷同域；
- herb-2（rid 1123）、tcmbank（rid 1124）：中药知识与药理数据库，属于「结构化知识」侧。
一个清晰的互补结构是：本条目提供「预训练燃料」，上述条目提供「结构化知识、专项评测与专科图像」。若要做中医 RAG，tcmssd/herb-2/tcmbank 是知识库侧；若要做评测，mtcmb 与本条目的 TCM-Text-Exams 是题库侧；若要做舌诊专门模型，tcm-tongue 是精标数据侧。
§7.4 生态位的三个不确定性
第一，语料会不会继续更新？ GitHub 最后一次 push 在 2025-11 月，arXiv 只有 v1，没有 v2。采集截止 2023 年 6 月，2023 年之后的中医指南、教材修订、新药审批都不在内。
第二，信号模态会不会开源？ 目前不发布，若未来发布，会显著改变评判标准。
第三，32B-Omni 何时发布？ README 标 「Available soon」，截至抓取时点未见发布。
§8 方法学启示：四条可迁移的经验
§8.1 书籍与网页的双轨供应
这份数据集在中医领域树立了一个可复用的配方：权威书籍做主干、网页文本做补充、两者按质量分层。书籍提供体系化知识与可靠表述，网页提供覆盖面与时效性。纯靠书籍则规模不足、表述陈旧；纯靠网页则噪音过大、体系混乱。
可迁移到什么场景？任何「经典文献 + 现代实践」并存的领域，如传统蒙医、藏医、法医学、农学古籍、地方志。
§8.2 用「交错」代替「配对」
中医图谱的典型形态是「一段文字 + 一张插图 + 继续的文字」，而不是「图 + 一句图注」。强行切成配对会丢掉上下文。交错格式保留了文档结构，代价是需要支持任意位置图像的模型架构（Flamingo 式交叉注意力）。
这条经验对所有「图文混排」的领域都成立：教材、说明书、病历、检验报告。
§8.3 合成数据的正确位置
合成数据用得好是增广，用得不巧是污染。这份数据集把合成部分单独作为一个子集发布，而不是混入真实语料——这是一个值得称赞的设计决策。它使得下游用户可以自行决定是否使用、用多少。
反例是把合成数据静默混入训练集，用户在不知情的情况下把模型幻觉当作领域知识学习。合成数据的可见性，本身就是数据伦理的一部分。
§8.4 时间隔离与字符级去重
训练语料截止 2023 年 6 月、评测题取自 2024–2025 年考试，加上 64 字符以上的精确匹配过滤，这套组合拳适用于几乎所有「用考试做评测」的领域模型论文。它的有效性依赖于一个前提：考试题的题干不会与训练语料大面积重合。在中医领域，考试题大量直接引用经典条文原文，所以字符级去重是必要的，但也只挡住了「完全照抄」这一种污染，改写后的题目仍然可能泄漏。
§9 避坑清单：十个已踩过的坑
本节的每一条坑，都是检索或使用这份数据集时真实会撞上的墙。
坑 1：把 GitHub 仓库名当成数据集名去搜。
任务与二手资料里常出现 「TCM-Pretrain-Data-ShizhenGPT」 与 「github」 并列的表述，但 GitHub 上并不存在这个仓库——FreedomIntelligence/ShizhenGPT 是模型仓库，数据集只在 HuggingFace 与 ModelScope 上有 repo。若在 GitHub 搜 TCM-Pretrain-Data 会一无所获。
坑 2：把卡片数字与论文数字混着加。
卡片说 Book ~0.5B token，论文说 0.96B（2 epoch 计）；卡片说合成 144,239 条 / 159,534 图，论文说 146,635 图。两组数字不是同一次统计的产物，相加或互相替换都会得到错误的「总规模」。正确做法：引用时声明口径，见 §10 对照表。
坑 3：把「6B token」理解为五个子集之和。
README 的 ~6B token 实质接近「中医文本部分」的量级（5.33B web + 0.96B book 已超 6B）。图文交错与合成子集的 token 是分开计的（0.14B + 0.87B + 0.16B）。6B 是一个便于传播的整数口径，不是逐子集相加的结果。
坑 4：以为合成子集的「GPT-4o」是唯一说法。
卡片写 GPT-4o，论文正文写 「multimodal LLM」，方法节的字幕生成提到 Doubao-1.5-vision-pro。三个说法并不必然矛盾（可能是不同子步骤用了不同模型），但任何论文在引用时若只写 GPT-4o，都会与论文原文的方法节有出入。最稳妥的写法是：卡片口径 GPT-4o，论文方法节另提 Doubao-1.5-vision-pro。
坑 5：把音频 238.67 小时算进这份数据集。
论文确实构造了 238.67 小时的中医音频，但它不在预训练数据集的五个子集里（卡片明确说信号数据不提供）。看到「200 小时音频」就以为是数据集的一部分，是误读。
坑 6：用模型许可证推断数据许可证。
ShizhenGPT-7B-LLM 模型卡标 apache-2.0，很多人据此认为数据也是宽松许可。模型许可证与数据许可证是两回事，尤其当数据包含扫描书籍与公众号文章时。
坑 7：把「1.2M 图像」当成「1.2M 条图文对」。
1.2M 是图像总数，其中 1,143,954 张来自网页交错、50,690 张来自书籍交错、159,534 张来自合成。图像数与图文条目数不相等（网页交错是 505,465 条对 1,143,954 张图，平均每条 2.26 张图）。
坑 8：直接引用 92.2/88.7 这类高分为零样本成绩。
论文附录的 MedQA 92.2、CMB 88.7、CMExam 92.9、CMMLU 89.7 都带 ‡ 记号，含义在抓取片段中未解释，不能当作零样本（zero-shot）数字与外榜比较。
坑 9：把「岐黄问道」当成论文里的官方系列名。
「岐黄问道·大模型」是中文社区/项目层面的系列称谓，arXiv 标题、摘要、GitHub README 与数据集卡片均未出现该名称（至少在本条目抓取的文本中）。引用系列名时应注明是社区口径，不要写成「论文中的岐黄问道系列」。
坑 10：以为 222GB 可以按子集单独下载而无需整库。
HuggingFace 的标准用法支持按文件/按 split 下载，但本数据集各子集的目录划分是否与卡片中的五个名字一一对应，需在下载时核对仓库文件树。本次抓取未能取得完整文件树（镜像跳转），因此「如何只下某个子集」属遗留疑点。
§9.11 坑 11：把「教材」当成「古籍」
卡片用 textbook（教材）一词，而中文二手报道常把它改写成「3,256 部中医古籍」。实际上论文的收集起点是约 5,000 本，包含古籍整理本与现代统编教材两大类，清洗后保留 3,256 本。这个区别对使用者很重要：教材的表述是规范化的、经过现代编者校订的；古籍原刊的表述是原始形态的、含异体字与避讳字的。如果你的研究对象是「古籍原貌」，这份语料的适用性需要自行验证。
§9.12 坑 12：以为交错数据的「条」就是「图」
网页交错子集 505,465 条对应 1,143,954 张图，平均每条 2.26 图；书籍交错子集 41,459 条对应 50,690 图，平均每条 1.22 图。两者的密度差异说明：书籍插图多为「一图一注」，网页配图更接近「图文混排的信息流」。在统计「每样本图像数」时若统一按 1 计，会低估网页侧约 2 倍的图像信号量。
§10 双口径对照表：卡片 vs 论文
下表是本条目最重要的核对表。凡在正文中引用具体数字，均以本表为准并注明口径来源。
| 编号 | 项目 | 数据集卡片口径 | 论文口径 | 差异解读 |
|---|---|---|---|---|
| 1 | 书籍 token | ~0.5B | 0.96B（2 epoch） | epoch 计法不同；0.5B 更接近「单遍去重后」 |
| 2 | 书籍图像 | 50,690 | 51,619 | 差异 929 张，疑为去重保留 vs 原始抽取 |
| 3 | 书籍交错条目 | 41,459 | 未披露 | 卡片更细 |
| 4 | 合成图像 | 159,534（144,239 条） | 146,635 | 卡片多 12,899 张 |
| 5 | 合成字幕生成器 | GPT-4o | 多模态 LLM / Doubao-1.5-vision-pro | 三说法并存，见坑 4 |
| 6 | 总量 | >5B（web）+~0.5B（book） | 100GB+ 文本 + 200GB+ 多模态 | 一个按 token，一个按体积 |
| 7 | 总体积 | 222 GB（HF 页面实测） | 未给合计 | 论文分项相加约 300GB+，含通用数据 |
| 8 | 指令集规模 | README 27K items | 各模态合计约 31 万条 | 差一个量级，见 §11.2 |
| 9 | 音频 | 不提供 | 238.67 小时（中医部分） | 摘要「200 小时」为取整表述 |
| 10 | 图像总数 | 1,354,178（三子集相加） | 1.2M+（摘要表述） | 两种说法均可接受，精度不同 |
关于第 7 行需要展开：论文各子集体积相加为 3.8 + 21.2 + 17.6 + 140.7 + 40.6 = 223.9GB，再加通用图文 93.29GB、通用音频 111.6GB、中医音频 75.72GB，总计远超 222GB。这说明 HF 页面上的 222GB 只是发布出来的五个中医子集，不含通用数据与音频。把 222GB 理解成「全部训练数据」是错的。
§10.5 逐子集使用风险
同一份数据集，五个子集的风险并不相同。下表把每一类的风险摊开，便于使用者在训练前做针对性处置。
§10.5.1 Book_Corpus 的风险
书籍语料的可信度最高，但风险集中在解析质量与版权两处。
解析质量方面，MinerU 对扫描版古籍的处理能力虽强，但遇到竖排、繁体、异体字、批注夹注、双行小字这类古籍常见版式时，仍可能出现串行与错序。若下游要做「古籍原文检索」，必须抽样校验解析结果，不能默认正确。
版权方面，现代统编教材受著作权保护，扫描件的再分发是否合规未作说明。做学术研究引用尚可，把清洗后的文本作为新数据集对外发布则需谨慎。
§10.5.2 Web_Corpus 的风险
网页语料的风险集中在质量参差与内容合规两处。
质量方面，即便经过大模型打分与语义去重，网页文本中仍会残留推广话术、模板化开头结尾、以及机器翻译腔的段落。这类文本对模型的危害不在于「错」，而在于「空」——它们会让模型学会说漂亮但无信息量的中医套话。
内容合规方面，医疗类网页中可能出现夸大疗效、宣称治愈、推荐未获批药品的表述。若模型在此基础上做问答，需要额外的安全对齐。
§10.5.3 Book_Interleaved_Data 的风险
这个子集的规模最小（41,459 条），但图文绑定质量最高。风险主要有两个：一是图像与文本的对齐可能因解析错位而错配（图被放到了错误的段落之后）；二是插图内容以示意图为主，缺乏真实临床照片。
§10.5.4 Web_Interleaved_Data 的风险
这是规模最大、风险也最杂的子集。
- 图像筛选由 CLIP 分类器完成，假阳性会把「植物盆栽」「中药材包装盒」「药品广告海报」当成中医图像；
- 网页图文的对应关系松散，一张配图可能与正文无关；
- 图文交错的序列长度可能极长（一篇长文含几十张图），打包时需要截断策略。
§10.5.5 合成子集的风险
前文已述，核心风险是幻觉传导与合成标注不可追溯。此外还有一个常被忽视的风险：合成描述的语言风格高度同质化。因为都是同一个模型写的，句式、术语偏好、甚至错误模式都会趋同，导致模型在这种语料上训练后输出的风格也变得单调。
§10.5.6 风险矩阵
| 子集 | 数据缺陷风险 | 版权风险 | 合规风险 | 综合建议 |
|---|---|---|---|---|
| Book_Corpus | 中（解析错序） | 高 | 低 | 抽样校验 + 确认授权 |
| Web_Corpus | 高（噪音与空话） | 中 | 中 | 二次清洗 + 内容审查 |
| Book_Interleaved | 中（图文错配） | 高 | 低 | 对齐抽检 |
| Web_Interleaved | 高（误筛与松耦合） | 中 | 中 | 图像复核 + 截断策略 |
| synthesized_vision | 高（幻觉传导） | 低（文本为生成） | 低 | 降权使用 + 明确标注 |
§10.6 数据治理建议：一份可执行的检查表
若一个机构要把这份语料纳入内部数据资产，建议按以下六步做治理。
第一步，登记。 记录语料的获取日期、版本（本次为 2025-08 论文对应的发布版）、下载渠道、校验和。预训练语料一旦进入训练流水线，就必须能被追溯。
第二步，分层。 按 §15.4 的四层切分法，把五个子集拆成细桶，每桶记录条目数与 token 数。这份统计表在论文的方法章节会用到。
第三步，抽检。 每个子集随机抽 200 条人工阅读，记录错误类型与比例。这项工作的成本不高，但能发现自动清洗漏掉的问题。
第四步，脱敏。 网页与公众号语料中可能出现患者姓名、就诊记录、联系方式，需要正则 + 命名实体识别双重扫描。
第五步，合规。 确认许可状态，若无法确认则走「仅限内部研究」的路径，并在对外发布模型时说明数据来源。
第六步，留档。 把上述五步的结论写成一份数据卡（datasheet），随模型一起发布。这既是学术规范，也是对后续使用者的负责。
这份检查表不专属于本数据集，但它对这份数据集特别必要——因为它的元数据本身并不完整，很多信息只能由使用者自己补齐。
§10.7 一个反面案例的复盘
设想一个团队拿到这份语料后的常见做法：全量下载 222GB，五个子集合并，直接喂给 Qwen2.5-7B 做继续预训练，跑 1 个 epoch，然后用自建的 50 道题测试，发现效果很好，于是对外宣称「我们的中医模型超越 ShizhenGPT」。
这个流程里有五处错误：
- 合并五子集：把合成数据与真实数据混为一谈，模型学到的是混合分布，无法归因；
- 未做分层：养生科普与经典理论同权训练，模型偏向通俗表达；
- 自建小测试集：50 道题的统计波动极大，「超越」的结论不成立；
- 未与官方基准对齐：没有跑 TCM-Text-Exams，无法与论文对比；
- 未声明数据来源与合成成分：不符合学术规范。
正确做法在 §17 的十个决策点里已经给出：分子集、按语料分层、用官方基准、声明合成成分、解决许可。这五条不是形式要求，而是让结论可信的最低条件。
§11 边界与争议
§11.1 「最大」的宣称
论文摘要与 README 都用了「the largest TCM dataset to date」的表述。这类宣称无法独立验证，因为「中医数据集」的边界本身模糊：如果把网盘流传的古籍扫描库算进来，规模可以远大于此；如果只算有公开许可、可复现的中文中医语料，6B token 的规模确实领先。引用时应写「作者声称是迄今最大的公开中医语料」，而不是当作事实陈述。
§11.2 27K 与 31 万的鸿沟
README 说指令数据集是 27K 条，论文列出的各模态指令数据合计约 31 万条（文本指令 83,629、视觉指令 65,033、语音指令 57,957、ECG 99,195、脉搏 4,101 等）。这两个数字相差一个数量级。
可能的解释有三种：一，README 的 27K 只统计了纯文本指令部分；二，论文列的是「构造出的全部指令数据」，而实际开源的只是其中一部分；三，README 数字过时。
本条目无法判断是哪一种，仅记录为遗留疑点。使用指令数据集前，应先实际清点条数。
§11.3 中医知识的「正确性」谁来保证
预训练语料不做事实核查。书籍里可能有不同流派的矛盾论述（如「十八反」在现代药理学下受到的质疑），网页与公众号里可能有民间的未经验证偏方。模型学到的是「语料里怎么说」，而不是「医学上什么是正确的」。
论文的伦理声明对此有明确限制：模型仅供科学研究、不适合实际部署，禁止用于临床实践，且可能生成幻觉。这条限制在中文语境下传播得并不充分，很多二次报道把 ShizhenGPT 描述为「AI 老中医」，与作者的本意相去甚远。
§11.4 版权与隐私的未清算
书籍语料来自扫描 PDF，网页语料含公众号文章，这两类内容都有明确的著作权归属。数据集没有说明是否做了版权清理，也没有说明如何处理公众号文章中可能出现的患者信息。这不是本数据集独有的问题（几乎所有大规模中文语料都有），但中医文本中有大量病例描述，隐私风险的密度高于一般领域。
§11.1 中医知识表示的三重难题
使用这份语料的人，迟早会撞上中医知识表示的三个结构性难题。它们不是数据集造成的，但语料会把这些难题放大。
第一重：术语的历史层积。 同一个概念在不同朝代有不同名称与内涵。「消渴」在《内经》里的含义、在《金匮要略》里的用法、在现代中医内科学里对应糖尿病的界定，三者并不完全重合。语料按文献年代混装，模型学到的会是一个「平均意义」，而非分层的谱系意义。这在临床上会导致「按古义用药、按今义诊断」的错位。
第二重：证候的模糊边界。 中医的「证」（如「肝郁脾虚」）不像西医的疾病编码那样有严格判定标准，同一位病人不同医家可能给出不同证候。语料中的大量医案带有强烈的个人经验色彩，段落之间可能互相矛盾。这是语料的真实面貌，不是质量问题，但要用于建模就必须承认：中医证候标注的 inter-rater agreement（评定者间一致率）本身就不高。
第三重：方剂剂量的度量换算。 古方中的「两」「钱」「分」折算为克数，历代考证结论不一（有汉代一两折 13.8 克、15.6 克、3 克等多种主张）。语料里不同来源的换算并存，模型若被问到「桂枝汤用多少桂枝」，可能给出互相矛盾的答案。这不是模型幻觉，而是语料的真实分歧被如实复现。
这三重难题的一个共同启示是：这份数据集适合训练「知道中医说了什么」的模型，不适合训练「知道中医什么是对的」的模型。前者是语料能给的，后者需要专家审核、临床验证与指南对齐——而那恰恰是语料里没有的。
§11.2 望闻问切与模态覆盖的错位
论文把「支持望闻问切」作为核心卖点，但把模态覆盖摊开来看，会发现一份清晰的错位表：
| 诊法 | 感知通道 | 语料覆盖 | 模型覆盖 | 备注 |
|---|---|---|---|---|
| 望（舌、面、形态） | 图像 | ✅ 1.14M 真实图 + 0.16M 合成 | ✅ VL / Omni | 语料与模型都到位 |
| 闻（声、嗅） | 声音、气体 | ❌ 不发布 | ✅ Omni（公开数据集训练） | 语料缺席 |
| 问（问诊对话） | 文本 | ✅ 文本语料（间接） | ✅ LLM / Omni | 非专门问诊语料 |
| 切（脉） | 压力波形 | ❌ 不发布 | ✅ Omni（合作医院 + AdBrc） | 语料缺席 |
这张表解释了一个常被误解的现象：「支持四诊」描述的是模型能力，不是语料内容。模型能处理声音与脉搏，是因为团队另外收集了信号数据来训练，而不是因为这份预训练数据集里有信号。想要复现信号的训练，只能去看论文的方法细节与公开信号数据集，或者去指令数据集找「部分信号数据」。
这也是「望」成为这份数据集唯一真正意义上的多模态能力的原因：它同时拥有大规模真实图像语料与配套的训练配方。在评估任何「中医多模态模型」时，第一问应当是这个模型的模态能力里，哪一个真正有大语料托底。
§11.3 中医大模型评测的方法论隐忧
§5.2 与 §5.5 的数字，放在一起看会引出一个更根本的问题：中医大模型该怎么评测？
目前的主流做法是「考试题」。TCM-Text-Exams 是 2024–2025 年的国家级考试真题，这比自建题库要客观得多，但它有三个局限：
- 题型单一。选择题考的是「认出正确选项」，与临床中「从一堆模糊主诉里抓关键信息」的能力相差很远。
- 知识静态。中医考试的内容以经典条文与教材规范为主，对「新出现的疾病谱」「新药与新方」覆盖不足。
- 易于记忆。中医考试大量直接引用经典原文，模型只要见过原文就能答对。团队做了 64 字符去重，但改写题仍可能泄漏。
视觉基准的局限则相反：它用「权威图谱」的识别题，考的是「看图识药/识舌」，这与真实门诊中「看一个模糊的手机拍摄舌象」的场景有差距。
更根本的隐忧是：中医诊疗的正确性缺乏金标准。西医有病理、有实验室指标、有随访结局；中医的疗效评价长期依赖症状改善与医生判断。这意味着即使有了一个完美的中医问答模型，我们也缺少一把可靠的尺子去衡量它是否「更接近真理」。
这一隐忧不是本数据集能解决的，但它决定了这份语料的价值上限：它能显著提升「中医知识问答」与「中医图像识别」这两类可被考试衡量的能力，而对「中医临床推理」的贡献难以验证。论文的实验设计——考试题 + 图谱识别题——恰好对应了这个能力边界。
§12 DAIMS 评估
| 维度 | 评分（1-10） | 依据 |
|---|---|---|
| D 可发现性（Discoverability） | 8 | arXiv + GitHub（153 stars）+ HF + ModelScope 四入口齐全，检索词 TCM-Pretrain-Data-ShizhenGPT 唯一命中；扣分因 GitHub 仓名与数据集名不一致（坑 1） |
| A 可获取性（Accessibility） | 7 | 公开直链、无申请栏、两平台镜像；扣分因 222GB 体量、HF 镜像抓取失败导致文件树不可见 |
| I 可互操作（Interoperability） | 7 | HF datasets 标准格式、图像为常规格式、文本为 UTF-8；扣分因缺字段级 schema 文档、缺子集划分说明 |
| M 元数据质量（Metadata） | 5 | 有五子集数量表与论文方法细节，但无许可、无 schema、卡片与论文十处口径不一致（§10），是本条目最大失分项 |
| S 可持续性（Sustainability） | 6 | 依托 HF/ModelScope 双托管 + GitHub 活跃仓库；扣分因许可未声明、采集截止 2023 年 6 月无更新计划 |
| 综合 | 6.6/10 | 数据规模与论文细节撑住上限，许可空白与口径漂移压低均值 |
§12.1 DAIMS 各维度的展开说明
DAIMS 表中 M（元数据质量）给了 5 分，是全表最低。这个分数值得展开，因为它容易被误读为「数据集差」。
实际情况是：这份数据集的元数据「少而准」与「多而乱」并存。少的地方是字段级 schema、子集划分、文件树、许可——这些最影响实际使用的元数据缺失；多的地方是论文对清洗流程、超参、数据配比的描述非常细致，甚至可以照着重做一遍。两者相加，是一个「论文级详实、发布级粗糙」的典型。
一个 AI-Ready 的预训练语料，理想状态应提供：（a）每个子集的行数与 token 数；（b）字段 schema；（c）许可证；（d）已知偏倚与质量抽检报告；（e）版本变更记录。本数据集在（b）（c）（d）（e）四项上均有缺口。
D（可发现性）给 8 分、A（可获取性）给 7 分，反映的是「找得到、下得动」这件事做得不错。I（可互操作）给 7 分是因为格式标准但缺 schema。S（可持续性）给 6 分，主要扣在无更新计划与许可未声明上。
§12.2 与同类中医语料的横向比较
把这份数据集放到公开中医语料的坐标系里，能更清楚它的位置。
| 语料 | 形态 | 规模 | 是否含图像 | 是否含信号 | 许可 |
|---|---|---|---|---|---|
| TCM-Pretrain-Data-ShizhenGPT（本条目） | 文本 + 图文交错 + 合成 | ~6B token、222 GB | 是（1.14M 真实 + 0.16M 合成） | 否（信号不发布） | 未公开 |
| Huatuo-26M（库内 rid 823） | 问答配对 | 2,600 万对 | 否 | 否 | 研究用途 |
| 公开中医古籍语料（各类网盘/文本库） | 纯文本 | 数百 MB 至数 GB | 否 | 否 | 多为无明确许可 |
| 单模态中医专模的训练语料（Zhongjing / Biancang / Lingdan） | 多为未公开 | 未公开 | 否 | 否 | 未公开 |
这张表说明两件事。第一，「公开 + 多模态 + 大规模」三条件同时满足的，目前只有这一份。第二，信号的缺位是所有公开中医语料的共同短板——不是本数据集独有，而是整个领域的数据可得性瓶颈。
从「能不能做研究」的角度看，这份数据集的价值在于：它第一次让「中医多模态预训练」变成可复现的。在此之前，任何团队要做中医视觉语言模型，都得自己收集扫描书、自己解析 PDF、自己筛图，成本极高且难以复现。现在这一段的路被铺平了。
§13 许可与合规的实操建议
既然公开渠道拿不到许可证，实际使用者应当怎么做？以下是可操作的四步：
第一步，书面询问。 向通讯作者（Benyou Wang）或其团队成员发邮件，说明用途（研究/商用）、再分发计划、是否需要用于模型训练以外的用途（如二次发布衍生数据集）。保留往来邮件作为授权凭证。
第二步，区分用途层级。 若只是「训练一个内部研究模型，不对外发布」，风险显著低于「把语料清洗后作为新数据集对外发布」。后者的再分发行为需要明确的授权。
第三步，版权溯源留痕。 若论文中需要说明语料来源，应当写明来自 TCM-Pretrain-Data-ShizhenGPT，并注明其原始来源为书籍与网页。不要把它描述为「作者自建语料」，那会误导读者以为版权已清理。
第四步，敏感内容审查。 若下游产品涉及面向公众的问答，需要额外的内容审查机制——语料中含未经验证的偏方、以及可能被解读为医疗建议的表述。
一个值得注意的对照：同团队的其他数据集（如 Huatuo-26M）在 HF 上通常有「研究用途」类的说明。本数据集缺失这一说明，很可能不是刻意回避，而是发布时的疏漏。但这不改变法律状态的模糊性。
§14 时间线
| 时间 | 事件 | 来源 |
|---|---|---|
| 2023-06 | 微信公众号文章采集截止时点 | 论文方法节 |
| 2023 年及以前 | Common Crawl 2017–2023 语料覆盖区间 | 论文方法节 |
| 2025-08-18 | GitHub 仓库 FreedomIntelligence/ShizhenGPT 创建 |
GitHub API |
| 2025-08-20 | arXiv:2508.14706 v1 提交（13:30:20 UTC） | arXiv |
| 2025-08-25 前后 | HF 社区量化版 ShizhenGPT-7B-LLM-GGUF 更新 | HF 模型列表 |
| 2025-11-13 | GitHub 最后一次代码 push | GitHub API |
| 2025-11-14 ~ 2025-12-23 | mradermacher 发布 7B/32B 的 VL/LLM GGUF 与 i1 量化版 | HF 模型列表 |
| 2026-10-14 | GitHub 仓库元数据更新（stars 等） | GitHub API |
| 2026-10-17 | 本条目抓取核验时点 | 本条目 |
时间线的一个空白：数据集在 HuggingFace 的首次上传日期在本次抓取中未取得，只能从论文日期（2025-08-20）倒推为 2025 年 8 月。这一点记为遗留疑点。
另有一个容易被忽略的细节：采集截止时点（2023-06）与论文发布时间（2025-08）之间有约两年空档。这段时间里新增的中医教材修订、诊疗指南更新、新上市中成药，都不在语料覆盖范围内。对做「时效性」相关研究的团队，这条时间线是必读的。
§15 语料内容：文本侧深度阅读
前面的章节关注「有多少」，这一节关注「有什么」。数据集的元数据没有给出主题分布，但论文的描述与中医教材的通行结构，能让我们推断出语料的内容骨架。以下内容属基于公开描述的推演，不是官方分类统计，引用时不可当作数据集的官方统计结论。
§15.1 三类文本的性质差异
Book_Corpus 里至少混杂着三类性质不同的文本：
- 基础理论：阴阳五行、脏腑经络、气血津液、病因病机。这类文本高度体系化、术语密集、逻辑推演性强，对模型的「概念关系」学习最有价值。
- 诊断与方药：四诊要点、八纲辨证、方剂组成、药物性味归经。这类文本是条目化的，格式规整，适合模型学习「结构化关联」。
- 医案与临床经验：病程记录、辨证分析、处方加减、疗效反馈。这类文本叙事性强、口语与文言混杂，对模型学习「推理链」最有帮助，但也最容易混入个人经验性的、不可推广的判断。
三类文本在语料中没有标签区分。这意味着模型学到的中医知识是未经分层的混合体。若要精细控制，需要下游自己用规则或分类器做分层。
§15.2 网页语料的主题偏向
网页部分（Web_Corpus）同样混装，但偏向明显不同：
- 养生科普占比最高，语言通俗、传播性强，但医学严谨度参差；
- 临床经验分享密度高，是「基层中医实战」的富矿，但也最容易出现未经验证的偏方；
- 药品与商品信息（中成药介绍、保健品推广）混杂，商业性文本的噪音需要过滤；
- 学术讨论（期刊论文摘要转载、会议纪要）质量较高但比例较小。
论文没有披露各主题的占比。这个缺口对 RAG 类应用影响很大——如果 70% 是养生科普，模型就容易「养生化」。
§15.3 文言与白话的混合
中医文本的一个独有特点是文言与白话长期并存。经典条文是文言，现代教材是白话，教材中的引文又是文言。这种混合对 tokenization（分词）与模型的语言理解能力都构成挑战：
- Qwen2.5 的分词器以现代中文为主，古文单字词（如「之」「其」「乃」）会被拆得较碎，token 效率下降；
- 文言中的省略、倒装、通假，模型的语法建模难度更高；
- 同一概念在文言与白话中的表述差异，需要跨表达式的语义对齐。
论文没有报告文言/白话的比例，也没有在 token 统计中区分两者。实际训练中，文言的样本效率通常低于白话，这是评估「6B token 够不够」时需要考虑的隐性折扣。
§15.4 一套实用的语料分层建议
若要在自己的项目里使用这份语料，建议先做四层切分：
- 按子集：Book_Corpus / Web_Corpus / 两个交错 / 合成，五个桶分开；
- 按语言风格：文言密度高的 vs 白话为主的；
- 按体裁：理论 / 条目 / 医案 / 科普 / 商业；
- 按质量分：若能用论文里的分类器思路重跑一遍打分，按分数分层。
四层交叉后，你会得到 20 个左右的细桶，每个桶的训练价值不同。全量混在一起训练是最省事、也最不可控的做法。
§16 语料内容：图像侧深度阅读
§16.1 中医图像的五大类
按用途分，这份数据集里的图像大致可归为五类：
| 类别 | 典型内容 | 视觉特征 | 训练价值 |
|---|---|---|---|
| 药材图 | 饮片、原药材、植物形态 | 高清、背景干净、正视角 | 高，适合细粒度分类 |
| 图谱/解剖图 | 经络循行、穴位图、脏腑图 | 示意图、线条清晰 | 高，适合结构理解 |
| 临床照片 | 舌象、面色、皮肤病变 | 自然光、有噪声、个体差异大 | 极高，但数量占比小 |
| 手法/操作图 | 推拿、针灸、拔罐 | 人物手势、场景复杂 | 中，适合动作理解 |
| 版式图 | 书页截图、表格、封面 | 低信息密度 | 低，多为噪音 |
五类的分布未经披露。但从中医内容的出版规律看，药材图与图谱占比最高，临床照片占比最低——而临床照片恰恰是最具临床价值的。这种「高价值低占比」的倒挂，是所有医学图像数据集的通病。
§16.2 图像质量的三个未披露维度
- 分辨率：140.7GB 存储对 114 万张图，平均每张约 123KB，推测多为常规网页分辨率（而非高清图谱级）。这意味着细粒度特征（药材表面纹理、舌苔厚薄）可能不足以支撑精标任务。
- 标注可靠性：图像的中医相关性由 CLIP 分类器判断。分类器的准确率未披露，假阳性率未知。
- 版权归属：图像来自书籍扫描与公众号文章，版权归属未清理。
§16.3 交错序列的实际形态
一份典型的书籍交错序列长这样（示意，非原文）：
【章节标题：手太阴肺经】
肺手太阴之脉，起于中焦，下络大肠，还循胃口，上膈属肺。
<image: 肺经循行示意图>
从肺系横出腋下，下循臑内前廉，行少阴心主之前，下肘中……
模型在这样的序列上训练，学到的是「文字描述的结构」与「图像呈现的结构」的对应关系。这比「图 + 一句图注」的信息量高得多。
网页交错序列的形态则更碎：一段科普文字、一张配图、再一段文字、两张图。噪声更大，但数量更多。
§16.4 合成图像的重复度
合成子集的图像本身来自真实语料，只是描述文本是生成的。这意味着：合成子集与真实子集之间存在图像层面的重叠。如果在训练中同时使用两族数据，同一张图可能出现两次（一次配真实图注、一次配合成描述）。
这种重复在比例不高时影响有限，但如果合成子集占比高（条目数占总条目约 15%），重复带来的「过拟合热点」就不可忽视。建议在训练时对图像做哈希去重，或以较低权重使用合成子集。
§17 训练实践：从数据到模型的十个决策点
如果有人真要把这份语料用起来，会依次遇到十个决策点。这里把每个决策点的选项与代价摊开。
决策 1：下载哪几个子集？
全量 222GB 是最省心的选择，但对只做文本任务的团队属于浪费。建议先下 Book_Corpus + Web_Corpus（约 25GB），跑通流程后再补图文。
决策 2：用哪个底座？
Qwen2.5 系列是「原生匹配」的（论文就用它），tokenizer 与架构都对得上；若用 Llama 系或自研底座，需要重新验证中文 token 效率与学习率。
决策 3：训练顺序？
论文是两阶段（先文本后多模态）。若只做文本，跳过 Stage 2；若做多模态，不要跳过 Stage 1——文本是中医知识的主体。
决策 4：中医与通用的配比？
论文用 6.29B : 5.63B（约 1.1:1）。若想更强领域化，可以提高中医比例，但要监控通用能力下降；若想保留通用能力，可维持或降低比例。
决策 5：用不用合成子集？
建议用，但降权。合成子集解决的是「图像多、文本少」的覆盖率问题，不是知识问题。
决策 6：要不要重新清洗？
建议至少做两件事：一是重复检测（网页语料内部仍有转载冗余），二是敏感词过滤（医疗建议类表述）。
决策 7：序列长度？
论文用 4096 打包。若处理长篇古籍，建议更长（8192），但要相应调整 batch。
决策 8：怎么评估？
先用 TCM-Text-Exams 做快速验证，再用 TCM-Vision-Benchmark 测视觉（若做了多模态）。不要只用自己构造的测试集，否则失去与论文的可比性。
决策 9：要不要做 SFT？
预训练只给知识，不给对话能力。若要做问答产品，必须再做指令微调（可用团队的 27K 指令数据集作为起点）。
决策 10：怎么处理许可？
在训练前解决，不要在发布模型时才发现问题。见 §13 的四步法。
§18 与其他中医模型的数据策略对比
把 ShizhenGPT 的数据策略与同赛道的几个模型放在一起看，能更清楚地理解它的选择。
Zhongjing-7B 的策略是「以经典为核」：以《伤寒论》《金匮要略》为核心，配合构造的方证问答。它的优势在于知识密度极高、方证对应精准；劣势在于覆盖面窄，对现代疾病与养生问题不擅长。语料规模估计在千万 token 级，远小于 ShizhenGPT。
Biancang-7B 走的是「文献驱动」路线，以扁鹊仓公典籍为核心。公开信息有限，但从命名与论文表现（52.5 分）看，规模介于 Zhongjing 与 ShizhenGPT 之间。
Lingdan-13B 参数量更大（13B），考试分 59.1 高于 7B 级专模，低于 ShizhenGPT-7B 的 72.9。这说明参数量不是决定因素，语料规模与质量才是。
TCMChat-600k-7B 的名字里直接写了「600k」，指指令数据的规模。它以指令微调为主，预训练可能直接用了通用底座，领域知识注入不足，因此得分最低（43.5）。
HuatuoGPT-Vision-7B 是多模态方向，视觉基准 46.7，明显低于 ShizhenGPT-7B 的 60.1。差距很可能来自图文语料规模——本数据集的 1.14M 真实图文对是决定性因素。
这张对比表得出的结论很朴素：在中医这个领域，语料规模的边际收益仍然很高。当一个模型把语料从千万级拉到十亿 token 级、图像从十万级拉到百万级，考试分与视觉分就同时上一个台阶。这也解释了为什么团队要在论文里强调「largest」——在这个阶段，规模确实还是竞争的主轴。
但规模红利不会永远持续。当所有团队都有了十亿 token 级的中医语料后，竞争会转向「语料质量」「知识分层」「临床验证」。这份数据集目前的短板（无质量抽检报告、无分层标签、无临床验证）恰好指向下一阶段的主战场。
§19 中医数据工程的二十年脉络
把这份数据集放到更长的时间尺度上看，它是「中医信息化」这一条脉络上的最新一环。
2000 年代：中医古籍数字化工程启动，各大中医药大学开始扫描馆藏古籍，形成了若干内部数据库（如中华医典、中医古籍全文数据库）。这些库以「检索」为目的，格式不统一，多为商业订阅。
2010 年代：结构化知识库兴起。中医证候、方剂、中药的知识图谱项目陆续出现（本库收录的 tcmssd、tcmbank、herb-2 都属于这一脉）。它们的价值在于「关系明确」，但规模受限于人工整理。
2020 年代前期：问答语料成为主流。Huatuo-26M 这类大规模医患问答对，为指令微调提供了燃料。这一阶段的模型以「能对话」为目标。
2023 年至今：预训练语料与多模态。ShizhenGPT 所在的这一环，特征是把「规模」与「多模态」两个维度同时推高，并且开始关注「从扫描书到结构化序列」的全自动流水线。
这条脉络给出的启示是：每一代技术的瓶颈，都从「数据有没有」转向「数据是不是对的」。当前这一代解决了「有没有」的问题（6B token + 1.14M 图），下一代要解决的是「对不对」——这需要临床验证、专家标注与长期追踪，恰恰是模型团队最难独自完成的部分。
因此，这份数据集更准确的定位是：它为中医大模型的下一阶段铺好了地基，但它本身不是终点。把它当作「语料供应」而不是「知识权威」，是使用它的正确姿势。
§20 「时珍」之名的三重象征
中医大模型喜欢用人名做模型名，这一惯例本身值得一读。ShizhenGPT 的「Shizhen」取自李时珍（1518–1593），《本草纲目》的作者。选这个名字不是偶然。
李时珍的三种象征意义，恰好对应了这份语料的三个部分：
- 《本草纲目》是一部「药物图鉴」。它不仅有文字，还有大量插图，是中医文献史上「图文并茂」的典范。这对应了本数据集里那 119 万张图像与两个图文交错子集。
- 它是一部「集大成」的书。李时珍参考了 800 余种文献，历二十七年编成，是对前代本草知识的系统整理。这对应了 Book_Corpus 里 3,256 本教材的「集大成」野心。
- 它是一部「纠正错误」的书。李时珍在书中订正了前代本草的诸多讹误。而这一点，恰恰是本数据集没有做到的——它收集知识，但不校验知识。
第三种象征意义构成了一个微妙的张力：以「时珍」为名，却只继承了「集大成」而未继承「订正」。这不是批评，而是说明：在语料工程阶段，「纠正」这件事在技术上还做不到，需要专家审核才能完成。这个空缺，是下一代中医数据集的核心任务。
同赛道的命名也各有讲究：仲景（张仲景，《伤寒论》）指向「辨证论治」的方法论，扁鹊仓公（秦越人、淳于意）指向「医案」传统，华佗指向「外科与多模态诊疗」。每个名字都在暗示模型的知识侧重。读懂这些名字，比读十篇新闻稿更能理解这些模型的设计意图。
§21 语料与模型规模的非线性关系
有一个问题在论文中没有直接回答，但对使用者很重要：6B token 的中医语料，对于一个 7B 模型来说，是多还是少？
一个粗略的经验法则是：领域继续预训练的语料量，通常应达到模型参数量的 1–2 个数量级。6B token 对 7B 模型约 0.86B/参数，即 6B/7B ≈ 0.86 token/参数——这相当于「不到 1 个 token 每参数」，远低于通用预训练的 100+ token/参数。
但这不意味着「语料不够」。原因是：
- 这是继续预训练，不是从头训练。底座 Qwen2.5-7B 已经在数万亿 token 上训过，领域数据的作用是「微调分布」而非「从零构建知识」。
- 中医领域的知识密度高。一段古文可能承载的概念量，远高于一段通用网页文本。
- 论文的实验显示 1 个 epoch 就够了。6.29B 中医 token 训 1 个 epoch，考试分从 Qwen2.5-7B 的 63.5 提升到 72.9，提升 9.4 分。
反过来问：再多的中医语料能带来多少提升？ 论文没有做规模消融实验（如 1B / 3B / 6B 的对比），这是一个明显的研究空白。从常识判断，边际收益会递减，但递减的拐点在哪里，目前无数据。
这个空白对想要复现或扩展的团队是一个机会：做一次语料规模消融，就能回答「中医语料到底需要多少」这个所有人都在猜的问题。
§22 数据卡（Datasheet）要素对照
学术界的「数据卡」（datasheet for datasets）规范提出了七个必答问题。用这把尺子量一下本数据集：
| 问题 | 本数据集的回答状态 |
|---|---|
| 动机：为什么创建 | ✅ 论文摘要与引言说得很清楚（数据稀缺 + 多模态诊断） |
| 构成：包含什么 | ✅ 五子集数量表；⚠️ 缺主题分布、字段 schema |
| 收集过程：怎么来的 | ✅ 论文方法节非常详细（5,000 本→3,256 本、33.2GB+63.2GB→21.2GB） |
| 预处理与清洗 | ✅ 两步过滤、CLIP 筛选、语义去重均有描述；⚠️ 缺质量抽检结果 |
| 用途：适合做什么 | ⚠️ 论文只说了「预训练」，未说明不适合的用途 |
| 分发：如何获取与许可 | ⚠️ 获取路径清晰，许可完全缺失 |
| 维护：谁来维护 | ⚠️ 无维护承诺、无版本记录、无 issue 响应机制说明 |
七项中四项基本完整、三项有明显缺口。这个分布说明：这是一份由研究团队发布的「论文附随数据」，而非由数据工程团队维护的「数据产品」。两者的差别在于后者会补齐许可、schema、抽检报告与维护承诺。
对使用者而言，这个判断决定了预期：不要指望能提 issue 得到数据层面的答复；遇到问题，最可靠的做法是自行校验或联系作者。
§23 关于「最大」的三次口径变化
「[最大] 的中医数据集」这一宣称，在三个不同时点、三个不同文本里有三种表述方式，值得记录：
- 论文摘要：「the largest TCM dataset to date, comprising 100GB+ of text and 200GB+ of multimodal data」。这里用的是体积口径。
- GitHub README：「the largest available TCM dataset」，并用表格给出 「~6B tokens」。这里用的是 token 口径。
- 数据集卡片：「the largest existing TCM corpus dataset (over 5B tokens)」。这里用的是下限口径（over 5B），措辞最保守。
三种表述并不矛盾，但给人的印象不同：摘要让人想到「300GB」，README 让人想到「6B token」，卡片让人想到「5B token 以上」。同一件事的三种说法，会让不做交叉核对的读者产生规模上的错觉。
这也是本条目坚持做 §10 口径对照表的原因：医学数据集的规模宣称，往往在不同文本里被「重新表述」过，而每一次重新表述都可能带来精度损失。
§24 数据集的四个「看不见」：缺失信息清单
一个成熟的数据集条目，除了写「有什么」，也该写「没有什么」。本节列出这份数据集在公开材料中明确缺失的关键信息，按重要度排序。
第一，字段级 schema。 五子集的每一行包含哪些字段、字段类型是什么、图像是内嵌还是外链、交错序列的标记方式（特殊 token？JSON 结构？），全部未公开。这意味着下游在做数据加载时必须先探索结构，无法直接按文档编写管道代码。
第二，逐子集的完整文件清单。 每个子集分多少个 shard、每个 shard 多大、命名规则是什么，未公开。222GB 的下载对存储规划影响很大，缺这份清单会让准备工作变得盲目。
第三，质量抽检报告。 清洗用了什么分类器、准确率多少、误删率多少、人工抽检了多少条——全部没有。这意味着使用者无法判断「清洗后剩下的 21.2GB 里，有多少是真金」。
第四，数据去重的具体口径。 「语义去重」用的是余弦相似度阈值，但阈值是多少、去掉了多少比例、是否跨子集去重，未公开。这一条直接影响「6B token 里有多少是重复内容」这个关键判断。
四项缺失中，前两项属于「工程文档」，补齐成本低；后两项属于「质量控制」，补齐需要额外工作。从 AI-Ready 的角度看，前两项的缺失比后两项更容易被诟病，因为它们本可以在上传时顺手写好。
§25 与 AI-Ready 五要素的逐项打分
我们的 AI-Ready 评估体系把「可用性」拆成五个要素。本数据集在各要素上的表现：
语料规模（高）。 6B token + 1.14M 真实图像，在公开中医语料中处于领先。这一项没有争议。
格式规范（中）。 发布在 HuggingFace，使用 datasets 标准格式；但缺 schema 文档，加载需要探索。
元数据完整性（低）。 无许可、无 schema、无抽检报告、无版本记录。这是最大短板。
可追溯性（中）。 论文详述了收集过程（哪一年、哪些来源、什么清洗步骤），但具体到「哪一篇文章、哪一本书」的溯源信息未随数据发布——无法从一条语料追回到原始出处。
可复现性（中）。 清洗流程描述足够详细，理论上可复现；但具体的分类器权重、提示词全文、阈值参数未全部公开，复现会有偏差。
五要素综合，本数据集属于「规模领先、工程欠打磨」的类型。它与一些由数据工程团队维护的精品数据集（元数据完备、许可清晰、有维护承诺）形成对比；也与一些纯网盘流传的语料（规模大但完全无元数据）形成对比。它落在两者之间——有论文背书，但缺产品级规范。
§26 一份给中文读者的术语辨析
中医里有大量术语在英文翻译中会丢失层次，读这份数据集的英文论文时容易误解。这里挑四个最常被误读的：
「textbook」。中文语境下「教材」特指现代教育体系中的教科书；论文的 「TCM textbooks」 实际涵盖了古籍整理本、讲义、参考书等多个层次。理解为「书籍」比理解为「教材」更准确。
「corpus」。论文中 「TCM corpus」 有时指「全部语料的集合」，有时指某个子集（如 Web Corpus）。读数据配比表时要注意区分。
「interleaved」。中文常译为「交错」，指的是多模态序列的组织方式，不是「混合数据集」的意思。它特指「同一个序列里文字与图像交替出现」。
「synthesized」。译为「合成的」是对的，但它在这里特指「文本由模型生成、图像来自真实来源」这一种特定组合，不是「全部内容都由 AI 生成」。
四个词的共同点是：英文表述比中文习惯更精确，但也更容易被中文报道简化成模糊的说法。「3,256 本教材」、「6B 语料」、「交错数据」、「合成数据」这几个说法在二手报道里经常被随意替换，导致读者对数据性质的理解出现偏差。
一个实用的阅读习惯是：看到任何关于本数据集的中文描述，先回到英文原始表述核对一次。本条目写作时对每一处都做了这样的核对，结果集中在 §10 的口径表里。
§27 一个小型复现实验的设计建议
如果有人想在有限算力下验证这份语料的价值，可以设计一个「最小可行实验」：
目标：验证「只用 Book_Corpus 是否已足够提升中医考试分」。
设置：底座 Qwen2.5-7B；训练数据仅取 Book_Corpus（约 0.96B token，按论文口径 1 epoch）；学习率 5e-5；batch 256；序列 4096；单卡或双卡 A100 跑 LoRA 或全参微调。
对照：同一底座不训练；同一底座只用 Web_Corpus；同一底座混合两者（论文配比）。
评测：TCM-Text-Exams 的 1,088 题（需注意 §5.5 的评测协议问题，尽量与论文一致）。
预期：Book_Corpus 单用应能带来一部分提升，混合两者提升最大；若 Book_Corpus 单用的提升已接近论文水平，说明书籍是主要贡献者。
这个实验的算力需求远低于论文的全量训练，但能回答一个有实际意义的问题：在预算有限时，应该优先下载并训练哪个子集。目前公开材料没有回答这个问题，只能靠实验。
一个提醒：做这类消融实验时，务必固定随机种子、固定评测脚本，并至少跑三次取均值。中医考试题量小（1,088 题），单次运行的波动可能有 1–2 分，小于该幅度的差异不可信。
§28 关于本条目写作方法的一点说明
本条目在写作时遇到的最大困难，不是「资料不够」，而是「资料之间对不上」。同一份数据集的规模，在卡片、README、论文摘要、论文正文里有四种表述；同一批图像的数量，有三处不同；合成字幕的生成器，有两个说法。
处理这类分歧的原则有三条：
- 不擅自调和。看到 50,690 与 51,619 两个图像数，不要取平均值或选一个「看起来更对」的，而是两个都记下来并说明差异。
- 优先给出可验证的引用位置。每一个数字都要能指回具体来源（卡片表格、论文方法节、README 表格），而不是笼统地说「据论文」。
- 把分歧本身当作信息。口径差异往往暗示了数据集的发布过程——例如「卡片与论文图像数不同」，可能说明卡片是在某次去重后更新的，而论文用的是早期统计。
这三条原则的代价是文本会显得啰嗦，收益是读者在做二次研究时不会被误导。本条目选择接受这个代价。
§29 与千方病案医数集的互链说明
本条目在库内的定位是「中医预训练语料」，与已收录的七条中医条目形成互补。以下逐条说明互链的理由与阅读顺序建议。
与 huatuo-26m（rid 823）：技术血缘。
这份数据集的音频部分，正是用 Huatuo-26M 中的 6 万条医患对话，经 CosyVoice 2 合成语音而来。也就是说，Huatuo-26M 是这份数据集的上游数据源之一。阅读建议：先读 huatuo-26m 理解「问答配对的形态」，再读本条目理解「问答如何被转化成训练语料」。
与 tcm-tongue（rid 1052）：专项对照。
本数据集的视觉基准含 Tongue 分卷（768 题），而 tcm-tongue 是专门做舌头标准化图像的。一个是「大规模泛化数据中的一小部分」，一个是「小而精的专项数据」。阅读建议：做舌诊模型时，先用本数据集做预训练，再用 tcm-tongue 做精调。
与 tcmssd（rid 1054）：知识结构对照。
tcmssd 是中医证候标准化数据库，属于「结构化知识」。本数据集的语料是「非结构化文本」。两者结合正好构成 RAG 的两端：非结构化语料做检索、结构化数据库做校验。
与 mtcmb（rid 1108）：评测互补。
mtcmb 是多任务中医评估基准，覆盖面广；本数据集的 TCM-Text-Exams 是考试题库，覆盖面窄但更贴近国家考试标准。两者一起用，既有广度又有标准性。
与 nb-tcm-chm（rid 1116）：图像域重叠。
nb-tcm-chm 是 20 类中药果实图像（3,784 张），与本数据集视觉基准的 Herb / Material 分卷同域。差别在于 nb-tcm-chm 是精标小集，本数据集是粗标大集。
与 herb-2（rid 1123）、tcmbank（rid 1124）：知识与关系。
这两条都是中药领域的结构化知识库（前者偏临床与实验证据，后者偏关系型数据库）。本数据集提供「语料层的药材知识」，它们提供「结构层的药材知识」。
互链的一个整体建议：把本条目作为「中医数据家族」的入口，从它分叉到「结构化知识」（tcmssd/tcmbank/herb-2）、「专项图像」（tcm-tongue/nb-tcm-chm）、「评测基准」（mtcmb）、「问答来源」（huatuo-26m）。这条分叉路径与一个中医 AI 项目的实际开发顺序高度吻合：先准备语料（本条目），再补知识库（结构化条目），再做专项优化（图像条目），最后用评测（基准条目）验收。
§30 对三类读者的一句话建议
给研究者的：把它当作「可复现的基线语料」。做规模消融、做清洗策略对比、做多模态对齐方法，都需要一个公开的大语料做底座，这份是最合适的选择之一。引用时务必带口径（§10）。
给工程师的：先下文本两子集跑通流程，再决定是否投入 222GB。下载前解决许可问题（§13），加载前先探索 schema（附录 B 是反推的，不是官方）。合成子集建议降权或不用。
给内容/报道作者的：不要写「AI 老中医」或「6B token 让模型会看病」。准确的表述是「公开了约 6B token 的中医预训练语料，模型在该语料上训练后在中医考试中达到 72.9 分」，同时注明「模型仅供研究、禁止临床使用」。
三类建议的共同点是：不要越过证据边界。这份数据集能证明的事（规模、组成、训练效果）与不能证明的事（临床有效性、知识正确性、可商用）之间有清晰的界线，本条目全篇都在标注这条线。
§31 一个类比：图书馆还是教材
理解一份预训练语料的最快方式，是找一个恰当的类比。
如果把它比作「教材」，那么读者会期待：体系完整、章节有序、重点标注、有习题。本数据集不是教材——它没有章节结构，没有难度分级，没有知识点标注，更没有习题。
如果把它比作「图书馆」，那么读者会期待：藏书丰富、版本多样、分类上架。本数据集部分像图书馆——书很多（3,256 本）、网页文章很多（一千多万篇的规模），但没有目录卡片（无元数据），没有分类号（无主题标签），没有管理员（无维护）。
更准确的类比是：它是一间刚完成打包、尚未上架的书库。书都在箱子里，按来源分成了五个大箱（五个子集），但每本书的标签还没贴。研究者可以自己开箱、自己整理，但要花不少时间。
这个类比能解释几个现象：
- 为什么规模宣称重要：装箱的总量是最容易统计的指标，上架质量最难统计；
- 为什么缺 schema 影响很大：开箱后每箱的排列方式不同，不告诉你怎么排，就得自己摸；
- 为什么合成部分要单列：合成的书必须单独放一箱，否则会污染整个书库的可信度。
对使用者而言，这意味着一个心理准备：使用这份语料的时间成本，至少有三分之一花在「整理」而非「训练」上。如果团队没有专门的数据工程人力，这个成本会被低估。
这个类比还能回答一个常见疑问：为什么没有「官方预处理脚本」？因为装箱的人认为「上架」是使用者的事。这在一份附带在论文里的语料上可以理解，但它确实把一部分工作量转移给了下游。
一个务实的做法是：把你自己的整理脚本开源出去。第一个把这份语料整理成可用形态并公开脚本的团队，实际上补上了作者没做的那一半工作，也会成为后续研究者的默认入口。这不是批评作者，而是社区分工的自然结果。
§32 与「数据即服务」两种模式的比较
当前的数据集发布有两种模式，本条目属于后者。
模式一：数据即产品（Dataset as Product）。 典型特征：有明确的版本号、有维护团队、有 issue 跟踪、有 schema 文档、有许可证、有质量抽检报告、有使用示例。使用者拿来即用。
模式二：数据即论文附随（Dataset as Appendix）。 典型特征：随论文发布、无独立维护、元数据以论文正文代替、许可证缺失或模糊、无后续更新。使用者需要自己补齐信息。
本数据集明显属于模式二。这不是贬义——大多数学术数据发布都是模式二，因为研究团队的主要产出是论文，数据是佐证。但这种模式对使用者的要求更高：
- 你必须读论文，才能知道数据是怎么来的；
- 你必须自己探索，才能知道数据长什么样；
- 你必须自己判断，才能决定能不能用。
从研究社区的效率角度看，模式二的成本被摊到了每一个使用者身上。如果有一份规范的 datasheet，这个成本只需要付一次。这就是为什么近年来「datasheet for datasets」的倡议越来越受重视——不是为了合规，而是为了省下所有人的时间。
§33 中医语料的「翻译层」问题
这是中医数据特有的一个难题，值得单列一节。
西医的术语体系高度国际化：hypertension、diabetes、pneumonia，中英文一一对应，SNOMED CT、ICD 有标准的映射表。中医术语则不然：
- 「气」 在英文里有 qi、vital energy、air 等多种译法，每一种都丢失了一部分含义；
- 「证」 与 「syndrome」 并非完全对应，syndrome 强调的是「症候群」，而「证」强调的是「病机」;
- 「经络」 译作 meridian，但 meridian 在天文学里是「子午线」，容易引起误解。
本数据集的语料以中文为主，这个问题在预训练阶段不明显（模型学的是中文分布）。但一旦要做跨语言的中医模型或英文问答，翻译层的问题就会浮现：模型把「肝郁」译成 liver depression，而英文读者理解成「肝脏抑郁」。
更棘手的是，这种翻译偏差会被语料放大。如果网页语料里存在大量机器翻译的中医文本（英文中医文章被译回中文，或中文文章被译成英文再译回），模型学到的就是「经过翻译损耗」的知识。论文未披露是否做了这类「翻译回转文本」的过滤。
实用建议：做中医跨语言应用时，不要直接依赖预训练语料里的双语能力，而应建立一套术语对齐表（中文术语 → 英文术语 → 定义），在应用层做约束。
§34 结语：一份有用但需谨慎的语料
把全文的观察收拢成一句判断：TCM-Pretrain-Data-ShizhenGPT 是目前公开可得的最规模化的中医预训练语料，它的价值在「规模」与「多模态覆盖」两条腿，它的短板在「元数据」与「许可」两项工程规范。
它解决了什么问题？让「中医多模态预训练」从「每个团队各自造轮子」变成「可以站在同一块地基上」。这一点，仅凭 1.14M 真实中医图像与 6B token 文本就足以成立。
它没解决什么问题？它不能替代专家审核，不能替代临床验证，不能保证知识正确，也没有给出可商用的法律基础。这些都不是一份语料的职责，但经常被误认为是一份语料的功劳。
对它的合理期待是：把它当作训练管道的第一段——让模型「见过中医长什么样」。至于「懂不懂中医」「能不能用」，那是评测、对齐与临床验证要回答的问题，与这份数据集无关，也无法由它来证明。
FAQ（高频问答 25 问）
Q1：这个数据集能商用吗？
无法从公开信息判断。GitHub license 为空、论文无声明、卡片 license 未取得。建议联系通讯作者。
Q2：下载要多大空间？
HuggingFace 页面显示 222 GB。考虑解压与训练时的缓存，建议预留 500 GB 以上。
Q3：能只下文本部分吗？
理论上可以按子集目录下载，但本次抓取未取得文件树，无法确认目录结构与卡片名称的对应关系。建议下载前先在仓库文件页核对。
Q4：训练需要多大算力？
论文用 2 个 DGX 节点、每节点 8 张 A100，跑两阶段 11.92B + 3.84B token。个人研究者可用 LoRA 或只做部分子集的继续预训练。
Q5：中文还是英文语料？
以中文为主（教材、网页、公众号）。唯一的大规模英文部分是 FineWeb-edu 5.63B token，属通用语料，不在发布的五个子集内。
Q6：古籍是文言还是白话？
两者都有。3,256 本「教材」包含大量经白话整理的中医教材，也有文言古籍的整理本。
Q7：为什么叫「教材」（textbook）而不是「古籍」（classics）？
卡片用 textbook，论文用 books/教材。实际收集的 5,000 本范围更广，最终保留下来的 3,256 本以可解析的教材与整理本为主。
Q8：图像是彩色还是黑白？
未公开逐子集色彩分布。书籍扫描件多为彩色或灰度，公众号配图多为彩色。
Q9：合成子集里的图像是生成的吗？
不是。图像来自真实书籍与网页，只有文本描述是生成的。
Q10：GPT-4o 具体用哪种调用方式？
未公开（API 版本、温度、提示词全文只在论文图 6 中给出部分）。
Q11：为什么没有脉象数据？
隐私与伦理原因，卡片明确说明不发布。
Q12：脉搏数据在哪里能拿到？
论文提到合作医院采集的数据（3,165 名育龄健康女性）与公开数据集 AdBrc（9 种健康状态×218 样本），但两者均不随本数据集发布，需自行联系或从原始来源获取。
Q13：TCM-Text-Exams 和 TCM-Vision-Benchmark 是这份数据集的一部分吗？
不是，它们是独立的 HF repo，与本数据集并列发布。
Q14：指令数据集在哪里？
FreedomIntelligence/TCM-Instruction-Tuning-ShizhenGPT，README 说 27K 条。
Q15：模型能直接跑吗？
7B/32B 的 LLM 与 VL 形态可直接用 transformers 加载；Omni 需要特定版本 transformers。
Q16：有没有量化版？
有，HF 上 mradermacher 发布了 GGUF 与 i1 量化版，覆盖 7B/32B 的 LLM/VL。
Q17：能在中文以外用吗？
模型底座是 Qwen2.5，多语言能力有一定保留，但语料几乎全中文，英文中医问答质量未评测。
Q18：语料里有广告吗？
网页部分经质量分类器过滤，但不可能完全清除。建议下游再做一遍启发式清洗。
Q19：语料里的中医方剂剂量可信吗？
不可直接采信。古方剂量单位（两、钱、分）与现代克数换算存在争议，语料中不同来源的换算标准可能互相矛盾。
Q20：能用于临床辅助决策吗？
论文伦理声明明确禁止。仅限科学研究。
Q21：会更新吗？
未见更新计划。最后一次代码 push 是 2025-11-13，arXiv 只有 v1。
Q22：为什么不发布信号数据却宣称支持四诊？
模型的信号能力是在不公开的信号数据上训练的（公开数据集 + 合作医院数据），语料不发布出于隐私考虑。
Q23：这份数据集的「最大」和 Huatuo-26M 的「最大」哪个对？
两者不是同一赛道：前者是预训练语料，后者是问答配对。各自的「最大」在其自身品类内成立（均为作者宣称）。
Q24：可以拿来训练非中医模型吗？
技术上可以，但通用能力会受影响；若目标是通用模型，中医语料应低比例混入。
Q25：引用时应该引数据集还是论文？
引论文（arXiv:2508.14706），并在正文写明所用子集。数据集本身无独立 DOI。
事实清单（硬事实 30 条）
- 数据集官方名：TCM-Pretrain-Data-ShizhenGPT（HF/ModelScope）。
- 组织：FreedomIntelligence。
- GitHub 仓库名：FreedomIntelligence/ShizhenGPT（模型仓库，非数据仓库）。
- 论文：arXiv:2508.14706，v1 提交于 2025-08-20。
- 作者 13 人，通讯为王本友（Benyou Wang）。
- 数据集共 5 个子集。
- TCM_Book_Corpus：3,256 本，~0.5B token（卡片）。
- TCM_Web_Corpus：>5B token（卡片）。
- TCM_Book_Interleaved_Data：306 本书，41,459 条，50,690 图（卡片）。
- TCM_Web_Interleaved_Data：505,465 条，1,143,954 图（卡片）。
- TCM_pretrain_synthesized_vision：144,239 条，159,534 图，GPT-4o 生成文本（卡片）。
- HF 页面：2,916,667 行、222 GB、上月下载 2,021。
- README 总量口径：~6B token。
- 论文摘要：100GB+ 文本、200GB+ 多模态、1.2M 图像、200 小时音频。
- 书籍收集 5,000 本，保留 3,256 本，MinerU 解析。
- 网页来源：Common Crawl 2017–2023 + 微信公众号（2023-06 前）。
- 词典抽取规模：30K 词。
- 初筛 33.2GB（网页）+ 63.2GB（公众号）。
- 清洗后网页语料 21.2GB / 5.33B token。
- 质量分类器：DeepSeek-V3 标注 + text2vec-base-chinese。
- 图像筛选：GPT-4o 标注微调的 CLIP 分类器，从约 500 万张筛出 1,143,954 张。
- 通用英文语料：FineWeb-edu 5.63B token。
- Stage 1：11.92B token，batch 256，lr 5e-5，1 epoch。
- Stage 2：3.84B token，batch 128，lr 5e-5，1 epoch。
- 音频：58,462 条 / 238.67 小时，由 CosyVoice 2 从 Huatuo-26M 对话合成。
- 信号数据不随数据集发布（隐私伦理）。
- 文本基准 TCM-Text-Exams 共 1,088 题。
- 视觉基准 TCM-Vision-Benchmark 共 7,204 题。
- 视觉均分：ShizhenGPT-7B 60.1、32B 63.6。
- 许可：未公开（GitHub license=null）。
附录
附录 A：条目信息速查卡
| 项 | 值 |
|---|---|
| 条目名 | TCM-Pretrain-Data-ShizhenGPT |
| url_name | tcm-pretrain-shizheng |
| 类型 | 预训练语料（文本 + 图文交错 + 合成） |
| 论文 | arXiv:2508.14706（2025-08-20） |
| 团队 | FreedomIntelligence / 王本友组 |
| 规模 | ~6B token、222GB、5 子集 |
| 许可 | 未公开 |
| 抓取时点 | 2026-10-17 |
| 库内互链 | huatuo-26m(823)/tcm-tongue(1052)/tcmssd(1054)/mtcmb(1108)/nb-tcm-chm(1116)/herb-2(1123)/tcmbank(1124) |
附录 B：五子集数据字典（按卡片口径）
| 字段 | 取值域 | 说明 |
|---|---|---|
| subset | Book_Corpus / Web_Corpus / Book_Interleaved / Web_Interleaved / synthesized_vision | 子集标识 |
| text | 中文字符串 | 正文或图像描述 |
| images | 图像文件 | 仅图文与合成子集有 |
| entry_id | 字符串 | 条目编号（格式未公开） |
说明：本数据集未发布字段级 schema 文档，上表为按子集描述反推的结构，不是官方定义。
附录 C：证据链
| 关键数字 | 来源 |
|---|---|
| 五子集数量表 | HF/ModelScope 数据集卡片 |
| 3,256 本 / 5,000 本收集 | 论文方法节 |
| 30K 词典 / 33.2GB / 63.2GB | 论文方法节 |
| 21.2GB / 5.33B token | 论文方法节 |
| 11.92B / 3.84B | 论文训练节 |
| 分段题数 | GitHub README 表格 |
| 基准均分 | 论文表 4/5 |
| license null | GitHub API |
| 222GB / 2,916,667 行 | HF 数据集页 |
附录 D：可迁移的数据构建检查单（10 条）
- 明确区分「采集语料」与「合成语料」，并分开发布。
- 时间隔离：训练截止早于评测题年份。
- 字符级去重：剔除与评测集长匹配的样本。
- 双轨供应：权威书籍 + 网页补充。
- 质量打分：大模型当评委 + 小模型蒸馏。
- 语义去重：嵌入余弦阈值。
- 图像筛选：领域微调的 CLIP 分类器。
- 交错而非配对：保留文档结构。
- 信号类敏感数据：宁可不发，不可滥发。
- 声明许可证：哪怕只是「仅限研究」。
附录 E：缩写速查
| 缩写 | 全称 |
|---|---|
| TCM | Traditional Chinese Medicine |
| HF | HuggingFace |
| LLM | Large Language Model |
| VL | Vision-Language |
| Omni | 全模态（文本+图像+声音+信号） |
| SFT | Supervised Fine-Tuning |
| TTS | Text-to-Speech |
| DAIMS | Discoverability/Accessibility/Interoperability/Metadata/Sustainability |
| CUHK-Shenzhen | 香港中文大学（深圳） |
§35 术语表
| 术语 | 英文 | 释义 |
|---|---|---|
| 岐黄问道 | QiHuangWenDao | 项目/社区层面的中医大模型系列称谓，本条目沿用但不视作论文官方名 |
| 神农 / 时珍 | ShizhenGPT | 本数据集服务的模型名，取李时珍之「时珍」 |
| 望闻问切 | four diagnostics | 中医四诊：望、闻、问、切 |
| 交错数据 | interleaved data | 文本与图像按文档阅读顺序交替排列的长序列 |
| 图文对 | image-text pair | 一张图与一段独立描述组成的训练样本 |
| 合成数据 | synthetic data | 由模型生成而非人工撰写的文本/图像 |
| 模型自噬 | model collapse | 用模型生成数据训模型导致的分布退化 |
| MinerU | MinerU | 开源高精度 PDF 解析工具，用于扫描书籍结构化 |
| OmniCorpus | OmniCorpus | 大规模多模态语料库，提供 Common Crawl 文本子集 |
| FineWeb-edu | FineWeb-edu | 教育质量筛选的英文预训练语料 |
| CosyVoice 2 | CosyVoice 2 | 语音合成模型，用于把医患对话文本转成音频 |
| whisper-large-v3 | Whisper large-v3 | 语音编码器，用于音频模态 |
| 寸关尺 | cun-guan-chi | 中医脉诊三部的取脉位置 |
| 舌象 | tongue image | 望诊中观察舌质与舌苔的图像 |
| Stage 1 / Stage 2 | — | 论文的两阶段预训练：纯文本 / 多模态 |
| DAIMS | Discoverability/Accessibility/Interoperability/Metadata/Sustainability | 本库的数据集可得性五维评分 |
| TTS | Text-to-Speech | 文本转语音 |
| SFT | Supervised Fine-Tuning | 指令监督微调 |
| VL | Vision-Language | 视觉-语言（多模态）模型 |
| Omni | omni-modal | 全模态（文本+图像+声音+信号） |
尾注
本条目为 AI-Ready Wikipedia 数据集条目，生产于 2026-10-17，抓取与核验时点见附录 A。事实陈述以 arXiv:2508.14706、GitHub 仓库 README 与 API、HuggingFace/ModelScope 数据集卡片为源。卡片与论文之间的十处口径差异已在 §10 逐条存照，未能核实的项目（许可、文件树、institutes、‡ 记号含义、指令集规模）已在 §11 与 FACT 记录中列为遗留疑点。条目与库内 huatuo-26m（rid 823）、tcm-tongue（rid 1052）、tcmssd（rid 1054）、mtcmb（rid 1108）、nb-tcm-chm（rid 1116）、herb-2（rid 1123）、tcmbank（rid 1124）互链，构成中医数据与模型家族的检索面。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- medicat — 共享标签：医疗NLP / 多模态 / 影像-文本对齐 / 生物医学文献
- pmc-oa — 共享标签：医疗NLP / 多模态 / 影像-文本对齐 / 生物医学文献
- open-pmc — 共享标签：医疗NLP / 多模态 / 生物医学文献
- pmc-vqa — 共享标签：医疗NLP / 多模态 / 生物医学文献
- mmedc — 共享标签：医疗NLP / 多模态 / 生物医学文献
- revapo — 共享标签：医疗NLP / 多模态 / 影像-文本对齐
- ms-cxr-t — 共享标签：医疗NLP / 多模态 / 影像-文本对齐
- reg2026 — 共享标签：医疗NLP / 多模态 / 影像-文本对齐
- apollocorpus — 共享标签：医疗NLP / 生物医学文献 / 医学考试
- biomedica — 共享标签：多模态 / 影像-文本对齐 / 生物医学文献
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
