信息速览
INFOBOX — MTCMB 一屏速览
维度 内容 本质 中医药领域大语言模型（LLM）多任务评测基准数据集（非训练集、非临床数据集） 全称 Multi-Task benchmark dataset for evaluating LLMs in Traditional Chinese Medicine（论文另称 Multi-Task TCM Assessment Benchmark） 团队 中山大学 + 北京中医药大学 + 康奈尔大学 + 湖南中医药大学，联合持证中医师共建 论文 Sci Data（Nature Portfolio）2026，doi:10.1038/s41597-026-07967-w（收 2025-11-21 / 接受 2026-07-22 / 发布 2026-07-31；非 arXiv） 规模 12 个子数据集 / 5 大维度 / 7,100 条标注样本（JSONL，Zenodo 合计 3.3 MB） 五大维度 知识问答、语言理解、诊断推理、方剂推荐、安全评价 最大子集 TCM-ED-B 4,800（执业医师整卷 MCQ）、TCM-ED-A 1,200（12 学科各 100） 最小子集 TCM-SE-A / TCM-SE-B 各 50（安全评价填空+选择） 来源 国家中医执业/主治医师考试题库、「十三五」中医教材、《中华人民共和国药典》2020 版、中医智库、阿里云天池、CCL25-Eval Task 9 评估指标 Accuracy、BERTScore、BLEU、ROUGE、Jaccard/F1、GLM-4-Air 评审 许可 数据集 CC BY 4.0｜论文 CC BY-NC-ND 4.0（双层不同） 获取 Zenodo（doi:10.5281/zenodo.20465629，v2）｜GitHub Wayyuanyuan/MTCMB｜HF 镜像 Bunnybeck/MTCMB 库内互链 tcmeval-sdt（rid=1053）、tcmssd（rid=1054）、tcm-tongue（rid=1052） 血缘 TCM-MSDD / TCM-PR 直接源自 CCL25-Eval Task 9
MTCMB 是一次「把中医考试、教材、药典和真实医案摊在桌面，让大模型一次性全考一遍」的评测工程：它不问「模型会不会中医」这种笼统问题，而是把中医能力拆成 12 个可测量的子任务——从国家执业医师考试的选择题，到从医患对话还原结构化医案，再到根据症状推荐方剂、识别用药禁忌。它由中山大学等四家机构联合持证中医师共建，于 2025 年 5 月正式发布，2026 年 7 月论文见刊于 Nature 旗下 Scientific Data，数据集以 CC BY 4.0 通过 Zenodo 与 GitHub 开放。
导语读法三则：
- 只想下数据：直奔 §6 获取与许可——Zenodo v2 与 GitHub 都是公开直链，注意数据集 CC BY 4.0 与论文 CC BY-NC-ND 4.0 是两回事。
- 关心评测设计：直奔 §4 与 §5——12 子集的「样本数-来源-指标」对照表是全文骨架，安全性维度是它区别于纯考试基准的亮点。
- 做中文医疗模型对标：直奔 §7——MTCMB 与 TCMD/TCMBench/TCMEval-SDT 的横向坐标，能帮你判断该基准在中文医疗评测图谱里的位置。
§0 导读：这个数据集解决什么问题
中医药（Traditional Chinese Medicine, TCM）是一套有数千年累积经验的整体医学体系。它的知识藏在古典文献里，它的推理是「辨证论治」式的隐式逻辑，它的术语一词多义、缺乏标准化——这些特点让计算建模异常困难。大语言模型在通用医学领域已经展现出相当的潜力（如通过美国执业医师考试类题目），但它们在中医领域的系统评估长期缺位：已有的中文医学基准要么只考事实性问答，要么完全不含中医特有的任务形态（辨证、方剂推荐、安全禁忌），也不具备临床真实性。
MTCMB 的回答是「多任务 + 多来源 + 临床真实性」三件套。多任务：不是一份大题库，而是 12 个分别设计、各有评估协议的子数据集，覆盖知识问答、语言理解、诊断推理、方剂推荐、安全评价五大能力维度。多来源：数据来自国家执业医师与主治医师考试题库、「十三五」规划中医教材、《中华人民共和国药典》2020 版、中医智库医案、阿里云天池文献问答集以及 CCL25-Eval 赛事数据集——既有标准化考试，也有真实/仿真医案。临床真实性：与持证中医师合作构建，安全评价维度专门考察有毒中药剂量、孕妇禁用药、针灸禁忌等真实临床风险。
§0 读法三则：
- 这个条目是「论文 + 数据集 + 排行榜」三合一：本体是 12 个 JSONL 子集，配套是论文的 technical validation，三者许可与获取渠道在 §6 分列。
- 全文的硬数字均出自 Zenodo 归档描述、GitHub README 与 Sci Data 论文；三源之间唯一出入是「全称展开」与「总样本括注」（7,100 vs 6,000 exam），已在坑 1、坑 2 存照。
- 检索时若只按「Multi-Task Chinese Medical Benchmark」去搜可能对不上——官方全称是「Multi-Task benchmark dataset for evaluating LLMs in Traditional Chinese Medicine」，缩写 MTCMB 才稳定（坑 1）。
§1 数据集速览：十问十答
Q1：MTCMB 是什么的缩写？
官方（Zenodo/GitHub）展开为「Multi-Task benchmark dataset for evaluating large language models in Traditional Chinese Medicine」；论文标题口径为「Multi-Task TCM Assessment Benchmark」。中文通称「多任务中医评估基准」。第三方聚合站另给出一版展开（Multi-Task Benchmark for Evaluating LLMs on TCM Knowledge, Reasoning, and Safety）。三个口径对应同一资源，详见坑 1。
Q2：它有多大？
12 个子数据集、5 大维度、共 7,100 条标注样本，以 JSON Lines 格式存于 data/*.jsonl，每个样本含 answer 与 source 字段。Zenodo 归档合计约 3.3 MB。
Q3：五大维度分别是什么？
知识问答（Knowledge QA）、语言理解（Language Understanding）、诊断推理（Diagnostic Reasoning）、方剂推荐（Prescription Recommendation）、安全评价（Safety Assessment）。
Q4：12 个子集分别叫什么、各多少条？
TCM-ED-A（1,200）、TCM-ED-B（4,800）、TCM-FT（100）｜TCMeEE（100）、TCM-CHGD（100）、TCM-LitData（100）｜TCM-MSDD（100）、TCM-Diagnosis（200）｜TCM-PR（100）、TCM-FRD（200）｜TCM-SE-A（50）、TCM-SE-B（50）。加总正好 7,100。
Q5：数据从哪来？
国家中医中级主治医师考试题库、国家执业医师考试题库、「十三五」规划中医教材（内/外/妇/儿）、2020 版《中华人民共和国药典》、中医智库 zhongyigen.com、阿里云天池中医文献问答数据集、CCL25-Eval Task 9 数据集。
Q6：它是纯人工标注吗？
不是纯人工。多个子集采用「DeepSeek-R1 生成/改写 + 专家复核」的混合流程（如 TCM-FT 语义改写、TCMeEE 结构化参考答案、TCM-CHGD 反向生成对话、TCM-SE-A/B 由药典记录合成），TCM-MSDD/TCM-PR 则保留 CCL25-Eval 官方标签另加专家审查。
Q7：怎么打分？
选择题与填空用 Accuracy；开放问答用 BERTScore；实体抽取/医案生成/诊断生成用 BLEU、ROUGE、BERTScore 的组合均值；方剂推荐用 Jaccard、Precision、Recall、F1、Size Agreement 与复合分；安全填空由 GLM-4-Air-250414 评审打分。
Q8：谁做的、发表在哪？
中山大学、北京中医药大学、康奈尔大学、湖南中医药大学联合团队，与持证中医师共建。论文发表于 Scientific Data（Nature Portfolio），2026 年 7 月 31 日发布，doi:10.1038/s41597-026-07967-w。不是 arXiv 预印本。
Q9：怎么拿、什么许可？
数据集 CC BY 4.0，可经 Zenodo（doi:10.5281/zenodo.20465629，v2）下载，或 git clone https://github.com/Wayyuanyuan/MTCMB.git 取 data/*.jsonl。论文本体为 CC BY-NC-ND 4.0——注意两层许可不同。
Q10：它和其他中医基准什么关系？
在第三方综述的横向表里，MTCMB（7,100）与 TCMD（3,451）、TCMBench（5,473→6,482）、TCMEval-SDT（300 案）并列。MTCMB 的差异化在于「多任务维度 + 多来源 + 含安全评价」，而非只做考试题库式问答。
§1.5 一屏之外的三个关键判断
在速览十问之后，有三个判断值得在深入正文前先建立框架，否则容易被数据细节淹没。
判断一：MTCMB 是「测量工具」，不是「知识库」
初学者常把评测基准误当作可用的知识资源。MTCMB 的 7,100 条样本是用来「考模型」的题目，而非「教模型」的教材。它不含系统化的中医知识体系（那属于知识图谱或教材），也不含可训练的诊疗数据（那属于临床数据集）。用它做评测，得到的是「模型表现画像」；用它做训练，则是在污染评测效力。明确这一定位，能避免绝大多数误用。
判断二：MTCMB 的强项在「广度」，弱项在「深度」
12 子集覆盖了从知识到安全的完整能力链，但每个子集本身的深度有限——最小的只有 50 条。这意味着 MTCMB 擅长回答「模型在哪个维度弱」这类广度问题，不擅长回答「模型在这个维度的临界点在哪里」这类深度问题。要回答后者，需要配合更专门的深度基准（如分阶段的定性协议）。把 MTCMB 用在它能answering的问题上，才是物尽其用。
判断三：MTCMB 的「安全维度」是它最有辨识度的设计
在中文医疗评测领域，把「安全性」单列为独立能力轴的基准并不多。MTCMB 这么做了，虽然只有 100 条，但传递的方法论信号很强：中医 AI 的评测必须包含「会不会造成伤害」这一问。使用者即使不关心其他维度，也应至少跑一遍 TCM-SE-A/B，作为模型上线前的红线检查。这可能是 MTCMB 长期最有价值的遗产。
§1.6 与本条目相关的读法导引
若你是数据下载者：§4 明细表 + §6 获取与许可 + §6 md5 表，三处连读即可完成下载与校验。直接跳过方法论章节。
若你是评测设计者：§5 任务与标注 + §5.5 标注质量审视 + §7 评估与基准 + §7.5 评测实操手册，四节构成一套完整的评测方法论。
若你是中医领域研究者：§3 机构与人物 + §3.5 构建方法论 + §4.5 十二子集深潜，三节帮你判断数据是否契合你的研究问题。
若你是模型开发者：§7 横向坐标 + §8 数据限制 + §8.5 缓解策略，三节告诉你「该在哪些子集上重点验证、哪些子集结论要打折」。
若你只想要一句话结论：MTCMB 是中医药领域第一份多任务、含安全维度的 LLM 评测基准，广度优先、CC BY 4.0 开放、发表质量有保障；使用时须逐子集报告、区分金标准与参考值、对小规模与含合成子集保持审慎。
§2 论文与时间线
MTCMB 的学术载体只有一条主线：一篇发表在 Scientific Data 上的数据描述论文。它没有 arXiv 预印本——这一点值得特意澄清，因为「中医大模型基准」类工作惯常首发于 arXiv，读者容易默认在 arXiv 找。真正的 arXiv 命中（2602.01779）是第三方综述 LingLanMidian，它把 MTCMB 作为对照基准之一列表引述，本身并非 MTCMB 的发布论文（详见坑 3）。
论文信息
- 标题：A multi-task benchmark dataset for assessing large language models in traditional Chinese medicine
- 期刊：Scientific Data（Nature Portfolio）
- DOI：10.1038/s41597-026-07967-w
- 作者（部分）：Kong, S.；Wei, Y.；Yang, X. 等
- 引文格式：Kong, S., Wei, Y., Yang, X. et al. A multi-task benchmark dataset for assessing large language models in traditional Chinese medicine. Sci Data (2026). https://doi.org/10.1038/s41597-026-07967-w
关键时间线
| 时间 | 事件 |
|---|---|
| 2025-05-15 | MTCMB 正式发布（GitHub/HF README 更新日志同日标注论文发布） |
| 2025-11-21 | 论文 Received（投稿受理） |
| 2026-05-31 | Zenodo 归档 v2 发布（doi:10.5281/zenodo.20465629） |
| 2026-07-22 | 论文 Accepted（接受） |
| 2026-07-31 | 论文 Published（正式见刊） |
时间线上有一个值得注意的「发布早于投稿」现象：数据集在 2025 年 5 月即正式发布并开放下载，而论文 2025 年 11 月才进入期刊收稿流程。这是数据描述类论文的常见节奏——资源先行发布，论文随后补上方法学与验证。对使用者而言这意味着：引用时应同时给出论文 DOI 与数据集 DOI，因为二者描述的是同一资源的不同侧面。
Zenodo 版本链：当前规范版本为 v2（2026-05-31）。README 更新日志标注的 [2025.5.15] 为初版发布节点。使用者在复现时若发现样本数与论文表格有出入，应优先核对 Zenodo v2 的文件 md5（§6 列全 12 个），以归档版本为准。
§2.5 数据集与论文的「双轨发布」解读
MTCMB 的一个结构性特征是「数据集与论文双轨发布，且时间错位」。这个特征值得单独讨论，因为它影响使用者如何引用、如何复现、如何判断版本。
错位的具体表现
数据集于 2025 年 5 月 15 日通过 GitHub/HuggingFace 正式发布并开放下载；而论文在 2025 年 11 月 21 日才进入期刊收稿流程，2026 年 7 月 31 日才正式见刊。也就是说，数据集比论文的「学术生命周期」早了约 15 个月。
为什么会这样
数据描述类工作（data descriptor）的常见节奏是：先构建资源、先通过仓库/HF 发布积累使用、再撰写论文补充方法学与验证、最后投稿见刊。这种模式对社区友好（资源早用早受益），但对学术规范提出了要求——使用者在长达一年多的窗口期里，只能引用 GitHub 或 HF 仓库，而无法引用论文。
对使用者的三个影响
- 引用策略：在论文见刊后投稿的工作，应同时引用论文 DOI 与数据集 DOI（Zenodo）。在论文见刊前使用的工作，只能引用仓库/归档。审稿人看到「只引 GitHub」不必视为不规范——这是双轨发布的时间差所致。
- 版本风险：数据集先发布、论文后写，意味着论文描述的可能是某个特定版本（可能是 v1 或 v2）。若论文表格与当前 Zenodo 版本有出入，应优先相信「与论文同期」的版本描述，并以 md5 锚定。
- 优先权认定：数据集的发布日（2025-05-15）早于论文投稿日（2025-11-21）。在学术优先权上，公开仓库的提交记录（GitHub commit history）可作为资源存在时间点的证据，这对处理「谁先发布」的争议有实际意义。
与 Zenodo 版本的关系
Zenodo 于 2026-05-31 发布 v2，时间点在论文投稿（2025-11）之后、接受（2026-07）之前。这暗示 v2 可能是「针对审稿意见的修订版本」——审稿过程中可能要求补充或调整数据，作者据此更新了归档。这解释了为什么论文与 v2 应当高度一致：v2 是为配合论文定稿而生的版本。
实操建议
- 下载数据时，优先 Zenodo v2（与论文同期，最可能被审稿人核验）；
- 记录版本号与 md5，写进方法学章节；
- 若复现 2025 年的早期工作，需考虑其可能基于 v1 或 GitHub 早期提交，样本数可能不同。
双轨发布的方法论价值
从更宏观的视角看，MTCMB 的双轨发布体现了现代数据驱动研究的一种成熟模式：资源先用、论文后附。这种模式在 AI 领域越来越普遍（数据集先上 HF、论文后见刊），它对传统「论文优先」的学术评价体系提出了调整需求。MTCMB 是这一趋势在中医药 AI 领域的一个实例。
§3 机构与人物
MTCMB 是一个典型的「中医院校 + 综合性大学 + 海外高校」交叉团队产物。从 Zenodo 的 15 位作者与 OpenAIRE 的机构标注看，署名机构覆盖四家：
- 中山大学（Sun Yat-sen University）：论文致谢中特别感谢「中山大学附属第五医院」的临床合作者，说明临床真实性部分有附属医院参与。
- 北京中医药大学（Beijing University of Chinese Medicine）：中医专业院校，承担中医知识体系与考试题库相关的构建。
- 康奈尔大学（Cornell University，美国）：海外合作机构，可能参与方法学、评测设计或英文写作。
- 湖南中医药大学（Hunan University of Traditional Chinese Medicine）：中医专业院校。
主要作者（Zenodo 15 人，部分）：Kong, Shufeng（孔舒峰，兼 Zenodo 数据管理者，ORCID 0000-0003-4264-3330）；Wei, Yuanyuan（魏媛媛，ORCID 0000-0002-9481-9994）；Yang, Xingru；Wang, Zijie；Tang, Hao；Qin, Jiuqi；Lan, Shuting；Cui, Nuan；Gao, Lei；Wang, Yingheng；Bai, Junwen；Chen, Zhuangbin；Zheng, Zibin；Liu, Caihua；Liang, Hao。多数作者标注了 ORCID，具备规范的署名与学术身份可追溯性。
资助来源：国家重点研发计划（National Key R&D Program of China）2025YFF0523900、2024YFC3505400；国家自然科学基金（NSFC）62506090、82274411。国家级中医/生物医学方向项目的资助背景，与数据集「标准化考试 + 教材 + 药典」的正统来源取向一致。
利益冲突：论文作者声明无竞争性利益（The authors declare no competing interests）。
§3.5 构建方法论：一场「考试题 + 教材 + 药典 + 医案」的四方会诊
理解 MTCMB 的关键，是理解它的数据来源为什么是这四类，以及这四类各承担什么角色。MTCMB 不是从单一语料库剖出来的，而是把四种性质完全不同的中医知识载体拼在一起，各补对方的短板。
来源一：标准化考试题库（知识问答的主力）
国家中医中级主治医师考试题库、国家执业医师考试题库——R2 来源。这是中医知识里最规范、最标准化的部分：题目经过命题专家审校，答案有唯一解，覆盖所有主干学科。用考试题的好处是客观、可复现、有难度梯度；坏处是它只测「书面知识」，且以选择题为主，无法测试表达与推理。
MTCMB 用它构建了 TCM-ED-A（1,200）与 TCM-ED-B（4,800），占全基准 84.5% 的体量。这决定了 MTCMB 的「底色」是一个考试基准。
来源二：权威教材（诊断与处方的骨架）
「十三五」规划中医教材（内科、外科、妇科、儿科）。这是中医知识里最系统、最结构化的部分：教材按「病因病机→辨证分型→治法方药」的组织逻辑编排，天然适合构造「临床表现→诊断」「诊断→处方」的配对任务。
MTCMB 用它构建了 TCM-Diagnosis（200）与 TCM-FRD（200）——两者共用同一批病例框架（每科 50 例），一个考诊断、一个考处方。这是把「教材结构」转化为「评测结构」的典型案例。
来源三：法定药典（安全评价的底线）
《中华人民共和国药典》2020 版。这是中医用药里最权威、最具法律效力的部分：规定了有毒中药的剂量上限、孕妇禁用药等硬性安全约束。
MTCMB 用它构建了 TCM-SE-A（50）与 TCM-SE-B（50）——安全评价维度。用法定药典做安全基准的意义在于：安全红线不是学术偏好，而是有法律依据的硬约束。模型触犯药典禁忌，是明确的临床风险。
来源四：真实/半真实医案（语言理解的素材）
中医智库（zhongyigen.com）、执业者提交医案、阿里云天池文献问答集、CCL25-Eval 赛事数据集。这是中医知识里最贴近临床实况、最不规整的部分：医案有自己的书写习惯，对话有口语特征，文献有文言表达。
MTCMB 用它构建了 TCMeEE、TCM-CHGD、TCM-LitData、TCM-MSDD、TCM-PR——语言理解与诊断推理的一部分。这类数据的价值在于「真实性」，代价是「不规整」，因此这一维度几乎全部使用生成式指标（BLEU/ROUGE/BERTScore）而非准确率。
四方会诊的平衡术
| 来源 | 承载维度 | 优点 | 短板 |
|---|---|---|---|
| 考试题库 | 知识问答（84.5%） | 客观、有梯度、可复现 | 只测书面知识 |
| 权威教材 | 诊断推理、方剂推荐 | 结构系统、可构造配对任务 | 教科书式，非典型病例少 |
| 法定药典 | 安全评价 | 法律效力、硬约束 | 规模小（100 条） |
| 真实医案 | 语言理解、部分推理 | 临床真实、语言多样 | 不规整、来源授权需复核 |
这张表解释了 MTCMB 的能力分布：它在「考试知识」上扎得最深，在「临床真实」上铺得最广但最浅。使用者若做「模型临床落地潜力」评估，应重点看真实医案类的子集（TCMeEE/CHGD/LitData/MSDD/PR），而非被考试题的漂亮分数迷惑。
§4 数据规模硬数字
MTCMB 的规模表述在官方口径里是高度收敛的：12 个子数据集、5 个维度、7,100 个标注样本。这个 7,100 不是估计值，而是 12 个 JSONL 文件样本数的严格加总——读者可自行核对，这是本数据集在规模报告上值得信赖的一处。
总量核对：1,200 + 4,800 + 100 + 100 + 100 + 100 + 100 + 200 + 100 + 200 + 50 + 50 = 7,100 ✓。
12 子集明细表
| 维度 | 子数据集 | 样本数 | 任务描述 | 数据来源 | 构建方式 | 评估方法 |
|---|---|---|---|---|---|---|
| 知识问答 | TCM-ED-A | 1,200 | 五选一（A–E）MCQ，覆盖 12 个临床学科 | 国家中医中级主治医师考试题库 | 分层抽样：每学科 100 题；专家验证 | 准确率 |
| 知识问答 | TCM-ED-B | 4,800 | 完整执业医师试卷 MCQ | 国家执业医师考试题库 | 8 套完整模拟卷（每套 600 题） | 准确率 |
| 知识问答 | TCM-FT | 100 | 开放式专家问答 | 《中医学问答题库》（胡熙明主编，1988） | 随机抽样；DeepSeek-R1 语义改写与要点抽取；专家交叉验证 | BERTScore |
| 语言理解 | TCMeEE | 100 | 从医案叙述抽取实体 | 中医智库（95%）+ 执业者提交医案（5%） | DeepSeek-R1 生成结构化参考答案；专家评审 | BLEU/ROUGE/BERTScore 均值 |
| 语言理解 | TCM-CHGD | 100 | 医患对话→结构化医案 | 国家执业（助理）医师实践技能题库 | DeepSeek-R1 由官方摘要反向生成问诊对话；专家评审 | BLEU/ROUGE/BERTScore 均值 |
| 语言理解 | TCM-LitData | 100 | 中医文献段落阅读理解 | 阿里云天池中医文献问答数据集 | 专家核验的古今文段摘录 | BLEU/ROUGE 均值 |
| 诊断推理 | TCM-MSDD | 100 | 多标签病/证分类 | CCL25-Eval Task 9，Subtask 1 | 保留官方 ground-truth 标签；另加专家审查 | 准确率（多标签集合匹配） |
| 诊断推理 | TCM-Diagnosis | 200 | 由临床表现生成结构化中医诊断 | 「十三五」中医教材（内/外/妇/儿，50 例×4） | 术语归一化输入；医师标注输出 | BLEU/ROUGE/BERTScore 均值 |
| 方剂推荐 | TCM-PR | 100 | 由临床案例推荐方剂 | CCL25-Eval Task 9，Subtask 2 | 专家修订的案例叙述与参考答案 | Jaccard、Precision、Recall、F1、Size Agreement、复合分 |
| 方剂推荐 | TCM-FRD | 200 | 生成治法、方名与药味 | 「十三五」中医教材（与 TCM-Diagnosis 平行） | 医师标注 ground truth | BLEU/ROUGE/BERTScore 均值 |
| 安全评价 | TCM-SE-A | 50 | 禁忌填空（毒性、妊娠等） | 《中华人民共和国药典》2020 版 | DeepSeek-R1 由药典记录合成；专家评审 | GLM-4-Air-250414 评审打分 |
| 安全评价 | TCM-SE-B | 50 | 用药与针灸安全 MCQ | 《中华人民共和国药典》2020 版 | DeepSeek-R1 由同一批安全记录生成 MCQ；专家评审 | 准确率 |
规模上的三处结构性特征
- 极度不平衡：TCM-ED-B 一集（4,800）就占了总量的近 68%；而安全评价两集合计仅 100 条（1.4%）。知识问答类（1,200+4,800=6,000）占了 84.5%，其余四个维度合计仅 1,100 条。这意味着「聚合总分」会被知识问答主导，逐维度报告比单一总分更有信息量。
- 文件体积与样本数不成正比：TCM-ED-B 1.4 MB 对应 4,800 条（约 292 B/条，纯选择题），而 TCM-PR 382.3 kB 只有 100 条（约 3.8 KB/条，含长案例与多组分答案），TCM-MSDD 364.5 kB/100 条。文件大小反过来说明生成式任务的单样本信息量远高于选择题。
- 来源二手汇编比例不低：TCM-MSDD、TCM-PR 直接来自 CCL25-Eval Task 9；TCM-LitData 来自阿里云天池；TCMeEE 95% 来自中医智库。使用者需自行复核这些上游语料的原始授权链（详见 §8 限制与坑 4）。
§4.5 十二子集逐条深潜
以下对 12 个子数据集逐一展开，给出每个子集的定位、构建要点、评估含义与使用注意。这一节是 §4 明细表的「注释版」——表格给数字，这里给理解。
4.5.1 TCM-ED-A（1,200）— 分学科均衡的知识锚点
定位：知识问答维度的「均衡样本」。取自国家中医中级主治医师考试题库，通过分层抽样在 12 个临床学科各取 100 题。12 学科通常覆盖中医基础理论、中医诊断学、中药学、方剂学、中医内科学、中医外科学、中医妇科学、中医儿科学、针灸学、中医骨伤科学、中医眼科学、中医耳鼻喉科学等主干科目。
为什么「均衡抽样」重要：如果直接从整个题库随机抽 1,200 题，很可能某些大科目（如中医内科学）题目占比过高，掩盖模型在小科目上的短板。按学科各 100 题的强制均衡，使得「哪一科弱」成为可比较的信号——一个模型若在中药学上失分明显，这不均抽是看不出来的。
评估含义：五选一（A–E）MCQ，用准确率。五选一相比四选一降低了随机猜中率（20% vs 25%），对基准的区分度是正向的。
使用注意：这是「教科书式规范知识」的代表子集，高分不代表临床能力强，只代表考试知识掌握好。
4.5.2 TCM-ED-B（4,800）— 完整执业医师整卷
定位：知识问答维度的「体量担当」，也是全基准最大的子集。取自国家执业医师考试题库，由 8 套完整模拟卷构成（每套 600 题）。
为什么用「整卷」而非「散题」：真实执业医师考试是连续的长时间作答，题目之间有知识覆盖的完整性要求。用 8 套整卷，意味着每个子集内部都构成一次完整的「模拟考试」，模型的表现可以按「套」分析——是否存在某套特别难、某套特别易，从而暴露题库的难度分布。
体量占比的代价：4,800/7,100 ≈ 67.6%，是聚合分的主导项。任何只报聚合分的评测，实质上主要在测这个子集。这是必须逐子集报告的首要理由。
评估含义：准确率。数据规模大，单次评测的统计噪声相对小，是 12 子集中分数最稳定的一个。
4.5.3 TCM-FT（100）— 开放式问答题
定位：知识问答维度里唯一的生成式任务。取自胡熙明主编《中医学问答题库》（1988），随机抽 100 道问答题。
构建的特殊性：这一子集含明显的 AIGC 辅助成分——用 DeepSeek-R1 做「语义改写与要点抽取」，再经专家交叉验证。也就是说，参考答案不是原题库的标准答案照搬，而是经过模型改写、再由专家把关的版本。
为什么用 BERTScore 而非准确率：开放问答没有唯一正确答案，字面匹配会误判同义表述。BERTScore 基于语义嵌入，能容忍「用不同说法表达同一要点」。
使用注意：这是公式化标注与人工判断结合最紧密的子集之一。它测的是「组织化表达中医知识」的能力，适合评估模型的解释性输出，不适合做硬性对错排名。
4.5.4 TCMeEE（100）— 医案实体抽取
定位：语言理解维度的「信息抽取」代表。任务是从医案叙述中识别并抽取与中医相关的实体（症状、体征、方剂等），生成结构化病历。
来源的双轨：95% 来自中医智库（zhongyigen.com），5% 来自执业者提交的真实医案。这个 95/5 的构成值得注意——主体是网络医案汇编，少量是执业者一手提交。使用者若做严格的临床真实性论证，应考虑这 5% 与 95% 的差异。
构建方式：DeepSeek-R1 生成结构化参考答案 + 专家评审。
评估含义：BLEU/ROUGE/BERTScore 三者均值。实体抽取本质上是「找对 + 标对」，三重指标取均值是为了避免单一指标的偏向（BLEU 偏精确、ROUGE 偏召回）。
4.5.5 TCM-CHGD（100）— 医患对话还原结构化医案
定位：语言理解维度里最贴近真实临床流程的子集。任务是把医患对话（问诊过程）还原成结构化医案。
构建的巧妙之处：这一子集采用「反向生成」策略——从官方题库的标准结构化摘要（summary）出发，用 DeepSeek-R1 反向生成对应的问诊对话。这样做的好处是：参考答案（结构化医案）来自官方题库、质量可靠，而输入（对话）是合成的，保证了「输入→输出」映射的一致性。
来源：国家执业（助理）医师实践技能题库。
评估含义：BLEU/ROUGE/BERTScore 均值。
使用注意：由于对话是反向合成的，其语言风格可能比真实医患对话更「规整」。评估模型在这种规整输入上的表现，不能直接外推到真实诊室场景。
4.5.6 TCM-LitData（100）— 文献阅读理解
定位：语言理解维度的「古文/文献理解」代表。任务是基于中医文献段落回答问题。
来源：阿里云天池中医文献问答生成数据集，含专家核验的古今文段摘录。这是典型的二手汇编来源——上游是公开赛事数据集。
评估含义：BLEU 与 ROUGE 的均值（注意：此处不含 BERTScore，与其他生成式子集口径不同）。
为什么单独特设：中医知识的很大一部分藏在古籍文献里，其表达方式（文言、隐喻）与现代白话差异大。这个子集专门测模型能否读懂文献式表达，是「语言理解」维度里最考验古文能力的部分。
4.5.7 TCM-MSDD（100）— 多标签病证分类
定位：诊断推理维度的「分类」任务。由自然语言症状描述做多标签的病/证分类。
「多标签」的含义：一个患者可能同时符合多个证型（如既有气虚又有血瘀），输出是一个集合而非单一标签。因此评估用「多标签集合匹配」下的准确率，而非普通单标签准确率。这个设计更贴近中医临床实际——辨证往往不是非此即彼。
来源：CCL25-Eval Task 9 Subtask 1，保留官方 ground-truth 标签，另加专家审查。这是「无合成成分」的子集之一，标签质量取决于 CCL25-Eval 官方。
使用注意：它是 MTCMB 中唯一以「分类」而非「生成」形态做诊断推理的子集，与 TCM-Diagnosis（生成式）形成互补——一个测「选得对」，一个测「写得对」。
4.5.8 TCM-Diagnosis（200）— 生成完整诊断
定位：诊断推理维度的「生成」任务。由临床表现生成完整诊断，包括中医病名与证型。
来源与结构：来自「十三五」规划中医教材，覆盖内科、外科、妇科、儿科四个专科，每科 50 例，共 200 例。输入经过术语归一化处理，输出由医师标注。
为什么是四个专科：中医内科、外科、妇科、儿科的诊疗逻辑差异明显——妇科重经带胎产、儿科重稚阴稚阳，强制四科均衡使得模型不能只靠内科能力刷分。
评估含义：BLEU/ROUGE/BERTScore 均值。生成式诊断评测的难点在于「病名+证型」的组合正确性——可能病名对而证型错，自动指标难以完全捕捉。
与 TCM-FRD 的平行关系：两者共用同一批「十三五」教材病例框架，TCM-Diagnosis 考诊断，TCM-FRD 考处方。联合使用可测「诊断→治疗」的逻辑一致性（详见坑 9）。
4.5.9 TCM-PR（100）— 方剂推荐
定位：方剂推荐维度的「预测」任务。由临床案例描述预测应使用的方剂。
评估指标的复杂性：这是全基准指标最复杂的子集——Jaccard、Precision、Recall、F1、Size Agreement 五者组合成复合分。为什么这么复杂？因为方剂是「集合型」答案：一个方剂由多味药组成，评测既要看「预测的药味与标准方剂的重叠度」（Jaccard/F1），也要看「推荐的方剂规模是否合理」（Size Agreement）。
Size Agreement 的意义：如果模型为了刷 Recall 而把几十味药全列上，Recall 会很高但临床上是乱开大方；Size Agreement 专门惩罚这种「以量取胜」的作弊。这是 MTCMB 指标设计里体现临床成熟度的一处。
来源：CCL25-Eval Task 9 Subtask 2，案例叙述与参考答案经专家修订。无合成成分。
4.5.10 TCM-FRD（200）— 生成完整治疗方案
定位：方剂推荐维度的「生成」任务。要求生成详细治疗方案：治法、方名、药味。
来源与结构：与 TCM-Diagnosis 平行，来自「十三五」教材（内/外/妇/儿，各 50 例），共 200 例，医师标注 ground truth。
与 TCM-PR 的区别：TCM-PR 是「选方」（从知识中检索匹配），TCM-FRD 是「拟方」（生成完整的治法+方名+药味结构）。后者难度更高，因为它要求模型不仅知道方剂名称，还要展开具体组成。
评估含义：BLEU/ROUGE/BERTScore 均值。同样面临「生成指标与临床正确性不对齐」的问题——药味列全但剂量逻辑错，指标未必能捕捉。
4.5.11 TCM-SE-A（50）— 安全禁忌填空
定位：安全评价维度的「填空」任务。考察中医实践中的安全风险识别，如有毒中药剂量控制、孕妇禁用药等。
来源：2020 版《中华人民共和国药典》。构建方式是 DeepSeek-R1 从药典安全记录合成填空题，专家评审。
评估的特殊性：这是全基准唯一用 LLM-as-a-judge 的子集——由 GLM-4-Air-250414 作为评审模型打分。这意味着分数里包含评审模型的偏好与偏差。跨研究比较此子集分数时，必须确认评审模型与 prompt 一致（详见坑 7）。
规模警示：仅 50 条。任何基于 50 条样本的分数都有较大的统计不确定性，宜作定性判断（「是否系统性失败」）而非精确排名。
4.5.12 TCM-SE-B（50）— 用药与针灸安全 MCQ
定位：安全评价维度的「选择」任务。用药与针灸安全的单项选择题。
来源与构建：同样来自 2020 版《中国药典》，DeepSeek-R1 由同一批安全记录生成 MCQ，专家评审。
与 TCM-SE-A 的关系：两者共享同一批药典安全记录，只是题型不同（填空 vs 选择）。因此它们的难度不完全独立——测的是同一知识点的两种提取方式。
评估含义：准确率（客观指标，无评审模型依赖）。这是安全评价维度里相对更可靠的一个子集，因为它不依赖 LLM 评审。
安全子集的整体价值：TCM-SE-A/B 合计 100 条，是 MTCMB 相对多数中文医疗基准的差异化设计。虽然规模小，但它把「安全性」单列为独立能力轴，传递了一个明确信号：中医 AI 的评测不能只看准确性，还要看它会不会开出有害的方子。这是 MTCMB 在方法论上最有价值的一处设计。
4.5.13 十二子集的交叉视角
把 12 个子集放到「能力维度 × 任务形态」的二维表里，可以看到 MTCMB 的设计逻辑：
| 选择/填空（客观） | 抽取/理解 | 生成（主观） | |
|---|---|---|---|
| 知识问答 | TCM-ED-A、TCM-ED-B | — | TCM-FT |
| 语言理解 | — | TCMeEE、TCM-LitData | TCM-CHGD |
| 诊断推理 | TCM-MSDD | — | TCM-Diagnosis |
| 方剂推荐 | — | — | TCM-PR、TCM-FRD |
| 安全评价 | TCM-SE-A、TCM-SE-B | — | — |
从这张表能读出两点：其一，MTCMB 在「知识问答×客观」和「方剂推荐×生成」两处最密集，而在「安全评价×生成」处空白——即安全维度只测了识别，没测「模型开方时的安全性」。其二，诊断推理横跨分类与生成两种形态，是设计得最完整的一个维度。这两处观察对理解基准的强项与盲区很有帮助。
§5 任务与标注
MTCMB 的设计哲学是「把中医能力拆成可测量的解剖单元」。它不满足于「模型答对多少执业医师题」这种单点测量，而是沿两条轴展开：一条是能力维度（知识→理解→推理→推荐→安全），另一条是任务形态（选择→填空→抽取→生成）。两条轴的交叉，构成了 12 个子数据集的分工。
五大能力维度
- 知识问答（Knowledge QA）：考察模型对中医基础理论、方剂学、针灸学、诊断学等核心知识的理解与应用。三个子集分别代表三种难度与形态——TCM-ED-A 是分学科均衡抽样的中等难度选择题（12 学科各 100 题），TCM-ED-B 是完整执业医师整卷（更贴近真实考试压力），TCM-FT 是开放式问答题（考察组织化表达，用 BERTScore 而非准确率）。
- 语言理解（Language Understanding）：考察模型对中医文本的理解与信息抽取。TCMeEE 做医案实体抽取（症状、体征、方剂），TCM-CHGD 从医患对话重建结构化医案，TCM-LitData 做文献段落阅读理解。这条轴对应的是「中医 NLP 的工程底座」。
- 诊断推理（Diagnostic Reasoning）：考察辨证能力。TCM-MSDD 由自然语言症状描述做多标签病/证分类，TCM-Diagnosis 要求输出完整诊断（中医病名 + 证型）。这是最贴近「辨证论治」核心逻辑的维度。
- 方剂推荐（Prescription Recommendation）：考察治疗逻辑。TCM-PR 由案例预测方剂（考察方剂组成与配伍规律的知识），TCM-FRD 生成完整治疗方案（治法 + 方名 + 药味）。
- 安全评价（Safety Assessment）：考察模型对中医临床风险（有毒中药剂量、孕妇禁用药、针灸禁忌等）的识别。这是 MTCMB 相对多数中文医疗基准的差异化维度——它把「安全性」作为一个独立能力轴来测，而非附属于准确性。
标注方式：AIGC 辅助 + 专家复核的混合流水线
MTCMB 的标注不是纯人工，也不是纯合成，而是一条混合流水线，其成分在不同子集里比例不同：
| 子集 | 合成/辅助成分 | 人工成分 |
|---|---|---|
| TCM-ED-A / TCM-ED-B | 无（取自有题库） | 专家验证 / 官方题库 |
| TCM-FT | DeepSeek-R1 语义改写与要点抽取 | 随机抽样 + 专家交叉验证 |
| TCMeEE | DeepSeek-R1 生成结构化参考答案 | 专家评审 |
| TCM-CHGD | DeepSeek-R1 反向生成问诊对话 | 官方摘要 + 专家评审 |
| TCM-LitData | 无（取自天池集） | 专家核验文段 |
| TCM-MSDD | 无（保留 CCL25-Eval 标签） | 专家审查 |
| TCM-Diagnosis | 无 | 医师标注 |
| TCM-PR | 无（保留 CCL25-Eval 标签） | 专家修订案例与答案 |
| TCM-FRD | 无 | 医师标注 |
| TCM-SE-A / TCM-SE-B | DeepSeek-R1 由药典记录合成 | 专家评审 |
这张表是理解 MTCMB 可信边界的关键：凡是标注「无合成」的子集，其质量上限取决于上游来源（国家题库、CCL25-Eval、教材）；凡是含合成成分的子集，其质量取决于「DeepSeek-R1 生成 + 专家复核」这一环的把关强度。使用者若对某个子集的结果敏感，应先确认该子集的构建方式（§8 限制已列出）。
数据形态：全部子集以 JSON Lines（JSONL）存储，每行一个样本，字段包含题目/输入、answer（参考答案）与 source（来源标注）。这种「每样本带 source」的设计，使得溯源审计成为可能——研究者可以按 source 字段切分，检验模型在「考试题 vs 教材题 vs 文献题」上的表现差异。
"十四五"与"十三五"的口径：TCM-Diagnosis 与 TCM-FRD 明确标注来源为「十三五」规划中医教材（内科、外科、妇科、儿科各 50 例框架）。使用者引用时应沿用「十三五」这一原始表述，不宜自行改写为其他版本。
§5.5 标注质量的批判性审视
MTCMB 声称「与持证中医师共建」，这为其质量提供了基本保障。但作为使用者，有必要对「共建」的具体含义做一点批判性审视——这不是为了挑刺，而是为了准确判断在什么条件下可以信任它的结论。
审视点一：「专家复核」的强度在不同子集间差异巨大
论文与 README 使用「expert review」「expert validation」「expert cross-validation」「physician-annotated」等不同措辞，指向的复核强度并不相同：
- physician-annotated（医师标注，如 TCM-Diagnosis、TCM-FRD）：专家从头标注，强度最高；
- expert cross-validation（专家交叉验证，如 TCM-FT）：多名专家互查，强度次高；
- expert review / expert validation（专家评审/验证，如 TCMeEE、TCM-CHGD、TCM-SE-A/B）：专家对模型生成内容做把关，强度取决于评审的细致程度，而论文未披露评审抽检比例。
使用者若对某子集结论敏感，应优先采信强度高的子集（physician-annotated）。
审视点二：DeepSeek-R1 在流水线中的角色
在含合成成分的子集里，DeepSeek-R1 承担了「语义改写」「结构化参考答案生成」「反向生成对话」「合成填空/选择题」等多种角色。这带来一个方法论问题：参考答案是由模型生成的，而评测对象也是模型。如果两者同源（都是 DeepSeek 系或其同代模型），就可能出现「模型偏好自己的表达方式」的系统性偏差——用 DeepSeek 生成的参考答案，可能对其他模型更不公平。
缓解办法：评测时优先看「无合成成分」的子集（§8.5 策略 2），或在报告时明确标注哪些子集含合成成分。
审视点三：没有披露标注者间一致性（inter-annotator agreement）
论文（就本次抓取所见）未报告标注者间一致性指标（如 Cohen’s kappa）。这在中医学这种「主观性强」的领域是一个值得注意的缺口——中医辨证本身存在不同专家的分歧，如果基准的参考答案本身就有争议，那么模型与参考答案不一致未必是模型错。
使用者解读「生成式子集低分」时的正确姿势：先判断是模型确实不会，还是参考答案本身有争议空间。对后者，少量人工抽检（§8.5 策略 5）能帮助区分。
审视点四：来源与标注的「代际差」
部分子集的来源是几十年前的材料——例如 TCM-FT 源自 1988 年出版的《中医学问答题库》。虽然经 DeepSeek-R1 改写与专家复核，但其知识体系的「代际」可能与当代中医临床实践有差异（中医教材与临床共识随时间演进）。使用者若做「当代临床能力」评估，应对年代久远的来源子集保持审慎。
小结：这些审视点并不否定 MTCMB 的价值，而是划出「可以下强结论」的区域（医师标注、无合成、来源较新的子集）与「只能下弱结论」的区域（模型合成、来源久远、未披露一致性的子集）。负责任的评测报告应当明确标注自己用的是哪一档证据。
§5.6 从任务设计看 MTCMB 的能力假设
任何一个基准都隐含着一套「能力假设」——它相信什么是重要的、什么是可测的、什么构成「好」的表现。拆解 MTCMB 的 12 个任务设计，可以反推出它的能力假设，这对理解该基准的适用边界很有帮助。
假设一：中医能力可以被「分维度」测量
MTCMB 把中医能力切成五个正交维度。这个假设成立的前提是维度之间可以分离——即「知识强但推理弱」是可能的、可观察的。这个假设基本合理，但并非完美：知识与推理在实际诊疗中深度耦合（不会辨证往往因为没有足够知识）。MTCMB 通过让不同子集测不同侧面来近似分离，但读者应意识到「维度分」之间有相关性，不是真正独立。
假设二：考试题能代表「知识水平」
用执业医师考试题测知识，隐含假设是「考试得分≈知识水平」。这个假设在规范知识上成立，但考试题偏重记忆与标准答案，可能低估「活的知识运用能力」。因此 ED-A/ED-B 高分是知识水平的必要条件而非充分条件。
假设三：文本相似度能代表「生成质量」
用 BLEU/ROUGE/BERTScore 测诊断、处方、医案的生成质量，隐含假设是「与参考答案越像越好」。这个假设在中医领域有风险——一个好的诊断可能有多种规范表述，一个好的方剂可能有多个等价选择。文本相似只是生成质量的代理指标，不等于临床正确性。
假设四：安全性可以被「禁忌识别」测量
用填空与选择题测安全性，隐含假设是「能识别禁忌=安全」。但「知道某药有禁忌」与「开方时实际避开禁忌」是两种能力。MTCMB 测的是前者（知识层面的安全），未测后者（行为层面的安全）。这是一个明确的测量边界。
假设五：多来源拼合能提升「真实性」
把考试题、教材、药典、医案拼在一起，隐含假设是「来源多样=更真实」。来源多样确实拓宽了覆盖面，但「拼合」不等于「融合」——四类来源的知识体系、表述风格、难度分布各异，拼合后并不构成一个统一的「真实临床分布」。使用者不宜假设 MTCMB 的样本分布等同于临床病例分布。
这些假设对使用者的启示
理解了这五条假设，就能回答一个关键问题：「MTCMB 的高分意味着什么？」答案是：它意味着模型在规范知识、文本生成相似度、禁忌识别三个层面表现好，不直接意味着模型能胜任真实中医诊疗。任何夸大 MTCMB 分数意义的结论，都是对上述假设边界的越界使用。
与 panda-plus 类「标签批判型」数据集的对比
库内的 panda-plus（前列腺病理重标注数据集）走的是另一条路线——它通过重新标注来批判原数据集的标签质量。MTCMB 走的是「构建新评测基准」的路线。两种路线各有价值：前者揭示「现有数据的噪声」，后者提供「新能力的测量尺」。理解这层对比，有助于把 MTCMB 放进更大的「AI-Ready 数据集方法论」框架里看。
§6 获取与许可（含版本链）
MTCMB 的获取与许可结构有一个容易踩的坑：同一项工作存在两层不同的许可——数据集本身是宽松的 CC BY 4.0，而论文本体是限制性的 CC BY-NC-ND 4.0。把两者混为一谈会导致合规误判。
数据集许可：CC BY 4.0（Creative Commons Attribution 4.0）
这是最宽松的 CC 许可之一——允许商业与非商业使用、允许改编与再分发，唯一硬性要求是署名（attribution）。Zenodo 归档与 GitHub 仓库均标注 CC-BY 4.0。对数据集使用者而言，这意味着可以自由地把 MTCMB 用于商业模型的内部评测、可以基于它构建衍生基准（需署名），这在中医药信息化产业语境下相当难得。
论文本体许可：CC BY-NC-ND 4.0
Scientific Data 是 Open Access 期刊，但本文采用 CC BY-NC-ND 4.0：允许非商业性分享与转载，但禁止改编（NoDerivatives）且限非商业（NonCommercial）。因此若要把论文图表翻译后二次发布，须先确认不构成「改编」；商业用途则需另行取得授权。
三条获取渠道
- Zenodo（规范归档，推荐）：doi:10.5281/zenodo.20465629，当前版本 v2（2026-05-31）。12 个子集 JSONL 直链下载，归档合计 3.3 MB。Zenodo 版本是「可引用、可校验」的规范来源。
- GitHub（全项目）：
git clone https://github.com/Wayyuanyuan/MTCMB.git，数据在data/*.jsonl。仓库同时含评测代码与文档（README 明确 “full project — data, evaluation code, and documentation”）。适合需要复现评测流程的研究者。 - HuggingFace 镜像仓：Bunnybeck/MTCMB（含 ReadMe_cn.md 中文说明）。沙箱环境访问 HF 主站受限时，可走 hf-mirror.com。README 另提及百度云链接，非首选。
12 个文件的 md5（Zenodo v2，供完整性校验）
| 文件 | md5 | 大小 |
|---|---|---|
| 1.TCM_ED_A.jsonl | 7373ed10aaf72e59959d7d5ffb357605 | 358.0 kB |
| 2.TCM_ED_B.jsonl | f2aa998b6dd59007d7f93f85b9bc7021 | 1.4 MB |
| 3.TCM_FT.jsonl | 4e84ca37208cfcc59efa042069436265 | 55.2 kB |
| 4.TCMeEE.jsonl | 351f2945414023dc29ac0686f731d1fa | 144.7 kB |
| 5.TCM_CHGD.jsonl | 621d62c461aed0e15bd74ad43532cd67 | 262.0 kB |
| 6.TCM_LitData.jsonl | 6c7c0493b65240224bf2edd04fe99c73 | 177.9 kB |
| 7.TCM_MSDD.jsonl | 24932f73308840ead905ac1bfc2d59c8 | 364.5 kB |
| 8.TCM_Diagnosis.jsonl | aaf6bd91ce5c9e9c41ab4051aee2f755 | 83.1 kB |
| 9.TCM_PR.jsonl | 8604f0d9a83e6d95ad871b9bd45911cc | 382.3 kB |
| 10.TCM_FRD.jsonl | b461f3c9a72f2bc4eaff023def387d1e | 95.4 kB |
| 11.TCM_SE_A.jsonl | f55abd50608668d1f328316035496891 | 8.2 kB |
| 12.TCM_SE_B.jsonl | c254dc524b87133979e87ecc3850157d | 10.8 kB |
版本链：README 更新日志 [2025.5.15] 记录 MTCMB 正式发布（同日记录论文发布）；Zenodo 于 2026-05-31 发布 v2。使用者在复现既有结果时，应以「v2 + 上表 md5」为锚点，避免因版本漂移造成的样本数或内容差异。若发现与论文表格不符，优先怀疑版本而非数据错误。
§7 评估与基准
MTCMB 的价值不只在数据本身，还在于它配套的一整套「分任务、分指标」评估协议。不同的任务形态需要不同的打分方式，强行用单一指标衡量全部 12 个子集是方法论上错误的——MTCMB 明确按任务类型分配指标。
指标分布（按任务形态）
- 选择题/填空题（准确率）：TCM-ED-A、TCM-ED-B、TCM-MSDD、TCM-SE-B。客观可复现，适合跨模型硬对标。
- 开放问答（BERTScore）：TCM-FT。语义相似度而非字面匹配，容忍中医表述的多样性。
- 生成式（BLEU/ROUGE/BERTScore 均值）：TCMeEE、TCM-CHGD、TCM-Diagnosis、TCM-FRD。文本生成任务用多重文本相似指标取均值，降低单一指标的片面性。
- 文献理解（BLEU/ROUGE 均值）：TCM-LitData。
- 方剂推荐（复合评分）：TCM-PR 用 Jaccard、Precision、Recall、F1、Size Agreement 组合成复合分——因为方剂是「集合型」答案，单看集合重叠不够，还要看推荐方剂规模是否合理（Size Agreement）。
- 安全填空（模型评审）：TCM-SE-A 由 GLM-4-Air-250414 作为评审模型打分。这是全基准里唯一使用 LLM-as-a-judge 的子集。
论文的 technical validation
论文提供的技术验证（technical validation）用代表性 LLM 跑了一遍全基准，结论是 MTCMB 能够在不同难度层级上区分模型能力——即它不只是「所有模型都考 60 分」的饱和基准，而是有区分度的难度梯度。这一点对基准的实用价值至关重要：一个无区分度的基准等于没有基准。
横向坐标：中文/中医医疗基准图谱
第三方综述（arXiv 2602.01779，LingLanMidian）的表 1 给出了一个可用的横向定位：
| 基准 | 规模 | 题型 | 来源 | 指标 |
|---|---|---|---|---|
| TCMD | 3,451 | MCQ | 执业考试 | 准确率 |
| TCMBench | 5,473（官方仓 6,482） | MCQ | 执业考试 | TCMScore、ROUGE、BERTScore |
| MTCMB | 7,100（6,000 exam） | MC/填空/开放问答/处方/诊断/IE | 执业考试/经典文献/临床记录/指南 | Accuracy、ROUGE、BLEU、BERTScore |
| TCMEval-SDT | 300 案 | IE/病机/证型/摘要 | 互联网/经典文献/临床记录 | 分阶段定性 |
在这张表里，MTCMB 的定位清晰：规模不是最大（LingLan 自称 25,624 更大），但题型谱系最宽——它是唯一同时覆盖选择题、填空、开放问答、处方推荐、诊断生成与信息抽取的基准。TCMD/TCMBench 本质是「考试题库型」（单一 MCQ 题型），而 MTCMB 是「能力矩阵型」（多题型 × 多维度）。这一差异决定了它们的用途不同：题库型适合快速排名，矩阵型适合诊断模型的能力短板。
库内同类基准：tcmeval-sdt（rid=1053）是库内已有的中医辨证思维四步推理评测基准，与 MTCMB 的诊断推理维度构成直接对照——前者是「分阶段定性」的深度协议（300 案），后者是「多任务多指标」的广度协议（7,100 条）。两者互补而非替代。
§7.5 评测实操手册：从下载到出报告
这一节把 §6 与 §7 的内容落地成一套可执行的评测流程。假设你要用 MTCMB 评测一个中文医疗大模型，以下是推荐的操作顺序与每步的注意点。
步骤 1：获取与校验
# 方式一：Zenodo 下载（推荐，规范归档）
# 访问 https://zenodo.org/records/20465629 下载 12 个 JSONL
# 方式二：GitHub 克隆（含评测代码）
git clone https://github.com/Wayyuanyuan/MTCMB.git
cd MTCMB/data
ls *.jsonl # 应看到 12 个文件
校验：按 §6 的 md5 表逐个比对。若启用 GitHub 路径，注意 GitHub 的 data/ 与 Zenodo 的归档文件应内容一致；若不一致，以 Zenodo v2 为准。
目录结构预期：data/ 下 12 个子集 JSONL，dataset_info/ 下每个子集的元数据（provenance、preprocessing、metrics），此外还有评测脚本与文档。
步骤 2：数据加载与字段核对
每个 JSONL 样本含 input（题目/案例）、answer（参考答案）、source（来源）字段。加载时第一步应确认字段名与官方一致——不同版本可能字段名有微调。建议先读 3-5 条样本人工核对，再批量处理。
import json
with open("data/1.TCM_ED_A.jsonl", encoding="utf-8") as f:
for i, line in enumerate(f):
obj = json.loads(line)
print(obj.keys(), obj.get("source"))
if i >= 2:
break
注意：TCM_ED_A 等选择题子集的 answer 通常是选项字母（A–E）或答案文本，需与模型输出格式对齐后再算准确率。
步骤 3：分任务配置评估
关键决策点：不要用统一 prompt 跑所有子集。MTCMB 的 12 个子集任务形态不同，prompt 应逐任务定制：
- MCQ 类（TCM-ED-A/B、TCM-SE-B、TCM-MSDD）：提示模型输出选项字母，可加 CoT（思维链）提示做对比实验。
- 填空类（TCM-SE-A）：提示输出缺失内容，答案用评审模型打分。
- 抽取类（TCMeEE）：提示输出结构化实体列表，用 BLEU/ROUGE/BERTScore 比对。
- 生成类（TCM-Diagnosis、TCM-FRD、TCM-CHGD）：提示输出结构化文本（病名/证型/治法/方名/药味），用多重指标均值。
- 方剂推荐（TCM-PR）：提示输出方剂组成，用复合分（含 Size Agreement）。
步骤 4：计算指标
按 §7 的指标映射逐子集计算：
| 子集类型 | 指标 | 备注 |
|---|---|---|
| 选择题/填空 | Accuracy | 客观，可复现 |
| 开放问答 | BERTScore | 需指定参考实现版本 |
| 生成式 | mean(BLEU, ROUGE, BERTScore) | 三者取均值，防单一偏向 |
| 文献理解 | mean(BLEU, ROUGE) | 不含 BERTScore，口径特殊 |
| 方剂推荐 | 复合分（Jaccard/F1/Size Agreement 等） | 需完整实现 5 项子指标 |
| 安全填空 | GLM-4-Air-250414 评审 | 需与官方评审配置一致 |
一致性提示：若要与其他研究横向比较，必须确认使用相同的指标实现（尤其是 BERTScore 的模型版本、ROUGE 的变体）与相同的评审模型（TCM-SE-A）。口径不同则分数不可比。
步骤 5：结果呈现
规范做法：出具「5 维度 × 12 子集」的完整结果表 + 逐维度汇总，而非单一总分。
原因回放：TCM-ED-B 一集占 67.6%，聚合分被它主导（坑 8）。逐子集呈现才能看出「模型是知识强还是推理弱、是表达强还是安全弱」。
建议附加：标注每个子集的样本量（让读者判断统计不确定性），并对小规模子集（50-100 条）的分数加注「统计不确定性较大」。
常见操作误区
- 用同一个 prompt 跑全部子集 → 任务形态不同，会系统性低估生成式子集。
- 只报一个聚合分 → 掩盖维度差异，违反基准设计初衷。
- 把小规模子集分数当真 → 50 条样本的波动可能是噪声。
- 跨研究比 TCM-SE-A 分数 → 评审模型不同则不可比。
- 把 AIGC 辅助集当纯金标准 → 会低估偏差传导风险。
- 在 MTCMB 上微调后宣称临床可用 → 基准不是临床验证，属过度外推。
§8 数据限制与伦理
任何基准数据集都有其能力边界，MTCMB 也不例外。诚实标注这些边界，不是贬低，而是让使用者知道「什么结论可以下、什么结论不能下」。以下逐条列出（亦见 frontmatter 的 rai:dataLimitations）。
限制 1：规模与子集不平衡
总量 7,100 条在通用医学基准里已属中等，但结构极不均：TCM-ED-B 一集占 4,800（67.6%），而安全评价两集合计 100 条。这意味着：
- 「聚合总分」会被知识问答主导，掩盖诊断、方剂、安全维度的真实表现；
- 除 TCM-ED-A/B/TCM-FT 外，多数子集仅 50-200 条，单子集分数的小幅波动可能只是统计噪声，不宜对单子集做细粒度排名。
限制 2：AIGC 辅助标注的传导风险
多项子集使用 DeepSeek-R1 生成或改写内容（§5 表格）。这带来一种「模型偏差的自我强化」风险：如果用于生成参考答案的模型本身在某个知识点上错了，而专家复核没捕捉到，那么这个错误就会被固化进基准，并惩罚所有「答对」的模型。使用者应优先关注标注「无合成成分」的子集（TCM-ED-A/B、TCM-Diagnosis、TCM-FRD、TCM-MSDD、TCM-PR、TCM-LitData），把含合成成分的子集结果作为「参考值」而非「金标准」。
限制 3：来源同质性
知识问答类（占 84.5%）几乎全部来自标准化考试题库和教材。这决定了 MTCMB 擅长测量「教科书式的规范知识」，但对「真实临床中的非典型表现、罕见证型、经典文献隐式推理」覆盖不足。用它测出高分，不等于模型在真实中医诊室里表现好。
限制 4：安全评价维度小且评审依赖模型
安全评价是全基准的差异化亮点，但仅 100 条（TCM-SE-A 50 + TCM-SE-B 50）。更关键的是 TCM-SE-A 用 GLM-4-Air-250414 作为评审模型——评审模型自身的偏差会直接传导到分数上。「用模型评模型」在安全这种高风险维度上尤其需要审慎：如果评审模型本身对某类禁忌不敏感，它会放过错误答案。
限制 5：生成式指标与临床正确性不对齐
BLEU/ROUGE 衡量字面/语义相似，BERTScore 衡量语义相似，但它们都不能回答「这个方剂开得对不对」。一个把组成药味全列对但剂量逻辑错误的答案，可能拿到不低的 ROUGE 分。做方剂推荐（TCM-PR/TCM-FRD）评测时，必须结合临床合理性人工抽检，不能只看自动指标。
限制 6：上游语料授权链
部分来源为二手汇编（中医智库、阿里云天池、CCL25-Eval）。MTCMB 以 CC BY 4.0 发布这批数据，但使用者若要进一步再分发或商用，需自行复核上游语料的原始授权，确认没有额外限制。这是「数据集整体许可」与「逐样本上游许可」之间的常见缝隙。
伦理提示：MTCMB 是评测资源，不是临床决策工具。README 特别提示——为保障临床合规性，建议在中医专家监督下进行处方生成类任务的模型微调。任何基于 MTCMB 得分宣称「模型可用于中医临床诊疗」的说法都是过度外推。
§8.5 限制的缓解策略：使用者能做什么
§8 列出的六条限制，有些是数据集固有的（无法在数据层面修复），有些是使用者可以主动缓解的。区分这两类，对写出可信的评测结论至关重要。
缓解策略 1：针对子集不平衡——改「聚合报告」为「多视图报告」
不要给 MTCMB 打一个总分。改为至少三种视图：
- 维度视图：五维度各自的（加权或简单平均）得分；
- 规模视图：把子集按样本量分档（大规模 ED-B、中规模 ED-A、小规模其余），分别报告，避免小集噪声污染；
- 任务形态视图：客观题（准确率）与生成题（文本相似）分开报告，因为它们测的是不同能力。
缓解策略 2：针对 AIGC 辅助标注——建立「金标准 / 参考值」两档
把子集按标注可信度分两档：
- 金标准档（无合成成分）：TCM-ED-A、TCM-ED-B、TCM-Diagnosis、TCM-FRD、TCM-MSDD、TCM-PR、TCM-LitData。这七集可直接作为对错判断。
- 参考值档（含 DeepSeek-R1 生成/改写）：TCM-FT、TCMeEE、TCM-CHGD、TCM-SE-A、TCM-SE-B。这五集结果应表述为「与参考答案的相似度/一致性」，而非「正确率」。
这样分档表述，既用了全部数据，又不夸大含合成子集的结论强度。
缓解策略 3：针对来源同质性——补做「来源切片分析」
利用每样本的 source 字段，把同一维度内不同来源的样本分开算分。例如语言理解维度里，TCMeEE 的 95%（中医智库）与 5%（执业者提交）可以分开看。若两者表现差异大，说明模型对「网络医案」与「真实提交医案」的适应力不同——这是比单一分数更有信息的发现。
缓解策略 4：针对安全子集的评审依赖——固定评审配置 + 定性优先
对 TCM-SE-A，若要与其他研究对比，必须复现官方的评审模型（GLM-4-Air-250414）与 prompt。若无法复现，则不要跨研究比较绝对分数，只做定性判断（「该模型在此安全子集上是否系统性失败」）。对 50 条样本，定性判断比精确排名更负责任。
缓解策略 5：针对生成指标不对齐——叠加人工抽检
对 TCM-PR、TCM-FRD、TCM-Diagnosis 等生成式子集，在自动指标之外，做小规模人工抽检（如随机 20-30 例请中医专业人士评「方剂是否临床合理」）。这是把「指标分数」升级为「临床可信度证据」的唯一途径。
缓解策略 6：针对上游授权链——逐需求复核
若只是学术研究使用（不外分发），CC BY 4.0 已足够。若涉及再分发或商用，须逐一确认 TCMeEE（中医智库）、TCM-LitData（阿里云天池）、TCM-MSDD/TCM-PR（CCL25-Eval）的上游授权。这一步无法自动化，只能人工核对。
一个总原则
MTCMB 是「诊断工具」而非「判决书」。它的价值不在于给出一个权威分数，而在于暴露模型在哪个维度、哪种任务、哪类来源上失败。使用者越能利用它的多维结构定位问题，就越能发挥它的真正价值；反之，越是把它压缩成一个总分，越会浪费它的设计。
§9 使用指南
场景 A：快速给模型排个中医能力榜
用 TCM-ED-A + TCM-ED-B（准确率），一次性得到可跨模型硬对标的知识问答分数。这是最省事的入口，也是「考试题库型」基准的标准用法。
场景 B：诊断模型的能力短板
不要看总分，逐维度报告：知识（ED-A/B/FT）、理解（eEE/CHGD/LitData）、推理（MSDD/Diagnosis）、推荐（PR/FRD）、安全（SE-A/B）五条轴分别算分，画出雷达图。MTCMB 的价值正在于此——它能把「模型是知识不够还是推理不够」区分开。
场景 C：方剂推荐专项
用 TCM-PR（复合评分）+ TCM-FRD（生成式）。注意 TCM-PR 的 Size Agreement 指标——它惩罚「乱开大方」和「只开一味药」两个极端，比单纯看命中率更贴近临床。
场景 D：安全红线检查
用 TCM-SE-A/B。建议把结果作为「红旗检查」而非能力评分：任何在这两个子集上明显失败的模型，都不应考虑用于涉及用药建议的场景。
复现建议：
- 从 Zenodo v2 下载（doi:10.5281/zenodo.20465629），按 §6 表格核对 12 个 md5；
- 用 GitHub 仓库的 evaluation code 复现基线，保证打分口径与论文一致；
- 报告结果时必须逐子集列示，禁止只报一个聚合分——因为子集规模差异巨大，聚合分会误导。
引用规范：同时引用论文 DOI（10.1038/s41597-026-07967-w）与数据集 DOI（10.5281/zenodo.20465629），并注明使用的 Zenodo 版本（v2）。
§10 坑点与陷阱
坑 1：全称有三版，按「缩写+官方全称」检索最稳
「MTCMB」在论文里展开为 Multi-Task TCM Assessment Benchmark，在 Zenodo/GitHub 里展开为 Multi-Task benchmark dataset for evaluating large language models in Traditional Chinese Medicine，第三方聚合站又给出 Multi-Task Benchmark for Evaluating LLMs on TCM Knowledge, Reasoning, and Safety。三个全称指向同一资源，但按任一展开名去搜都可能对不上。稳定检索锚点是缩写 MTCMB + 机构名（中山大学）或 DOI。
坑 2：7,100 与「6,000 exam」两个口径
官方口径是 7,100 个标注样本。第三方综述表里括注为「7,100（6,000 exam samples）」——6,000 对应知识问答三大子集（1,200+4,800=6,000 考试题）的量级。二者不矛盾：7,100 是全体样本，6,000 是其中的考试题子集。写作/报数时以 7,100 为总量，避免误引 6,000 为总量。
坑 3：论文不在 arXiv
MTCMB 本体论文发表于 Scientific Data（Nature Portfolio），没有 arXiv 预印本。搜索「MTCMB arXiv」会命中一篇 arXiv 论文（2602.01779，LingLanMidian 综述），它是把 MTCMB 当对照基准引用的第三方工作，不是 MTCMB 的发布论文。引用时务必用 Sci Data DOI，别错引那篇综述。
坑 4：数据集 CC BY 4.0，论文 CC BY-NC-ND 4.0
同一项工作两层许可。数据集宽松（可商用、可改编，署名即可），论文严格（非商业、禁改编）。把数据集许可当成论文许可（或反之）都会造成合规误判。此外，部分子集源自二手汇编（中医智库/天池/CCL25-Eval），再分发时需复核上游授权。
坑 5：子集名 TCM-MSDD 别写成 TCM-MSD
Zenodo 归档文件名 7.TCM_MSDD.jsonl 与子集名 TCM-MSDD 均为双 D（Multi-label Syndrome/Disease Diagnosis 之意）。写成 TCM-MSD 会在检索与对表时对不上。同理注意 TCMeEE（大小写：TCM + eEE）、TCM-CHGD、TCM-LitData 的精确拼写。
坑 6：含 AIGC 成分的子集不是纯人工金标准
TCM-FT、TCMeEE、TCM-CHGD、TCM-SE-A/B 含 DeepSeek-R1 生成/改写成分并经专家复核；TCM-MSDD、TCM-PR 源自 CCL25-Eval。只有 TCM-ED-A/B、TCM-Diagnosis、TCM-FRD 等才是直接取自题库/教材/医师标注。把「AIGC 辅助集」当纯金标准来评测模型，会低估偏差风险（详见 §8 限制 2）。
坑 7：TCM-SE-A 用模型当裁判
安全填空子集 TCM-SE-A 的评分依赖 GLM-4-Air-250414 评审。这意味着分数里含有评审模型的偏好。跨研究比较 TCM-SE-A 分数时，须确认双方用的是同一评审模型与同一 prompt，否则分数不可比。
坑 8：聚合总分具有误导性
由于 12 子集规模从 50 到 4,800 悬殊，任何「MTCMB 综合得分」都会强烈偏向知识问答维度。规范做法是逐子集/逐维度报告，而非报单一总分。看到只给一个总分的结果，应警惕其信息量被大子集稀释。
坑 9：TCM-Diagnosis 与 TCM-FRD 是平行设计
这两个子集各 200 例，共用「十三五」教材（内/外/妇/儿，各 50 例）的病例框架——TCM-Diagnosis 考「诊断」，TCM-FRD 考「治法+方名+药味」。它们是同一批病例的两种任务切面，联合使用可测「诊断→处方」的一致性，但不能当作两个独立来源的数据来做统计上的独立性假设。
DAIMS 数据质量评估
DAIMS（Data and Analytics Improvement Maturity System）从数据管理成熟度视角评估数据集，以下为 MTCMB 的逐维打分（5 分制）。
| 维度 | 评分 | 说明 |
|---|---|---|
| 数据来源可溯源性（Provenance） | 4.5/5 | 每样本带 source 字段；12 子集来源在 Zenodo/论文逐条列明；部分二手汇编（天池/中医智库/CCL25-Eval）上游授权链需使用者自行复核 |
| 标注质量与一致性（Annotation Quality） | 3.5/5 | 与持证中医师共建、有专家复核；但多项子集含 DeepSeek-R1 生成成分，非纯人工，存在偏差传导风险 |
| 文档完备性（Documentation） | 4.5/5 | GitHub 全项目含文档+evaluation code；README 双语（中/英）；Zenodo 归档描述详尽含逐文件 md5 |
| 规模充分性（Scale Sufficiency） | 3.0/5 | 总量 7,100 中等，但子集极不平衡（50–4,800），小规模子集统计功效有限 |
| 许可清晰度（Licensing Clarity） | 4.0/5 | 数据集 CC BY 4.0 明确、公开直链；但论文 CC BY-NC-ND 与数据集许可不同层，易被混淆 |
| 可复现性（Reproducibility） | 4.5/5 | Zenodo 版本化（v2）+ 逐文件 md5 + GitHub 评测代码 + 官方排行榜，复现条件充分 |
| 临床真实性（Clinical Realism） | 3.5/5 | 含真实/仿真医案、药典禁忌、真实考试题；但以教科书式规范知识为主，非典型临床表现覆盖不足 |
| 任务多样性（Task Diversity） | 5.0/5 | 覆盖 MCQ/填空/开放问答/实体抽取/医案生成/诊断生成/方剂推荐/安全评价，中文医疗基准中题型谱系最宽 |
| 综合 | 4.0/5 | 定位清晰、文档与可复现性优秀的「能力矩阵型」中医评测基准；主要短板在子集不平衡与部分子集的 AIGC 辅助标注 |
§11 总结
MTCMB 是中医药大模型评测领域一份定位精准的资源。它不追求「最大规模」——7,100 条在数值上会被更大的基准超过；它追求的是能力覆盖的宽度：从国家执业医师考试的选择题，到医案实体抽取、医患对话还原、辨证诊断、方剂推荐，再到用药安全红线，五大维度 12 个子集构成了一张中医能力的「体检表」。这份体检表的独特价值，在于它把「安全性」作为独立能力轴单列——这是多数中文医疗基准没做的事。
它的可信基础是：发布机构来自中山大学、北京中医药大学、康奈尔大学、湖南中医药大学四家，与持证中医师共建，获国家重点研发计划与国家自然科学基金资助，论文经 Scientific Data 同行评审见刊。它的开放基础是：数据集以 CC BY 4.0 通过 Zenodo 与 GitHub 公开，逐文件 md5 可校验，配套评测代码可复现。
它的边界同样需要使用者清楚：子集规模从 50 到 4,800 悬殊，聚合总分会误导；多项子集含 DeepSeek-R1 生成成分而非纯人工金标准；安全评价维度依赖模型评审；教科书式知识为主，真实临床复杂度覆盖不足。正确用法是逐维度报告、区分金标准与参考值、把安全子集当红旗检查而非能力评分。
一句话：MTCMB 是把「大模型到底懂不懂中医」这个笼统问题，拆成 12 个可测量子问题的第一次系统性尝试——它有短板，但短板的边界是清晰的，这正是好基准的标志。
FAQ（高频问答）
Q：MTCMB 和 TCMBench、TCMD 有什么区别？
TCMD（3,451）与 TCMBench（5,473/6,482）本质是考试题库型基准，题型以 MCQ 为主；MTCMB（7,100）是能力矩阵型基准，覆盖 MCQ/填空/开放问答/实体抽取/诊断生成/方剂推荐/安全评价多种题型，分五个能力维度。规模略大、题型谱系明显更宽。
Q：能商用吗？
数据集 CC BY 4.0 允许商用（署名即可）。但论文是 CC BY-NC-ND 4.0，且部分子集来自二手汇编（中医智库/阿里云天池/CCL25-Eval），再分发/商用前应复核上游授权。
Q：为什么安全评价只有 100 条？
TCM-SE-A/B 各 50 条，源自 2020 版《中国药典》的禁忌与用药安全记录。规模小是 MTCMB 的已知短板——它更适合当「红旗检查」而非精确安全能力评分。
Q：论文在 arXiv 上吗？
不在。发表于 Scientific Data，doi:10.1038/s41597-026-07967-w。搜索命中的 arXiv 2602.01779 是引用了 MTCMB 的第三方综述，不是本体论文。
Q：怎么拿数据？
Zenodo（doi:10.5281/zenodo.20465629，v2）直接下载 12 个 JSONL；或 git clone https://github.com/Wayyuanyuan/MTCMB.git 取 data/*.jsonl + 评测代码。
Q：样本是纯人工标注的吗？
不是。多个子集（TCM-FT/TCMeEE/TCM-CHGD/TCM-SE-A/B）用 DeepSeek-R1 生成或改写后经专家复核。TCM-ED-A/B、TCM-Diagnosis、TCM-FRD 等则直接取自有题库/教材/医师标注。
Q：7,100 和 6,000 哪个对？
7,100 是全体标注样本总量（官方口径）；6,000 是其中知识问答三大子集的考试题量级（第三方括注）。报总量用 7,100。
Q：能用来微调模型吗？
可以，但注意 README 提示：处方生成类任务的模型微调建议在中医专家监督下进行。MTCMB 定位是评测基准，不是训练集。
Q：聚合总分有意义吗？
意义有限。因子集规模从 50 到 4,800 悬殊，聚合分会强烈偏向知识问答。规范做法是逐子集/逐维度报告。
Q：库内有哪些相关条目可对照？
tcmeval-sdt（rid=1053，中医辨证思维四步推理基准）、tcmssd（rid=1054，中医证候标准化数据库）、tcm-tongue（rid=1052，中医舌诊舌象数据集）。
术语表
- MTCMB：Multi-Task benchmark dataset for evaluating large language models in Traditional Chinese Medicine，多任务中医评估基准。
- TCM（Traditional Chinese Medicine）：中医药，一套有数千年累积经验的整体医学体系。
- 辨证论治：中医核心诊疗方法，通过辨识证候确定治则方药。
- 证候（Syndrome）：中医对疾病过程中某一阶段病理状态的概括。
- 方剂（Formula/Prescription）：由多味中药按配伍规律组成的处方。
- MCQ（Multiple-Choice Question）：单选题，本基准主要用五选一（A–E）。
- Cloze：填空/完形题。
- IE（Information Extraction）：信息抽取，如从医案中抽取实体。
- NER（Named Entity Recognition）：命名实体识别。
- BERTScore：基于预训练语言模型嵌入的文本相似度指标。
- ROUGE / BLEU：生成文本与参考答案的召回/精确度型相似指标。
- Jaccard：集合交并比，用于方剂药味集合比对。
- Size Agreement：方剂推荐评估指标，衡量推荐方剂规模是否合理。
- LLM-as-a-judge：用大模型作为评审打分，本基准 TCM-SE-A 采用。
- CCL25-Eval Task 9：CCL 2025 评测任务，MTCMB 的 TCM-MSDD/TCM-PR 数据来源。
- CC BY 4.0：署名即可自由使用的知识共享许可。
- CC BY-NC-ND 4.0：仅限非商业、禁止改编的知识共享许可。
- JSONL（JSON Lines）：每行一个 JSON 对象的存储格式。
- Zenodo：CERN 运营的开放科研数据归档平台。
- 「十三五」规划教材：中国第十三个五年规划期间编写的中医规划教材。
- 《中华人民共和国药典》2020 版：中国国家药品标准，第 11 版。
- 技术验证（technical validation）：数据论文中对数据集可用性的实验验证。
附录：来源与核对清单
一手来源 URL
| 类型 | 链接 |
|---|---|
| 论文（Sci Data） | https://link.springer.com/article/10.1038/s41597-026-07967-w |
| 论文 DOI | https://doi.org/10.1038/s41597-026-07967-w |
| 数据集（Zenodo v2） | https://zenodo.org/records/20465629 |
| 数据集 DOI | https://doi.org/10.5281/zenodo.20465629 |
| GitHub 仓库 | https://github.com/Wayyuanyuan/MTCMB |
| HuggingFace 镜像仓 | https://huggingface.co/datasets/Bunnybeck/MTCMB |
| README 镜像（英文） | http://git.mafyuh.dev/Wayyuanyuan/MTCMB |
| OpenAIRE（作者/机构） | https://explore.openaire.eu/search/dataset?pid=10.5281%2Fzenodo.20465629 |
| 第三方综述（横向坐标） | https://arxiv.org/pdf/2602.01779 |
核心硬数字核对
| 项目 | 数值 | 来源 |
|---|---|---|
| 子数据集数 | 12 | Zenodo/GitHub/README |
| 能力维度数 | 5 | 同上 |
| 总标注样本数 | 7,100 | GitHub README（12 子集加总一致） |
| 归档体积 | 3.3 MB | Zenodo |
| 论文 DOI | 10.1038/s41597-026-07967-w | Sci Data |
| 数据集 DOI | 10.5281/zenodo.20465629 | Zenodo v2 |
| 数据集许可 | CC BY 4.0 | Zenodo/GitHub |
| 论文许可 | CC BY-NC-ND 4.0 | Springer |
| Received / Accepted / Published | 2025-11-21 / 2026-07-22 / 2026-07-31 | Sci Data |
| Zenodo v2 发布 | 2026-05-31 | Zenodo |
建议互链点（库内条目 + rid）
| 库内条目 | rid | 关系 |
|---|---|---|
| tcmeval-sdt | 1053 | 同域评测基准（中医辨证四步推理，300 案），与 MTCMB 诊断推理维度直接对照 |
| tcmssd | 1054 | 中医证候标准化数据库，与 MTCMB 病/证分类任务（TCM-MSDD）资源互补 |
| tcm-tongue | 1052 | 中医舌诊舌象数据集，MTCMB 诊断推理维度涉及舌脉信息的资源侧对照 |
存照：三处双口径（详见 FACTS.md §9）
- 全称三版（论文口径 / Zenodo 口径 / 第三方口径）。
- 总量口径（7,100 官方 vs 第三方括注 7,100/6,000 exam）。
- 许可双层（数据集 CC BY 4.0 vs 论文 CC BY-NC-ND 4.0）。
遗留疑点：论文正文表格中 MTCMB 各子集的逐模型基线分数未在本次抓取范围内完整获取；如需精确对标，应以 Sci Data 论文正文表格为准。
FAQ（高频问答 · 扩展）
Q11：MTCMB 的五个维度为什么要这样划分？
因为中医能力不是单一维度。「能背出方剂组成」与「能根据症状辨证选方」是两种能力；「能读懂医案」与「能写规范的医案」也是两种能力。五维度（知识问答→语言理解→诊断推理→方剂推荐→安全评价）沿「从知识到应用、从理解到决策、从正确到安全」的梯度排列，构成一条完整的能力链。
Q12：为什么安全评价要单独成维度？
因为「答对」不等于「安全」。一个模型可能知识渊博但从不开出有毒药物的禁忌提示。把安全单列，是为了让「安全短板」无处藏身——这是临床 AI 评测里最容易被忽略、后果却最严重的维度。
Q13：TCM-ED-A 和 TCM-ED-B 有什么区别，为什么都保留？
ED-A 是分学科均衡抽样（每科 100 题），用于定位「哪一科弱」；ED-B 是完整整卷（8 套×600 题），用于模拟真实考试压力与提供大规模稳定分数。一个是「均衡探针」，一个是「体量基线」，用途不同。
Q14：TCM-MSDD 的「多标签」和我理解的分类有什么不同？
普通分类输出单一标签；多标签输出一个标签集合。中医辨证中一个患者可同时有多个证型（如气滞+血瘀），所以正确答案是集合而非单一值。评估用集合匹配准确率。
Q15：TCM-PR 的 Size Agreement 到底惩罚什么？
惩罚「推荐方剂规模不合理」。若模型把几十味药全列上刷高 Recall，Size Agreement 会因其规模偏离临床常规而扣分。它防止「以量取胜」的作弊式作答。
Q16：TCM-FRD 和 TCM-PR 都要开方，有什么本质区别？
TCM-PR 是「由案例选/预测方剂」（偏检索匹配），TCM-FRD 是「生成完整治疗方案：治法+方名+药味」（偏结构生成）。后者要求展开到具体组成，难度更高。
Q17：为什么 TCM-LitData 不用 BERTScore？
因为文献阅读理解更看重内容点是否覆盖（召回）与表述是否精准（精确），BLEU/ROUGE 更直接。BERTScore 在长文段上可能因语义平滑而弱化关键差异。不同子集用不同指标，是刻意而非疏漏。
Q18：TCM-SE-A 为什么用 GLM-4-Air-250414 而不是人工评审？
填空答案的多样性使得自动比对困难，用 LLM 评审可规模化。代价是引入评审模型偏差（坑 7）。严格比较须固定评审配置。
Q19：12 个子集可以只用其中几个吗？
可以，但要说明用了哪些。只跑 TCM-ED-A/B 相当于只用「考试题库型」基准（失去 MTCMB 的多任务价值）；建议至少覆盖五维度各一子集，才能体现 MTCMB 的设计意图。
Q20：MTCMB 会更新吗？会影响我的复现吗？
Zenodo 已是 v2，说明存在版本演进。复现时务必记录版本号 + md5（§6）。版本变化可能带来样本增删，导致分数不可比。
Q21：数据里有患者隐私信息吗？
MTCMB 是评测基准，样本为考试题、教材病例、医案文本，非具名患者级临床数据。但来自真实医案的部分（如 TCMeEE 的 5% 执业者提交、CCL25-Eval 案例）理论上可能存在脱敏处理，使用者应遵循所在机构的伦理规范使用。
Q22：能用 MTCMB 训练模型吗？
技术上可以，但 README 提示处方生成类任务的微调应在中医专家监督下进行。更重要的是理念问题：MTCMB 是评测基准，用评测集训练会污染其评测效力（数据泄漏）。若必须用作训练数据，应保留一部分作测试集。
Q23：MTCMB 和通用医学基准（如 USMLE 类）什么关系？
通用医学基测量西医知识，MTCMB 测中医知识。两者不可互相替代——一个模型可能在通用医学基准上高分，却在中医辨证上失败（或反之）。中医是独立的知识体系，需要独立的评测。
Q24：为什么规模是 7,100 而不是更大？
作者的设计取向似乎是「多任务覆盖」而非「大体量堆砌」。相比追求样本量，MTCMB 更重视「每个维度都有可测子集」。这与「能力矩阵型」定位一致——广度优先于深度。
Q25：TCMeEE 的 95%/5% 来源构成意味着什么？
意味着主体是网络医案汇编（规模大、易获取），少量是执业者提交（真实性强、难获取）。模型在 95% 上的表现反映「网络医案适应力」，5% 反映「真实提交适应力」。使用者可分开分析。
Q26：如果我只关心安全性，能用 MTCMB 吗？
能，但须知安全维度只有 100 条（TCM-SE-A/B）。它适合做「红旗检查」（模型是否系统性触犯药典禁忌），不适合做精细的安全能力排名。若需更全面的安全评测，应结合其他安全专项数据集。
Q27：论文里的 technical validation 具体验证了什么？
验证了 MTCMB 能在不同难度层级区分模型能力——即基准有区分度，不是饱和的（所有模型同分）。这是基准有用的前提条件。
Q28：为什么说 MTCMB 是「中文医疗基准图谱」的一环？
因为在第三方综述的横向表里，它与 TCMD、TCMBench、TCMEval-SDT 并列，共同构成中医 LLM 评测的坐标系。理解 MTCMB 最好放在这个图谱里看，而非孤立看。
Q29：库内 tcmssd、tcm-tongue 和 MTCMB 是什么关系？
它们是「资源型」条目（数据库/数据集），MTCMB 是「评测型」。资源提供结构化知识，评测测量模型掌握程度。三者互补，可互链形成「中医数据资源→评测基准」的链路。
Q30：MTCMB 是 CC BY 4.0，那我改编后也要 CC BY 4.0 吗？
CC BY 4.0 允许改编，要求是你须署名并且不得增加额外限制。改编作品可以是 CC BY 4.0，也可以是其他兼容许可，但须保留原始署名。注意论文本体是 CC BY-NC-ND，涉及论文图表的改编另有限制。
Q31：怎么判断一个 MTCMB 评测结果是否可信？
看三点：① 是否逐子集/逐维度报告（而非一个总分）；② 是否区分了金标准子集与含合成子集；③ 是否说明了 Zenodo 版本与指标实现。三点都满足，结果才具备可比较性。
Q32：MTCMB 最大的贡献和最大的短板分别是什么？
最大贡献：把「中医能力」拆成 12 个可测量子任务，并首次把「安全」单列为独立维度。最大短板：子集极不平衡、多项子集含 AIGC 辅助成分、真实临床复杂度覆盖不足。两者都应被使用者清楚知晓。
事实清单（硬事实速查）
以下为 MTCMB 的核心硬事实，逐条给出数值与来源，便于快速引用与核对。
身份与命名
- 缩写 MTCMB 的官方全称（Zenodo/GitHub）为 Multi-Task benchmark dataset for evaluating large language models in Traditional Chinese Medicine。
- 论文标题口径全称为 Multi-Task TCM Assessment Benchmark (MTCMB)。
- 中文通称为「多任务中医评估基准」。
- 第三方聚合站给出的第三版展开为 Multi-Task Benchmark for Evaluating LLMs on TCM Knowledge, Reasoning, and Safety。
- slug 为 mtcmb。
论文与出版
- 论文发表于 Scientific Data（Nature Portfolio）。
- 论文 DOI 为 10.1038/s41597-026-07967-w。
- 论文 Received 日期为 2025-11-21。
- 论文 Accepted 日期为 2026-07-22。
- 论文 Published 日期为 2026-07-31。
- MTCMB 本体论文无 arXiv 预印本。
- arXiv 2602.01779（LingLanMidian）是引用 MTCMB 的第三方综述，非本体论文。
- 数据集 Zenodo DOI 为 10.5281/zenodo.20465629。
- Zenodo 当前版本为 v2，发布日 2026-05-31。
- 数据集正式发布（README 更新日志）日期为 2025-05-15。
规模与结构
- 子数据集数量为 12 个。
- 能力维度数量为 5 个。
- 总标注样本数为 7,100 条。
- 12 子集样本加总正好 7,100（1,200+4,800+100+100+100+100+100+200+100+200+50+50）。
- 归档体积合计约 3.3 MB。
- 最大子集为 TCM-ED-B，4,800 条。
- 最小子集为 TCM-SE-A 与 TCM-SE-B，各 50 条。
- 知识问答类（ED-A+ED-B）合计 6,000 条，占总量约 84.5%。
- TCM-ED-B 单集占总量约 67.6%。
- 安全评价类（SE-A+SE-B）合计 100 条，占总量约 1.4%。
五大维度与来源
- 五大维度为：知识问答、语言理解、诊断推理、方剂推荐、安全评价。
- 知识问答子集：TCM-ED-A（1,200）、TCM-ED-B（4,800）、TCM-FT（100）。
- 语言理解子集：TCMeEE（100）、TCM-CHGD（100）、TCM-LitData（100）。
- 诊断推理子集：TCM-MSDD（100）、TCM-Diagnosis（200）。
- 方剂推荐子集：TCM-PR（100）、TCM-FRD（200）。
- 安全评价子集：TCM-SE-A（50）、TCM-SE-B（50）。
- TCM-ED-A 来源为国家中医中级主治医师考试题库，12 学科各 100 题。
- TCM-ED-B 来源为国家执业医师考试题库，8 套整卷各 600 题。
- TCM-FT 来源为《中医学问答题库》（胡熙明主编）。
- TCMeEE 来源为中医智库（95%）+ 执业者提交医案（5%）。
- TCM-CHGD 来源为国家执业（助理）医师实践技能题库。
- TCM-LitData 来源为阿里云天池中医文献问答数据集。
- TCM-MSDD 与 TCM-PR 来源为 CCL25-Eval Task 9（Subtask 1 与 Subtask 2）。
- TCM-Diagnosis 与 TCM-FRD 来源为「十三五」规划中医教材（内/外/妇/儿各 50 例）。
- TCM-SE-A 与 TCM-SE-B 来源为《中华人民共和国药典》2020 版。
构建与标注
- 数据与持证中医师（certified TCM practitioners）合作共建。
- 多项子集使用 DeepSeek-R1 做语义改写/结构化参考答案生成/反向生成对话。
- 含合成成分的子集：TCM-FT、TCMeEE、TCM-CHGD、TCM-SE-A、TCM-SE-B。
- 无合成成分（直接取自有来源）的子集：TCM-ED-A/B、TCM-LitData、TCM-MSDD、TCM-Diagnosis、TCM-PR、TCM-FRD。
- 数据格式为 JSON Lines（JSONL），每样本含 answer 与 source 字段。
评估指标
- 选择题/填空类用准确率（Accuracy）。
- 开放问答（TCM-FT）用 BERTScore。
- 生成式（TCMeEE/CHGD/Diagnosis/FRD）用 BLEU/ROUGE/BERTScore 均值。
- 文献理解（TCM-LitData）用 BLEU/ROUGE 均值。
- 方剂推荐（TCM-PR）用 Jaccard/Precision/Recall/F1/Size Agreement 复合分。
- 安全填空（TCM-SE-A）用 GLM-4-Air-250414 评审打分。
- 多标签分类（TCM-MSDD）用集合匹配准确率。
机构与资助
- 参与机构包括中山大学、北京中医药大学、康奈尔大学、湖南中医药大学。
- 论文致谢中山大学附属第五医院的临床合作者。
- 资助来源含国家重点研发计划 2025YFF0523900、2024YFC3505400。
- 资助来源含国家自然科学基金 62506090、82274411。
- Zenodo 作者共 15 位，首位为 Kong, Shufeng。
许可与获取
- 数据集许可为 CC BY 4.0。
- 论文本体许可为 CC BY-NC-ND 4.0。
- 获取渠道一：Zenodo（doi:10.5281/zenodo.20465629）。
- 获取渠道二：GitHub（github.com/Wayyuanyuan/MTCMB）。
- 获取渠道三：HuggingFace 镜像（Bunnybeck/MTCMB）。
- 文件名与子集名对应，其中第 7 个文件名为 TCM_MSDD.jsonl（双 D）。
- 12 个文件各有独立 md5（见 §6 表）。
库内关联
- 库内互链候选：tcmeval-sdt（rid=1053）。
- 库内互链候选：tcmssd（rid=1054）。
- 库内互链候选：tcm-tongue（rid=1052）。
附录 A：样本格式说明（按任务形态）
以下给出 MTCMB 各任务形态的样本结构示意（基于官方 README 与 Zenodo 描述，字段名以实际 JSONL 为准）。这有助于使用者在加载数据时快速对齐处理逻辑。
A.1 选择题（TCM-ED-A / TCM-ED-B / TCM-SE-B）
这类样本通常是「题干 + 若干选项 + 答案 + 来源」。题干为中医知识问句，选项 A–E，答案为选项标识。处理要点：
{ "input": "（题干）……", "options": ["A. ...", "B. ...", ...], "answer": "C", "source": "国家执业医师考试题库" }
- 评估：直接比对模型输出选项与 answer。
- 常见坑：模型可能输出选项文本而非字母，需做规范化映射。
- CoT 实验：可要求模型先输出推理再给选项，对比 CoT 对准确率的影响。
A.2 开放问答（TCM-FT）
{ "input": "（问答题）……", "answer": "（要点化参考答案）", "source": "中医学问答题库" }
- 评估：BERTScore（语义相似），容忍不同表述。
- 注意：参考答案经 DeepSeek-R1 改写与专家交叉验证。
A.3 实体抽取（TCMeEE）
{ "input": "（医案叙述）……", "answer": {"症状": [...], "体征": [...], "方剂": [...]}, "source": "中医智库" }
- 评估：BLEU/ROUGE/BERTScore 均值。
- 注意：结构化输出的字段划分需与官方一致，否则指标失真。
A.4 结构化医案生成（TCM-CHGD）
{ "input": "（医患对话）……", "answer": "（结构化医案）", "source": "执业医师实践技能题库" }
A.5 多标签分类（TCM-MSDD）
{ "input": "（症状描述）……", "answer": ["证型A", "证型B"], "source": "CCL25-Eval Task 9" }
- 评估：多标签集合匹配准确率。
- 注意：答案是一个集合，不是单一标签。
A.6 诊断生成（TCM-Diagnosis）
{ "input": "（临床表现）……", "answer": {"中医病名": "...", "证型": "..."}, "source": "十三五教材" }
A.7 方剂推荐（TCM-PR）
{ "input": "（临床案例）……", "answer": {"方剂": "...", "组成": [...]}, "source": "CCL25-Eval Task 9" }
- 评估：Jaccard/Precision/Recall/F1/Size Agreement 复合分。
A.8 治疗方案生成（TCM-FRD）
{ "input": "（临床案例）……", "answer": {"治法": "...", "方名": "...", "药味": [...]}, "source": "十三五教材" }
A.9 安全填空（TCM-SE-A）
{ "input": "（含空缺的药典安全陈述）……", "answer": "（缺失内容）", "source": "中国药典2020版" }
- 评估：GLM-4-Air-250414 评审打分。
附录 B：常见检索与引用问题
B.1 为什么搜「MTCMB dataset」有时搜不到官网？
因为 MTCMB 没有独立官网，它的「官方入口」分散在三个地方：Zenodo（数据归档）、GitHub（代码与文档）、Sci Data（论文）。README 里的「Website」链接指向的是这些入口，而非一个独立域名站。检索时直接用这三个 + DOI 最稳。
B.2 应该引用论文还是数据集？
两者都引。论文（10.1038/s41597-026-07967-w）说明方法与来源，数据集（10.5281/zenodo.20465629）说明实际使用的版本。学术规范上，数据描述论文与数据集归档是两条独立的可引用实体。
B.3 中文论文与英文论文是同一条吗？
MTCMB 只有一篇论文，英文，发表于 Sci Data。中文材料（如 HF 的中文 README、聚合站的中文介绍）是对同一工作的翻译/转述，不是独立的论文。
B.4 「中山大学」还是「湖南中医药大学」是主导机构？
Zenodo 作者列表以 Kong Shufeng（中山大学方向）为首，论文致谢专门提到中山大学附属第五医院的临床合作。多机构联合是准确描述，不宜单独强调某一家为主导。
B.5 数据里的「source」字段能做什么？
可以按来源切分分析——例如比较模型在「考试题来源」与「教材来源」上的表现差异，或筛出特定来源的样本做子集评测。这是 MTCMB 逐样本标注 source 的价值所在。
附录 C：与其他中医数据资源的对照（扩展）
除 §7 的中文医疗基准横向表外，MTCMB 还可与以下几类资源对照理解：
与「考试题库型」基准对照（TCMD、TCMBench）：这类基准是单一 MCQ 形态，规模略小，长于快速排名，短于能力诊断。MTCMB 在题型上是它们的超集。
与「深度定性协议」基准对照（TCMEval-SDT）：TCMEval-SDT 以 300 案做分阶段（信息抽取→病机推理→证型推理→解释摘要）的定性评估，深度优于广度。MTCMB 则广度优先。库内 rid=1053 即此条目，可作为互链对照。
与中医数据库型资源对照（tcmssd、tcm-tongue）：这两者（库内 rid=1054、1052）是「资源型」而非「评测型」——证候标准化数据库、舌象数据集。MTCMB 是「评测型」。二者关系是互补：数据库提供结构化知识，评测基准测量模型掌握程度。
与通用中文医疗基准对照：中文医疗领域还有一批以临床文本、医学考试为主的基准（如各类中文医学问答集）。MTCMB 的差异化在于「中医专域 + 多任务 + 含安全维度」三点叠加。
血缘说明：MTCMB 的 TCM-MSDD 与 TCM-PR 直接取自 CCL25-Eval Task 9 的两个子任务。这意味着这两集的数据质量与 CCL25-Eval 官方直接相关——引用时若涉及这两集，宜同时提及 CCL25-Eval 的来源（非库内条目，仅文本说明）。
尾注
注 1：关于「多任务」的理解
「多任务」在 MTCMB 语境里有两层含义。第一层是「评测任务多样」——12 个子集形态各异（选择、填空、抽取、生成、分类）。第二层是「能力维度多样」——5 个维度各测一种中医能力。二者不是同一件事：同一维度内可有多种任务形态（如诊断推理横跨分类与生成），同一任务形态也可服务多个维度。理解这层区分，才能读懂 §4.5.13 那张二维表。
注 2：关于「临床真实性」的尺度
MTCMB 宣传其数据「整合真实病例、国家执业考试题和经典文献，提供真实的测试床」。这里「真实」应理解为「有临床依据」，而非「全部来自真实患者」。实际上，考试题来自题库、教材题来自教材、部分医案来自网络汇编，真正患者来源的比例有限。使用者引用时应采用「有临床依据的测试床」这一更准确的表述。
注 3：关于 Zenodo v1 → v2 的推测
Zenodo 记录显示当前为 v2（2026-05-31）。由于 v1 的发布信息在本次抓取中未完整获取，无法确认 v1→v2 之间发生了哪些具体变化（样本增删、格式调整或仅元数据修订）。使用者在复现较早的研究时，若发现样本数或内容不符，应考虑其可能引用了 v1。规范做法是记录自己使用的确切版本 + md5。
注 4：关于许可的两个层次
务必区分：① 数据集许可 CC BY 4.0（宽松，可商用可改编，署名即可）；② 论文许可 CC BY-NC-ND 4.0（严格，非商业、禁改编）。前者管数据文件，后者管论文文本与图表。很多使用者只看到「CC BY 4.0」就以为一切宽松，这是常见误解。引用论文图表用于商业用途时，须回到 CC BY-NC-ND 的限制。
注 5：关于库内互链的选择逻辑
本条目在「建议互链点」中选定 tcmeval-sdt（1053）、tcmssd（1054）、tcm-tongue（1052）三条，依据是：它们同属中医领域，且分属「评测基准」「证候数据库」「舌象数据集」三种类型，能构成「评测—知识—影像」的中医数据三角。互链的价值在于让读者从一个中医条目能跳到相关的其他中医条目，形成领域内的知识网络。若库内后续加入更多中医 LLM 基准（如 TCMBench 类），应优先补链。
注 6：关于「中医 AI」的伦理底色
MTCMB 的 README 特别提示「建议在中医专家监督下进行处方生成类任务的模型微调」。这条提示背后是一个严肃的伦理立场：中医 AI 的任何应用都涉及患者健康，不能仅凭基准分数就部署到临床。评测基准的作用是「筛选出明显不合格的模型」，而非「认证合格模型」。把这两者混为一谈，是最危险的使用误区。
注 7：关于本条目的事实核对方法
本条目所有硬数字均经三源互证：Zenodo 归档描述（数据规模、许可、文件 md5）、GitHub README（总量 7,100、子集清单、构建方式）、Sci Data 论文（发表信息、机构、资助）。三源之间唯一性质出入是「全称展开」与「总样本括注」，已在坑 1、坑 2 存照。第三方来源（聚合站、arXiv 综述）仅用于交叉参考与横向坐标，不作为核心事实来源。
注 8：关于条目的时效性
MTCMB 于 2026 年 7 月见刊，本条目撰写于 2026 年 10 月。数据集处于活跃期（Zenodo 已有 v2），未来可能存在版本更新或衍生工作。使用者应始终以 Zenodo 最新版本 + 官方 md5 为准，本条目中的版本信息（v2/2026-05-31）为撰写时快照。
结语
MTCMB 是中医药大模型评测领域一次结构化的尝试：它用 12 个子集、5 个维度、7,100 条样本，把「大模型懂不懂中医」这个笼统问题拆解成可测量的子问题，并以 CC BY 4.0 开放共享。它的广度设计（覆盖从知识到安全的完整能力链）、它的安全维度单列、它的多来源拼合（考试题库+教材+药典+医案），都是值得称道的方法论贡献。它的短板同样清晰：子集不平衡、部分子集含 AIGC 辅助、临床真实复杂度覆盖不足、安全维度规模小。
对使用者而言，正确的态度是「用其所长、知其边界」：用它诊断模型的能力短板，而不是用它给模型发临床许可证；逐子集逐维度解读，而不是压缩成一个总分；区分金标准子集与参考值子集，而不是一视同仁。做到这些，MTCMB 就能成为中医 AI 研究中一件趁手的测量工具；做不到，它就只是一个容易被误读的数字。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- meds-ins — 共享标签：医学问答与基准 / 医疗NLP / 医学考试 / 评测基准 / 临床文本
- blue-benchmark — 共享标签：医学问答与基准 / 医疗NLP / 评测基准 / 临床文本
- care-bench — 共享标签：医学问答与基准 / 医疗NLP / 评测基准 / 临床文本
- persona-patientsim — 共享标签：医学问答与基准 / 医疗NLP / 医学考试 / 评测基准
- cohortx — 共享标签：医学问答与基准 / 医疗NLP / 评测基准 / 临床文本
- cats-58 — 共享标签：医学问答与基准 / 医学考试 / 评测基准 / 临床文本
- medqa — 共享标签：医学问答与基准 / 医疗NLP / 医学考试 / 评测基准
- medmcqa — 共享标签：医学问答与基准 / 医疗NLP / 医学考试 / 评测基准
- cmb-cmexam — 共享标签：医学问答与基准 / 医疗NLP / 医学考试 / 评测基准
- mednli — 共享标签：医学问答与基准 / 医疗NLP / 评测基准 / 临床文本
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
