TCMEval-SDT — 中医辨证思维四步推理评测基准数据集

INFOBOX — TCMEval-SDT 一屏速览

维度	内容
本质	首个聚焦中医**证候诊断「思维过程」**的评测基准数据集（非知识问答、非单纯证候分类）
团队	中国中医科学院中医药信息研究所牵头，联合中国医学科学院基础医学研究所/北京协和医学院、莱比锡大学
论文	Sci Data 12, 437 (2025)，doi:10.1038/s41597-025-04772-9；PMID 40082443；PMC11906624
规模	300 例证候诊断病例（训练 200 / 测试 50 / 验证 50，4:1:1）
来源	互联网（CNKI、万方）+ 中医古籍 + 医院病历 三源
四步	临床信息提取 → 病机推理 → 证候推理 → 解释性总结
标注	中医专家用百部知识引擎标注；CARE 量表 10 子项筛选（≥6 分纳入）
评估	Task1 ω=0.2｜Task2 ω=0.3｜Task3 ω=0.4｜Task4 ω=0.1（ROUGE-L）
验证	ChatGLM-130B 24.74（最高）> Gemini 1.5-pro 23.18 > ChatGPT 21.48 > 通义千问（分数未披露）
获取	figshare 10.6084/m9.figshare.27184596.v4（CC-BY 4.0）+ GitHub zhuyan166/TCMEval（代码）
许可	数据 CC-BY 4.0｜论文 CC BY-NC-ND 4.0｜代码 CC BY 4.0
库内互链	TCM-SD（证候分类，方向互补）、TCM-Tongue（中医舌诊），及医学问答/医疗NLP 类条目

TCMEval-SDT 是一个"给大模型的中医辨证思维打分"的评测基准：它不满足于让模型回答"这是什么证"，而是把中医师的诊断过程拆成四步——先从患者资料里提取临床信息，再由信息推断病机，由病机推断证候，最后给出解释性总结——并为每一步配上专家标注的推理链与十选项多选题。300 例病例全部由中医专家逐条整理、按 CARE 指南量表筛选，使这个数据集成为首个能"逐步看模型像不像中医师那样思考"的公开基准。

导语读法三则：

1. 只想下数据做评测：直奔 §6 获取与许可——数据在 figshare（CC-BY 4.0），代码在 GitHub，两处都公开。
2. 关心"推理过程"怎么标：直奔 §3 与 §5——四步拆解、13 字段元数据、十选项多选题是核心。
3. 想对标大模型成绩：直奔 §7 与 §8——四模型加权总分、分任务最优、与 TCM Bench/TCM-SD 的区别三段连读。

§0 导读：这个数据集解决什么问题

中医诊病的核心方法是辨证论治（Bianzheng Lunzhi）。与西医"先诊断疾病"不同，中医既要辨病、更要辨证：同样是咳嗽，寒证与热证的治法可能截然相反。而"辨证"不是一次性的判断题，而是一段有顺序的推理——医者先通过望闻问切收集临床信息，据信息推演病机（疾病发生发展的机理），再据病机归纳出证候（一组有内在联系的症状与体征的概括），最后结合经验给出解释与治则。这段推理恰恰是中医最难被机器复现、也最难被评测的部分。

在 TCMEval-SDT 出现之前，中医 AI 的评测基准主要有两类：一类考知识问答（如 TCM Bench，问"某方剂的组成是什么"），一类考证候分类（如 TCM-SD，给定病例让模型输出证候标签）。这两类基准的共同盲点是——它们只检查"答案对不对"，不检查"过程像不像"。一个模型完全可能靠词频统计猜中证候标签，却在推理链的每一步都错。论文原文的表述直指要害：既有基准"并不覆盖中医证候诊断的推理过程"。

TCMEval-SDT 的回答是把过程本身变成评测对象。它做了三件事：

1. 拆步骤：把证候诊断归纳为四步——临床信息提取、病机推理、证候推理、解释性总结，并为每一步设计可计算的评分公式。
2. 标推理链：由中医专家为 300 例病例逐条标注病机推理链与证候推理链，并生成十选项病机/证候多选题（含干扰项与正确答案），使"思维"第一次有了可评测的中间产物。
3. 配量表：基于 CARE 指南制定"中医病历质量评估量表"（10 子项、每项 0-1 分、总分 10 分），排除 <6 分的低质病例，把数据质量的把关前置到采集阶段。

§0 读法三则：

1. 这个条目是"数据集 + 评测协议 + 标注方法学"三合一：本体是 300 例带推理链的病例，评测协议是四步加权评分，方法学是 CARE 量表 + 专家标注流水线，三者互相依存。
2. 全文关键数字（300 / 200 / 50 / 50 / 四权重 / 四模型总分）均出自论文正文、表格与图注；正文与图注的唯一冲突处（任务权重在正文公式中缺失）已在坑点与 §9 存照。
3. 检索时若把 “ChatGLM-130B” 与新闻稿的 “GLM-130B”、以及 “通义千问” 的不同英文转写混为一谈，会误以为验证了五个模型——实为四个（坑 8）。

§1 数据集速览：十问十答

Q1：TCMEval-SDT 的 “SDT” 是什么意思？
SDT = Syndrome Differentiation Thought，即"证候辨证思维"。数据集全名强调它评测的不是证候标签本身，而是得出证候的思维过程。中文官方口径称之为"中医辨证思维测评数据集"。

Q2：数据集有多大？怎么划分的？
共 300 例中医证候诊断病例，按 4:1:1 划分为训练集 200 例、测试集 50 例、验证集 50 例。对应三个 JSON 文件：Train_TCM_Data_v1.json、Test_TCM_Data_v1.json、Validation_TCM_Data_v1.json。

Q3：病例是从哪来的？
三源混采：互联网（主要来自 CNKI 中国知网与万方数据）、中医古籍（古典医籍中的医案）、以及医院病历（真实临床记录）。原始记录先经数据清洗、匿名化、去重，存入数据库，再从中筛选出符合标准（如排除罕见病例）的 300 例。

Q4：谁来标注？标注工具是什么？
由中医专家标注与整理，专家来自中国中医科学院中医药信息研究所与中医基础理论研究所，并有高年级中医学生参与。标注使用百部知识引擎（Baibu knowledge engine）。整个标注过程以论文图 3、图 4 的案例形式公开示意。

Q5：四步诊断流程具体是四步？
（1）临床信息提取（Clinical Information Extraction）——模拟中医师从患者资料中获取临床信息；（2）病机推理（Pathogenesis Reasoning）——由临床信息推断中医病机；（3）证候推理（Syndrome Reasoning）——由病机推断中医证候；（4）解释性总结（Explanatory Summary）——总结中医师的临床经验与见解。

Q6：每条病例有哪些字段？
13 项元数据字段，均带 Metadata ID（DE0087751-DE0087761）：病历 ID、临床数据、解释性总结、证候辨证、临床信息、中医病机、病机推理、中医证候、证候推理、病机选项、证候选项、病机答案、证候答案。

Q7：什么叫"十选项多选题"？
病机推理与证候推理两步被设计为十选多的选择题：每个病例给出 10 个候选病机（或候选证候），其中若干项为正确项（答案）、其余为干扰项，模型须选出全部正确项。评分公式 S = |A∩B| / (|A| + |¬A∩B|) 同时惩罚漏选与错选。

Q8：数据集怎么保证质量？
两道关：采集关用 CARE 指南衍生的"中医病历质量评估量表"（10 子项、每项 0-1 分、总分 10 分，<6 分排除）；标注关由中医专家复核整理，并以公开 LLM 做验证性评测。

Q9：怎么评估模型？总分怎么算？
四个子任务各有评分公式（Task1 用交集比、Task2/3 用多选交集比、Task4 用 ROUGE-L），再按权重 ω1=0.2、ω2=0.3、ω3=0.4、ω4=0.1 加权求和得到总分 S_f。权重设计体现"证候推理"（ω3）是辨证的核心。

Q10：谁测过？成绩如何？
论文用从训练集随机抽取的 50 例、zero-shot 提示评测四个公开模型：ChatGLM-130B 加权总分 24.74（最高），Gemini 1.5-pro 23.18，ChatGPT 21.48，通义千问总分未在正文披露。ChatGLM 在 Task1、Task2 领先，Gemini 在 Task3、Task4 领先。

§2 数据集速览：核心硬数字一览

为便于检索者快速定位，先把全文最重要的数字集中列出（均出自论文正文、表格与图注）：

维度	数字	出处
总病例数	300	摘要/正文
训练集	200（4）	正文
测试集	50（1）	正文
验证集	50（1）	正文
划分比例	4:1:1	正文
元数据字段数	13	Table 6
元数据 ID 区间	DE0087751-DE0087761	Table 6
多选题选项数	10（十选项）	方法/代码
质量量表子项	10（每项 0-1 分）	Table 1
质量纳入阈值	≥6 分	方法
Task1 权重 ω1	0.2	Fig. 5 图注
Task2 权重 ω2	0.3	Fig. 5 图注
Task3 权重 ω3	0.4	Fig. 5 图注
Task4 权重 ω4	0.1	Fig. 5 图注
验证抽样数	50（从 200 训练集抽）	Fig. 5 图注
ChatGLM-130B 总分	24.7378	正文
Gemini 1.5-pro 总分	23.1816	正文
ChatGPT 总分	21.4753	正文
通义千问总分	未披露	正文/图注
参赛（评测）模型数	4	正文
子任务数	4	摘要
ICD-11 分类数	6 类	Table 5

按 ICD-11 传统医学章（TM1）的六类分布（Table 5）：

ICD-11（TM1）类别	病例数
脏腑系统疾患 Organ system disorders	123
其他身体系统疾患 Other body system disorders	96
精神情志疾患 Mental and emotional disorders	25
儿童青少年相关疾患 Childhood and adolescence associated	39
外感病 External contraction disorders	13
气血津液疾患 Qi, blood and fluid disorders	4
合计	300

§2 读法三则：

1. 这份"数字表"是全文引用锚点，凡正文出现"300/200/50/50/0.2-0.4/24.74"等数字，均以此表为准。
2. ICD-11 分布极不均衡（气血津液仅 4 例、外感病仅 13 例），这是使用数据集时必须注意的抽样偏差（详见 §9 与坑点 5）。
3. 通义千问缺失总分是一个存照事实，不是笔误——正文与图注均未给该模型的加权总分，引用时应如实标注"未披露"。

§0.5 背景深挖：中医 AI 评测为什么难

要理解 TCMEval-SDT 的价值，先要理解"评测中医 AI"这件事本身的困难。

0.5.1 中医的双对象诊断

西医诊断的对象是疾病（disease）——一组已知的病理过程，边界相对清晰，有金标准（病理、检验、影像）。中医诊断的对象则同时包含病与证：同样的病（如消渴）可分多种证（上消、中消、下消，或阴虚燥热、气阴两虚），而不同的病又可能共享同一证。论文原文点明这一根本差异：“中医临床的诊断过程与西医不同，它诊断的不仅是疾病，还有证候。”

这一差异带来评测上的第一重困难：中医的诊断没有单一金标准。同一个患者，不同流派的中医师可能给出不同的证候判断，而都"正确"。因此 TCMEval-SDT 的策略不是追求"唯一正确答案"，而是（1）用专家标注的证候作为参考标准（reference standard）而非绝对真值，（2）把评测重心放在推理过程的可解释性上——过程对了，答案的合理性就有支撑。

0.5.2 知识问答 ≠ 辨证能力

既有中医基准（如 TCM Bench）多考知识问答：给一个方剂问组成、给一个症状问对应证候。这类题目的问题是可以用记忆回答——模型的训练语料里若包含中医教材，它可能"背"出答案，却不具备推理能力。论文明确把这类基准归为"回答中医基础知识问题"，并指出它们不覆盖推理过程。

0.5.3 证候分类 ≠ 推理过程

另一类基准（如 TCM-SD）给出完整病例，让模型输出证候标签。这比知识问答进一步，但仍只判"答案对不对"。问题在于：模型可能靠表面词频（如出现"舌红苔黄"就猜"热证"）蒙对标签，而中间的病机推演完全错误。论文把这类基准归为"评估基于病例分析得出的证候"，同样指出其盲点。

0.5.4 TCMEval-SDT 的破局点

TCMEval-SDT 的破局点是把推理链显式化并可评分：四步过程中的每一步都有专家标注的中间产物（临床信息、病机、证候、解释性总结），模型必须在每一步都"交出作业"。这使得"蒙对答案"的路径被大幅堵死——因为病机推理（Task2）与证候推理（Task3）用十选项多选题强制模型在多个候选间做出选择，且评分同时惩罚漏选与错选。

0.5.5 与西方医学 LLM 评测的对照

西方医学评测（如 MedQA、MultiMedQA）同样面临"答案可猜"问题，但西医诊断有较明确的金标准与循证依据，评测可锚定确证结果。中医评测的独特性在于必须在缺乏单一真值的条件下评测，所以"过程评测"对中医而言不仅是方法论创新，更是认识论上的必需。TCMEval-SDT 正是这一思路的先行者。

§1.5 深度问答（补充十问）

Q21：为什么数据集要放在 figshare 而不是 GitHub？
figshare 提供 DOI 与版本化，适合作为数据的持久标识（可引用、可版本追溯）；GitHub 更适合代码的协作与迭代。两者分工：figshare 承载数据（.v4），GitHub 承载代码，各得其所。

Q22：这个数据集和国家中医药管理局有什么关系？
资助清单中包含"国家中医药管理局中医师资格认证中心/全国中医药教育发展中心课题（TB2023008）"，说明研究获得中医药教育主管机构课题支持，但数据集本身是学术研究成果，非官方认证题库。

Q23：数据集里的病例有没有隐私问题？
论文明确原始记录经过匿名化（anonymization）处理，去除患者可识别信息后才入库。这是通过伦理与合规要求的关键一步。

Q24：为什么是 300 例而不是更多？
论文未解释确切数字的由来，但把"进一步扩大数据集规模、提高数据多样性"列为未来工作。300 例是质量与规模权衡的结果——CARE 量表 ≥6 分的门槛筛掉了大量低质病例。

Q25：四步流程能再拆分吗？
论文的四步是论证性拆解，即为了评测可计算而做的工程抽象。真实的辨证思维未必严格按四步线性推进，但这一拆解使得"思维"可被逐段考察，是"为评测而简化"的合理设计。

Q26：Task 1 的评分为什么用召回式？
S_c = |A∩B| / |A| 的分母是专家提取的信息数 |A|，因此它衡量的是"模型是否把专家认为重要的信息都提到了"（召回）。若用精确率会惩罚模型多提信息，而中医临床中多提信息未必错，故偏向召回是审慎的设计。

Q27：多选题为什么是十选项？
十选项在"区分度"与"随机猜中难度"之间取得平衡——选项太少容易蒙对，太多则人工构造成本高。论文用 generate_multiple_choice_options.py 自动生成干扰项，使十选项可持续扩充。

Q28：ICD-11 TM1 是国际标准吗？
是。ICD-11（国际疾病分类第十一版）由世界卫生组织发布，TM1 是其"传统医学章"的编码，用于对传统医学（含中医）病证进行分类，是中医术语国际化的一个标志。

Q29：这个基准适合评测中医大模型吗？
适合。它专为评测大模型的中医辨证能力设计（论文验证对象即 GLM/ChatGPT/通义千问/Gemini）。尤其适合评测"可解释性"——因为它要求模型输出推理链。

Q30：数据集会持续更新吗？
论文目标 3 明确欢迎社区提交新数据，GitHub 仓库在论文发表后仍有提交，figshare 已迭代至 .v4，说明项目在持续维护。

§0.6 中医辨证方法学速成（给非中医背景的检索者）

若你是计算机或 AI 背景、不熟悉中医，本节用最少篇幅解释理解本数据集所需的几个核心概念。

0.6.1 什么是"证"

中医把疾病表现为一组有内在联系的症状、体征的病理概括称为"证"（syndrome / pattern）。它不同于西医的"病"：西医的"病"指向具体病理过程（如肺炎），中医的"证"指向机体在疾病某一阶段的整体反应状态（如"风热犯肺证"）。同一病可分多证，同一证可现于多病——这就是"同病异治、异病同治"的由来。

0.6.2 什么是"辨证"

“辨证"就是辨识证候的过程。它依据四诊（望、闻、问、切）收集的信息，分析病位（病在何处）、病性（寒热虚实）、病势（进退趋势），最终归纳出证候。这一过程有内在逻辑顺序，而非简单匹配——这正是 TCMEval-SDT 要评测的"思维过程”。

0.6.3 什么是"病机"

"病机"是疾病发生、发展、变化的机理。例如"风热之邪犯肺，肺失清肃"就是一条病机陈述，它解释了症状（咳嗽、咽痛）为什么产生，并指示了证候（风热犯肺证）的由来。病机是连接"症状信息"与"证候结论"的中间桥梁——数据集把病机作为独立评测步骤，正是因为它是推理的关键一环。

0.6.4 为什么拆成"信息→病机→证候"

信息、病机、证候三者构成一条推理链：从"有哪些症状"推出"机体发生了什么"（病机），再从"发生了什么"归纳出"属于哪一证"（证候）。这三步对应数据集的 Task1-3（Task4 是解释性总结）。拆开评测的意义在于：模型若证候判对了但病机推错了，说明它是"蒙"的；只有病机与证候都对，才说明它真的会辨证。

0.6.5 四诊与文本的对应

• 望诊：观察神色形态舌象——文本化为"舌淡红苔薄白"等描述
• 闻诊：听声音、嗅气味——文本化为"语声低微"等
• 问诊：询问症状、病史——文本化为"主诉"“现病史”
• 切诊：切脉、按诊——文本化为"脉浮紧"等

TCMEval-SDT 中，这些四诊信息以文本形式出现在 Clinical Data / Clinical Information 字段里。注意：本数据集不含舌象图像或脉象信号，只有文本描述。

§4.7 数据样例结构示意

以下为一条病例在数据集中的逻辑结构示意（基于论文图 3、图 4 的公开示例重构，非原样引用，仅说明字段如何组织）：

输入层

• Medical Record ID: 唯一编号
• Clinical Data: “患者，男，40 岁。主诉：恶寒发热 2 天。现病史：2 天前受凉后出现恶寒、发热、头痛、鼻塞流清涕。体格检查：体温 38.2℃，咽部稍红。舌淡红苔薄白，脉浮紧。”

推理层（仅训练集公开）

• Clinical Information（Task1 产出）: “恶寒、发热、头痛、鼻塞、流清涕、咽稍红、舌淡红苔薄白、脉浮紧”
• TCM Pathogenesis（Task2 产出）: “风寒束表，肺气失宣”
• TCM Pathogenesis Reasoning（推理链）: “受凉后恶寒发热→外邪袭表；鼻塞流清涕、脉浮紧→风寒之象；故病机为风寒束表、肺气失宣。”
• TCM Syndrome（Task3 产出）: “风寒感冒证 / 风寒犯肺证”
• TCM Syndrome Reasoning（推理链）: “病机为风寒束表→主证属表实寒证；兼肺失宣降→定位在肺；故证属风寒犯肺。”

评测钩子

• Options of TCM Pathogenesis（十选项）: 含"风寒束表，肺气失宣"（正）与"风热犯肺""暑湿困脾"等干扰项
• Answers of TCM Pathogenesis: 正确项列表
• Options of TCM Syndrome / Answers of TCM Syndrome: 同理

输出层

• Explanatory Summary（Task4 产出）: “本例为外感风寒、肺卫失宣之证，治宜辛温解表、宣肺散寒，方用荆防败毒散加减。”

说明：以上文本为结构示意，用于帮助理解字段关系，不代表数据集原文。真实样本请以 figshare 下载的 JSON 为准。

4.7.1 从示意看评测逻辑

• Task1 只看 Clinical Information 与专家标准的重合度（不罚多提）。
• Task2/3 看模型在十选项中"选全又选对"的程度。
• Task4 看 Explanatory Summary 与专家总结的 ROUGE-L 重叠。

§9.6 伦理、隐私与合规

9.6.1 隐私处理

论文明确原始病历经匿名化处理：移除患者身份信息（姓名、证件号、联系方式、精确住址等）后入库。这是数据集合规的前提，也是其能公开（CC-BY 4.0）的基础——若含可识别信息，公开将受限。

9.6.2 数据来源的合规性

• 互联网来源（CNKI/万方）多为已发表的病例报告，属公开学术文献。
• 古籍来源为公有领域文本。
• 医院病历来源经匿名化后使用。

9.6.3 中医诊疗的伦理特殊性

中医辨证存在流派差异与主观性，同一病例不同医师可能给出不同证候。数据集的处理方式是：以专家标注作为参考标准（而非绝对真值），并保留解释性总结字段以承载专家的判断依据。使用者在报告"模型正确率"时，应意识到"正确答案"本质是专家共识，而非唯一真理。

9.6.4 使用者的合规注意

• 数据许可 CC-BY 4.0 允许商用（署名），但若涉及患者相关的再识别风险，使用者应自行评估合规性。
• 论文许可 CC BY-NC-ND 4.0 禁止对文章本体的商用与演绎——引用时勿混。
• 用于临床决策辅助时，须声明数据集为研究用途，不可直接作为诊疗依据。

9.6.5 与西医数据伦理的对照

西医数据的伦理焦点多为隐私（PHI）与知情同意；中医数据除此之外还叠加诊疗主观性的学术伦理——如何在缺乏单一金标准的前提下评测，是中医 AI 特有的方法论挑战（见 §0.5）。

§3 数据构成：300 例病例如何从三源汇成

TCMEval-SDT 的构建起点是"收集一切可用的中医证候诊断文本"，终点是"300 例质量达标的专家标注病例"。这中间是一条严格的数据工程流水线，理解它有助于判断数据集的适用范围与偏差来源。

3.1 三源采集

论文图 1 把数据来源归纳为三支：

1. 互联网来源：主要来自 CNKI（中国知网，https://www.cnki.net）与万方数据（https://www.wanfangdata.com.cn）两大中文文献数据库，从中提取公开报道与文献中的中医证候诊断案例。
2. 中医古籍：从古典中医医案文献中提取的病例，携带传统辨证叙述。
3. 医院病历：来自医疗机构的真实临床病历记录。

三源合并后，原始记录统一进入数据库。论文强调：进入数据库前，所有记录先经数据预处理——包括数据清洗（去除格式噪声）、匿名化（去除患者身份信息）、去重（移除重复病例）。这一步是 FAIR 原则中"可访问、可重用"的前提。

3.2 筛选标准

从预处理后的病例库中，按特定标准选出 300 例。论文举例说明的筛选条件之一是排除罕见病例（non-rare cases），即纳入的病例应属临床常见类型，以保证数据集对主流模型的评测代表性。这一"可通用、可复用"的取向与数据集面向算法评测的定位一致。

3.3 质量把关：CARE 量表

在正式标注前，病例还要过一道质量评估关。论文基于 CARE 指南（CAse REport guidelines，国际病例报告撰写规范）与中医专家意见，制定了中医病历质量评估量表（TCM Medical Record Quality Assessment Scale，Table 1）：

一级项	子项	分值
Patient information（患者信息）	人口学信息（性别、年龄等）	0-1
	主症（简要且突出主要症状）	0-1
	病史（既往史、家族遗传史、现病史）	0-1
	与疾病相关的既往干预	0-1
Clinical findings（临床所见）	体格检查	0-1
	中医四诊（望闻问切）	0-1
Timeline（时间线）	描述发病与进展的重要日期/时间	0-1
Diagnostic Evaluation（诊断评估）	诊断依据	0-1
	诊断推理	0-1
	诊断结论	0-1

量表共 10 个子项，每项 0-1 分，总分 10 分。评分采用三档：「clearly described」（描述清楚）记 1 分、「not clearly described」（描述不清）记 0.5 分、「not described」（未描述）记 0 分。低于 6 分的病例被排除，仅保留 6 分及以上者。这一"≥6 分"阈值是数据集质量的硬门槛。

3.4 ICD-11 疾病谱分布

选定 300 例后，论文按 ICD-11 传统医学章（TM1） 对其疾病类型做了统计（Table 5）：

• 脏腑系统疾患（Organ system disorders, TM1）：123
• 其他身体系统疾患（Other body system disorders, TM1）：96
• 儿童青少年相关疾患（Childhood and adolescence associated disorders, TM1）：39
• 精神情志疾患（Mental and emotional disorders, TM1）：25
• 外感病（External contraction disorders, TM1）：13
• 气血津液疾患（Qi, blood and fluid disorders, TM1）：4

六类合计 300。可以看到分布高度不均衡：脏腑系统与其他身体系统两类合计 219 例（占 73%），而气血津液类仅 4 例、外感病仅 13 例。这一偏差直接影响评测——模型在稀缺子类上的表现缺乏统计支撑。

3.5 数据文件组织

数据集以 JSON 提交，三份文件对应三个划分：

文件	病例数	含推理链与答案
Train_TCM_Data_v1.json	200	是（含病机/证候推理链与正确答案）
Test_TCM_Data_v1.json	50	否（仅保留可评测输入）
Validation_TCM_Data_v1.json	50	否

关键设计：测试集与验证集的 JSON 不含 pathogenesis reasoning、syndrome reasoning 及其正确答案选项——即推理链只在训练集公开。这既保护了测试集的评测有效性（防止模型直接看到答案），也意味着研究者若想复现 Task2/Task3 的过程评测，只能基于训练集。这是使用该数据集时最容易踩的坑之一。

§3 读法三则：

1. 数据来源三源混采，检索者若关心"临床真实性"，应使用医院病历子集；若关心"传统叙述"，应使用古籍子集——但论文未在 JSON 中标记每条病例的具体来源标签，这是本数据集的一处结构性局限。
2. CARE 量表是质量筛选工具而非标注质量度量，6 分阈值保证的是"病历描述完整"，不等同于"中医辨证正确"。
3. ICD-11 六类分布的不均衡源于自然语料而非刻意设计，做子类对比实验时务必注意小样本方差。

§4 标注体系与文件格式

TCMEval-SDT 的核心资产不是 300 段病例文本，而是附着在文本上的专家推理链。本节说明标注体系的设计逻辑与文件字段结构。

4.1 四步推理的标注逻辑

论文把中医证候诊断过程明确拆为四步，并对每一步给出操作性定义（图 2、图 4 以图形示例说明）：

1. 临床信息提取（Clinical Information Extraction）：模拟中医师从患者医疗数据中获取临床信息。输入是原始病历（含人口学信息、主诉、病史、体格检查），输出是结构化的临床信息（体征、病史等）。
2. 病机推理（Pathogenesis Reasoning）：由相关临床信息推断中医病机。输出是中医病机描述。
3. 证候推理（Syndrome Reasoning）：由相关中医病机推断中医证候。输出是证候分类系统中的病名。
4. 解释性总结（Explanatory Summary）：总结中医师的临床经验与见解。

论文图 4 特别说明"思维过程设计"：左侧是患者临床数据，右侧是中医专家为算法/模型标注的逐步引导推理步骤——模型可沿这些步骤逐步推理，从而复现中医师的详细诊断过程。这正是"思维链（Chain-of-Thought, CoT）"式评测的数据基础。

4.2 十三项元数据字段

Table 6 给出数据集 13 项元数据字段，每项均有 Metadata ID（前缀 DE，对应某元数据注册体系）：

元数据名称	Metadata ID	含义
Medical Record ID	DE0087751	病历唯一标识符
Clinical Data	DE0087752	患者人口学信息、主诉、病史、体格检查等原始临床数据
Explanatory Summary	DE0087753	中医师提供的解释性总结
Syndrome Differentiation	DE0087754	基于中医理论、四诊综合分析确定的证候
Clinical Information	DE0087755	从患者数据中提取的临床信息（体征、病史）
TCM Pathogenesis	DE0087756	中医病机描述
TCM Pathogenesis Reasoning	DE0088288	从临床信息逐步推断病机的推理过程
TCM Syndrome	DE0087757	中医证候分类系统中的病名
TCM Syndrome Reasoning	DE0088289	从病机逐步推断证候的推理过程
Options of TCM Pathogenesis	DE0087758	病机可选项（十选项多选题的候选集）
Options of TCM Syndrome	DE0087759	证候可选项
Answers of TCM Pathogenesis	DE0087760	病机正确选项（答案）
Answers of TCM Syndrome	DE0087761	证候正确选项（答案）

字段设计体现了"输入—中间推理—输出—评测钩子"的完整链条：Clinical Data 是输入，Clinical Information/TCM Pathogenesis/TCM Syndrome 是三级中间产物，*_Reasoning 是显式推理链，Options/Answers 是把推理固化为可自动评分的多选题。

4.3 实体与关系（知识图谱视角）

论文从知识图谱角度给出两个规范表：

• 实体类型（Table 3）：Clinical Information（临床信息）、TCM Pathogenesis（中医病机）、TCM Syndrome（中医证候）。
• 关系类型（Table 4）：Clinical Information–TCM Pathogenesis（即病机推理关系）、TCM Pathogenesis–TCM Syndrome（即证候推理关系）。

这实际上把四步流程中"提取后"的两步推理抽象成两个关系：信息→病机、病机→证候。因此 TCMEval-SDT 不仅是文本数据集，也可看作一个可抽取三元组（信息, 病机推理, 病机）、（病机, 证候推理, 证候）的标注语料，可用于知识图谱构建与关系抽取研究。

4.4 十选项多选题的构造

病机推理与证候推理被设计为十选项多选题。数据集配有专门的构造脚本 generate_multiple_choice_options.py（GitHub 公开），用于生成干扰项。每个病例的 Options of TCM Pathogenesis / Options of TCM Syndrome 给出 10 个候选，Answers of TCM Pathogenesis / Answers of TCM Syndrome 给出正确项。模型须选出所有正确病机/证候，评分同时惩罚漏选与错选（见 §7 公式）。

4.5 标注团队与流程

标注者构成：中国中医科学院中医药信息研究所与中国中医科学院中医基础理论研究所的中医专家，辅以高年级中医学生。标注工具为百部知识引擎（Baibu knowledge engine）。论文以图 3（TCM 临床病历标注示例）展示了从原始病历到标注字段的映射。标注完成后，用公开 LLM 做验证性评测，完成数据集的质量闭环。

§4 读法三则：

1. 若要做关系抽取/知识图谱，直接取 Clinical Information、TCM Pathogenesis、TCM Syndrome 三实体与两类关系，标签体系已经明确。
2. 若要做 CoT 评测，只能用训练集——因为只有训练集公开 *_Reasoning 字段。
3. *_Reasoning 字段（DE0088288、DE0088289）的 ID 明显晚于主字段（DE008775x），说明推理链标注是后加的、是本数据集区别于先前版本的增量核心。

§5 评测任务与评分协议

TCMEval-SDT 不仅给数据，还给一套完整的评测协议——这是它被称作"benchmark"的关键。本节拆解四个子任务、评分公式与权重设计。

5.1 四个子任务

任务	名称	输入	输出	评价方式
Task 1	临床信息提取	原始临床数据	结构化临床信息	交集覆盖率
Task 2	病机推理	临床信息	中医病机（十选多）	多选交集比
Task 3	证候推理	中医病机	中医证候（十选多）	多选交集比
Task 4	解释性总结	病例全貌	解释性总结文本	ROUGE-L

5.2 评分公式

论文为每个子任务给出评分公式：

• Task 1 临床信息提取：
  S_c = |A∩B| / |A|
  其中 A 为专家提取的临床信息数，|A∩B| 为专家与模型提取的交集数。该式衡量模型"是否覆盖了专家认为重要的信息"（召回视角）。

• Task 2 病机推理（十选项多选题）：
  S_p = |A∩B| / (|A| + |¬A∩B|)
  分母在正确答案数 |A| 之上加上"误选的非正确项数 |¬A∩B|"，因此同时惩罚漏选与错选。

• Task 3 证候推理（十选项多选题）：
  S_s = |A∩B| / (|A| + |¬A∩B|)
  与 Task 2 同构。

• Task 4 解释性总结：
  S_r 基于 ROUGE-L（最长公共子序列的召回/精确综合指标）计算模型总结与专家总结的重叠度。

• 最终得分：
  S_f = 加权总分，即四子任务得分按权重 ω1-ω4 求和（论文记作 weighted score）。

5.3 权重设计

四个子任务的权重（据 PMC Fig. 5 图注）：

任务	权重	占比
Task 1 临床信息提取	ω1 = 0.2	20%
Task 2 病机推理	ω2 = 0.3	30%
Task 3 证候推理	ω3 = 0.4	40%
Task 4 解释性总结	ω4 = 0.1	10%

权重分配传递了一个明确的价值判断：证候推理（0.4）是辨证的核心，其次是病机推理（0.3），临床信息提取（0.2）再次，解释性总结（0.1）权重最低。这与中医临床的认知一致——得出正确证候才是辨证的落点，而"文采式"的解释总结对诊断正确性的贡献最小。

§5 存照：论文正文文本层中，公式 4、公式 5 的具体 ω 数值在抓取时缺失（PMC 网页正文未完整渲染公式），但 Fig. 5 图注明确写出了 ω1=0.2、ω2=0.3、ω3=0.4、ω4=0.1，且该权重与下文各模型分任务加权得分（Task1 6.21 ≈ 0.2×31、Task2 7.98 ≈ 0.3×26.6、Task3 9.51 ≈ 0.4×23.8）自洽。故以 Fig. 5 图注为权威口径，正文公式缺失一处存照。

5.4 评测流程

论文的验证实验流程（图 1、图 5）：

1. 从训练集 n=200 中随机选取 50 例（不占用测试/验证集）。
2. 对每个模型采用 zero-shot 提示（不给示例、不微调）。
3. 通过 API 或人工询问获取模型输出。
4. 按四子任务公式打分，乘权重求和，统计结果。

设计要点：用训练集抽样而非测试集，说明此轮实验是验证性评测（验证数据集可用、有区分度），而非正式排行榜。测试集保留给后续研究者做正式评测——这与"测试集不公开推理链与答案"的设计互为配套。

§5 读法三则：

1. 想直接对标论文成绩，注意论文数字是 50 例 zero-shot 验证，不是 50 例测试集正式成绩，二者不可混用。
2. Task4 用 ROUGE-L 是自动指标的妥协：中医解释性总结的语义质量难以用 n-gram 重叠衡量，0.1 的低权重部分缓解了这一局限，但复现时不宜过度解读该子任务差异。
3. 多选题评分公式 S = |A∩B|/(|A|+|¬A∩B|) 与 F1 思路相近但不等同，读结果时注意它偏向"不漏不错"的均衡。

§3.7 ICD-11 疾病谱分布解读

3.7.1 为什么用 ICD-11 传统医学章

ICD-11 首次设立传统医学章（Chapter 26，编码前缀 TM1），把传统医学病证纳入国际疾病分类。TCMEval-SDT 选择用它统计疾病谱，体现术语国际化的取向——让中医数据能与国际标准对话，也便于跨语言检索与互操作。

3.7.2 六类分布的临床含义

类别	病例数	占比	解读
脏腑系统疾患	123	41.0%	内科杂病为主体，符合中医门诊病种结构
其他身体系统疾患	96	32.0%	涵盖未归入脏腑系统的体表/经络病证
儿童青少年相关疾患	39	13.0%	儿科病证，样本量中等
精神情志疾患	25	8.3%	郁证、不寐等情志病
外感病	13	4.3%	感冒、温病等外感，样本偏少
气血津液疾患	4	1.3%	气血津液代谢异常，样本极少
合计	300	100%	—

3.7.3 分布偏斜的三重影响

1. 评测偏斜：模型在脏腑系统（123 例）上的表现主导总评，稀缺类（气血津液 4 例）几乎不影响总分。
2. 泛化风险：在稀缺类上训练的模型难以从本数据集获得可靠评测信号。
3. 研究方向提示：稀缺类（外感病、气血津液、情志病）正是后续数据补充的优先目标——它们临床并不罕见，只是本数据集采样不足。

3.7.4 与其他中医数据集的分布对比

TCM-SD 等数据集多聚焦内科杂病，本数据集通过 ICD-11 六类覆盖了更广的病证范围（含儿科、情志、外感），但分布不均。做跨数据集对比时，须注意各自的病种覆盖差异。

§4.5 标注与数据结构深度解析

4.5.1 一条病例的完整生命周期

以论文图 3、图 4 的案例为参照，一条病例从原始病历到可评测样本，经历以下环节：

1. 原始采集：从 CNKI/万方/古籍/医院病历中提取一份中医临床记录（含患者人口学信息、主诉、现病史、既往史、体格检查、四诊描述）。
2. 预处理：清洗格式噪声、匿名化（去姓名/身份证/联系方式）、与其他病例去重，存入数据库。
3. 质量评分：按 CARE 量表 10 子项逐项打分（0/0.5/1），总分 <6 分者淘汰。
4. 临床信息提取标注：专家从病历中抽出结构化临床信息（对应 DE0087755）。
5. 病机标注与推理链：专家写出中医病机（DE0087756）并补全从临床信息到病机的逐步推理（DE0088288）。
6. 证候标注与推理链：专家写出中医证候（DE0087757）并补全从病机到证候的逐步推理（DE0088289）。
7. 解释性总结：专家撰写解释性总结（DE0087753）。
8. 多选题固化：用 generate_multiple_choice_options.py 生成十选项病机/证候候选（DE0087758/DE0087759）与正确答案（DE0087760/DE0087761）。
9. 入库与划分：按 4:1:1 分入训练/测试/验证集，测试与验证集剔除推理链与答案。
10. 验证性评测：用公开 LLM 在 50 例训练集样本上验证数据集可用性与区分度。

4.5.2 字段语义关系图

Clinical Data (DE0087752)   ← 原始输入
        │  [Task 1 临床信息提取]
        ▼
Clinical Information (DE0087755, 实体 1)
        │  [Task 2 病机推理 —— 关系 1]
        ▼
TCM Pathogenesis (DE0087756, 实体 2)  ←─ 病机推理链 DE0088288
        │  [Task 3 证候推理 —— 关系 2]
        ▼
TCM Syndrome (DE0087757, 实体 3)      ←─ 证候推理链 DE0088289
        │  [Task 4 解释性总结]
        ▼
Explanatory Summary (DE0087753)       ← 最终产出

评测钩子：病机与证候两步各配 Options（DE0087758/7959）与 Answers（DE0087760/7961），把推理固化为可自动判分的十选项多选题。

4.5.3 为什么这些字段值钱

普通病例数据集只有"输入 + 证候标签"两列；TCMEval-SDT 的增量在于中间层——Clinical Information 把非结构化病历变成要点、Pathogenesis 与 Syndrome 构成两级抽象、两条 Reasoning 链把"隐性思维"外化。这一"中间层"正是中医 AI 从"分类器"走向"推理器"所缺的训练与评测信号。

4.5.4 与知识图谱的结合点

数据集定义了三实体（Clinical Information、TCM Pathogenesis、TCM Syndrome）与两关系（信息→病机、病机→证候）。这意味着每条病例可抽取至少两组三元组：

• （临床信息集合, 病机推理, 病机）
• （病机, 证候推理, 证候）

规模化抽取后，可构建"症状—病机—证候"的中医知识图谱，用于关系抽取、路径推理、知识补全等任务。这是纯分类数据集无法提供的价值。

4.5.5 标注工具"百部知识引擎"

论文把标注工具记为"Baibu knowledge engine"（百部知识引擎）。该工具承担了专家标注的组织与结构化——把分散的病历文本导入统一界面，引导专家按字段填写并保证字段完整性。工具的具体实现与公开可访问性论文未详述，构成一处遗留疑点。

4.5.6 标注者的专业构成

标注者 = 中国中医科学院中医药信息研究所专家 + 中医基础理论研究所专家 + 高年级中医学生。这一"专家主导 + 学生辅助"的组合，与 PANDA-PLUS 等病理数据集的"学生初注 + 专家终审"流水线思路相通，都是在专家时间稀缺的约束下提升标注吞吐。

§5.5 评分协议深度推演

5.5.1 Task 1 评分示例

设某病例专家提取临床信息 A = {恶寒, 发热, 头痛, 脉浮紧}（|A|=4）。模型 B 提取 = {恶寒, 发热, 咳嗽, 脉浮紧}。则 A∩B = {恶寒, 发热, 脉浮紧}，|A∩B|=3，S_c = 3/4 = 0.75。可见：漏提"头痛"被扣分，多提"咳嗽"不扣分（因为分母只用 |A|）——这体现 Task1"宁多勿漏"的召回取向。

5.5.2 Task 2/3 评分示例

设病机答案 A = {风寒束表, 肺气失宣}（|A|=2）。十选项中，模型正确选出这两项，同时误选了干扰项"风热犯肺"。则 |A∩B|=2，误选数 |¬A∩B|=1，S_p = 2/(2+1) = 0.667。若模型只选出 1 项且无错选，则 S_p = 1/(2+1)=0.333；若选出全部 2 项且无错选，则 S_p = 2/2 = 1.0。可见该式同时惩罚漏选与错选，鼓励"又全又准"。

5.5.3 权重敏感度

Task3 权重 0.4 意味着证候推理对总分的贡献接近一半。举例：若某模型 Task3 得分（加权前归一后）比对手高 0.1，则总分高 0.04；而 Task4 高 0.1 只贡献 0.01。因此总分排名对 Task3 最敏感。论文中 Gemini 靠 Task3 领先、ChatGLM 靠 Task1/2 领先，最终 ChatGLM 胜出，说明 ChatGLM 在 Task1+Task2（合计权重 0.5）上的领先幅度，超过了 Gemini 在 Task3（权重 0.4）上的领先。

5.5.4 为什么 Task4 权重最低

解释性总结用 ROUGE-L 自动评分，与中医临床语义质量相关性弱。若赋高权重，模型分数会被"措辞是否与专家雷同"主导，偏离对辨证推理能力的考察。因此论文把 Task4 权重压到 0.1，让评测聚焦 Task1-3 的推理能力。这是用权重分配对冲指标缺陷的经典手法。

5.5.5 zero-shot 的意义

论文对四模型均用 zero-shot（不给示例）。这是公平性设计：若给示例，模型可能靠 in-context learning 获益，掩盖其真实中医知识储备。zero-shot 下的成绩更能反映模型"原生"的中医辨证能力。

5.5.6 采样 50 例的考量

从 200 训练集抽 50 例（25%）做验证，是成本与代表性的折中：跑四个模型的四任务需要大量 API 调用或人工询问，50 例在统计上尚可提供初步区分度，又控制了成本。但 50 例也意味着置信区间较宽，模型间小差距未必显著。

§7.5 模型表现横向深挖

7.5.1 为什么 ChatGLM-130B 领先 Task1/2

ChatGLM 系列由国内团队训练，中文语料占比高，对中文临床文本的术语（如"舌红苔黄"“脉弦滑”）理解可能更到位。Task1 临床信息提取本质是中文临床命名实体识别，Task2 病机推理是中文语义推断，都是中文 NLP 的强项区间，可能是 ChatGLM 领先的原因。

7.5.2 为什么 Gemini 1.5-pro 领先 Task3/4

Gemini 1.5-pro 具备较长上下文与较强推理能力，在 Task3（由病机推导证候，需要多步逻辑）与 Task4（长文本生成）上表现更好。这与 Gemini 系列强调推理与长文本的定位一致。

7.5.3 通义千问缺位的解读

通义千问被列入验证，但加权总分未在正文/图注披露。可能的原因：论文撰文时尚未完成该模型全部子任务评测、或结果未纳入最终统计。无论何因，公开材料中"只披露三模型总分"是既定事实，引用时须如实标注，不得臆测其排名。

7.5.4 总分偏低的整体解读

四模型加权总分最高仅 24.74（满分上限取决于各子任务归一方式），说明即便最强模型也远未"掌握"中医辨证。尤其 Task4 最优仅 1.4765，暴露"可解释的中医总结"几乎是当前大模型的能力盲区。这既是坏消息（模型不够强），也是好消息（基准有区分空间、有存在价值）。

7.5.5 基准的区分度

若四模型分数高度接近，基准就缺乏区分度。实测 ChatGLM 24.74 vs ChatGPT 21.48，差距约 3.26 分，说明基准能区分模型能力——这对一个评测基准而言是合格信号。

7.5.6 排行榜现状

论文未提供公开在线排行榜（leaderboard），成绩以论文表格形式发布。GitHub Results/ 有验证/测试结果文件。若未来开放排行榜，将更利于社区持续评测。

§8.5 生态对比矩阵

8.5.1 中医/传统医学 AI 数据资源对比

资源	类型	数据形态	核心任务	与本条目关系
TCMEval-SDT	评测基准	文本+推理链	四步辨证推理	本条目
TCM-SD	数据集	文本+标签	证候分类	互补（分类 vs 推理）
TCM Bench	基准	问答对	中医知识问答	互补（知识 vs 推理）
TCM-Tongue	数据集	图像	舌诊识别	互补（望诊 vs 问诊）

8.5.2 与通用医学 LLM 基准的对比

基准	领域	是否有推理链	语言
TCMEval-SDT	中医辨证	是	中文
MedQA	西医执业考试	否	英文
MultiMedQA	综合医学问答	部分	英文
CMedQA2	中文医学问答	否	中文

TCMEval-SDT 的独特定位：中医 + 显式推理链 + 中文，三者叠加使其在通用医学基准谱系中没有直接对标物。

8.5.3 跨条目互链建议

建议互链对象	依据	期望链接方向
TCM-SD	同域（中医证候），互补（分类 vs 推理）	双向
TCM-Tongue	同域（中医 AI），互补（影像 vs 文本）	双向
医学问答类条目	同标签（医学问答与基准）	单向引用
医疗 NLP 类条目	同标签（医疗NLP）	单向引用

8.5.4 生态位的长期意义

如果把"中医 AI 数据集生态"看作一条链：数据采集（舌象/脉象/文本）→ 数据标注（知识/证候/推理）→ 模型训练 → 模型评测（知识/分类/推理）。TCMEval-SDT 补上了链条末端的"推理评测"环节，使整个生态的评测闭环更完整。

§5.6 与其他推理型基准的对比

5.6.1 CoT 评测的共同挑战

任何以"思维链"为评测对象的基准都面临三个共同挑战：

1. 推理链的多样性：同一结论可有多种合理的推理路径，无法用唯一标准比对。
2. 过程的可评性：推理链是自由文本，自动化评分困难。
3. 真值的模糊性：领域专家的共识未必唯一。

TCMEval-SDT 的应对是把自由推理转化为受限选择：用十选项多选题把"推理"约束为"在候选中选择"，从而可自动评分；同时保留自由文本的推理链字段供定性分析。

5.6.2 与数学/常识 CoT 基准的差异

数学 CoT 基准（如 GSM8K）有唯一数值答案，推理链可验证；TCMEval-SDT 的证候没有唯一答案，只能以专家标注为参考。前者可判"对错"，后者只能判"接近程度"。这是中医评测的特殊难点。

5.6.3 与医学推理基准的差异

西医推理基准（如 MedQA）关注"诊断推理"但有明确金标准；TCMEval-SDT 的金标准是专家共识，且含"病机"这一中医特有的中间层。二者在评测哲学上不同。

5.6.4 方法学的可迁移性

TCMEval-SDT 的"四步拆解 + 受限选择 + 分步加权"范式可迁移到其他"过程难测"的领域：法律论证、教育解题、临床路径推理等。这是本数据集超越中医本身的价值。

§6 获取方式与许可

TCMEval-SDT 是完全公开的数据集——这是它与许多"申请制"医学数据集的显著区别，也是论文强调"publicly available"的落点。本节梳理获取路径与许可的双口径。

6.1 三层许可结构

对象	许可	说明
数据集本体	CC-BY 4.0	论文明确"the TCMEval-SDT dataset is made publicly available under the CC-BY 4.0 license"
论文（文章本体）	CC BY-NC-ND 4.0	文章版权声明；与数据集许可不同
评估代码	CC BY 4.0	GitHub 仓库 readme 标注 “CC 4.0” 并链向 creativecommons.org/licenses/by/4.0

关键提醒：文章用 CC BY-NC-ND 4.0（禁止商用、禁止演绎），但数据集本身是 CC-BY 4.0（允许商用与演绎，只需署名）。研究者若要将数据用于商业产品或二次加工，应以 CC-BY 4.0 为准，但引用论文时应遵守其非商业条款。这一"文章严、数据松"的许可组合在科学数据出版物中常见，但极易被误读，是本条目必须点明的第一存照。

6.2 figshare 数据获取

数据集托管于 figshare，DOI 为：

• 10.6084/m9.figshare.27184596.v4

中国中医科学院中医药信息研究所官方新闻稿给出的"数据网址"正是此 figshare DOI（含 .v4 版本号）。figshare 支持版本化发布，.v4 表示该数据集已迭代至第 4 版（v1→v4 为修订历史，具体每次修订内容未逐版抓取）。检索者应注意：直接搜索数据集名可能命中较早版本，锚定 .v4 才与论文引用一致。

下载内容包括三份 JSON 数据文件与配套脚本：

• Train_TCM_Data_v1.json（200 例）
• Test_TCM_Data_v1.json（50 例）
• Validation_TCM_Data_v1.json（50 例）
• generate_multiple_choice_options.py（多选题选项生成）
• evaluate.py（四任务评估）

文件版本号口径存照：figshare 包版本为 .v4，而 JSON 内容文件名为 *_v1.json（内容版本 v1）。两套编号体系并存——包版本 .v4 指 figshare 发布包的第 4 次修订，内容版本 v1 指数据内容本身的版本标签。引用时应同时说明，避免混淆。

6.3 GitHub 代码获取

评估代码开源于 GitHub：

• 仓库：github.com/zhuyan166/TCMEval
• 路径：evaluation/TCMEval-SDT/
• 目录结构：
  • data/（数据文件）
  • Results/（验证与测试结果，2025-10-27 提交）
  • evaluate.py（Task 1-4 评估）
  • generate_multiple_choice_options.py（选项生成）
  • readme.md（Usage + Licence = CC 4.0）

readme 明确：generate_multiple_choice_options.py 用于多选题选项生成，evaluate.py 用于 Task 1-4 评估。仓库在 2025-02-26、2025-09-19、2025-10-27 有多次提交，说明数据集在论文发表后仍在维护（补齐了验证集与测试集结果）。

6.4 获取路径清单

资源	地址	许可
数据集	10.6084/m9.figshare.27184596.v4	CC-BY 4.0
论文	10.1038/s41597-025-04772-9（nature.com/articles/s41597-025-04772-9）	CC BY-NC-ND 4.0
PMC 全文	PMC11906624	开放获取
PubMed	PMID 40082443	—
DOAJ	doaj.org/article/2d35bc38b2aa4f0e844e9d84d5cb7238	开放获取
代码	github.com/zhuyan166/TCMEval	CC BY 4.0

§6 读法三则：

1. 想下数据直取 figshare DOI；想复现评测取 GitHub 代码——两者许可都是 CC-BY 4.0，商用需署名。
2. 引用论文时别把数据集许可写成 CC BY-NC-ND——那是文章的许可。
3. .v4 是包版本、v1 是内容版本，两套编号不要互相替换书写。

§7 评估结果与基准表现

本节给出论文的验证实验结果，并对模型间的能力差异做解读。

7.1 验证设置

• 样本：从训练集（n=200）随机抽取 50 例。
• 提示策略：zero-shot（不提供示例）。
• 交互方式：API 调用或人工询问。
• 计分：四子任务按 ω1=0.2、ω2=0.3、ω3=0.4、ω4=0.1 加权求和。

7.2 四模型加权总分

排名	模型	加权总分
1	ChatGLM-130B	24.7378
2	Gemini 1.5-pro	23.1816
3	ChatGPT	21.4753
—	通义千问（Tongyi Qianwen）	正文未披露

总分排序：ChatGLM-130B > Gemini 1.5-pro > ChatGPT，通义千问因正文未给出总分无法定位。

7.3 分任务最优

任务	最优模型	加权得分
Task 1 临床信息提取	ChatGLM-130B	6.2112
Task 2 病机推理	ChatGLM-130B	7.98
Task 3 证候推理	Gemini 1.5-pro	9.5067
Task 4 解释性总结	Gemini 1.5-pro	1.4765

解读：

• ChatGLM-130B 强在"前两步"——临床信息提取（Task1）与病机推理（Task2）双双居首，说明它在"从文本抽取结构化信息"和"由信息到病机的第一跳推理"上表现最好，这可能与其对中文临床文本的适配有关。
• Gemini 1.5-pro 强在"后两步"——证候推理（Task3）与解释性总结（Task4）双双居首。Task3 权重最高（0.4），Gemini 在此领先是它总分离 ChatGLM 不远的重要原因。
• 总分之差的来源：ChatGLM 靠 Task1、Task2 拉开差距，Gemini 靠 Task3 追赶，最终 ChatGLM 以约 1.56 分优势居首。

7.4 分数绝对水平

值得注意：即便最高分的 ChatGLM-130B，加权总分也仅 24.74。四任务各自的满分视权重与子任务分值而定，但模型普遍在 Task4（解释性总结）得分极低（最优仅 1.4765）——说明当前大模型在"给出符合中医临床语义的解释性总结"这一任务上仍很薄弱。这从一个侧面印证了数据集的价值：它揭示了大模型在中医辨证"最后一公里"上的能力缺口。

7.5 与既有基准的对比

基准	评测对象	覆盖推理过程？
TCM Bench	中医基础知识问答	否
TCM-SD	基于病例分析的证候分类	否
TCMEval-SDT	证候诊断四步推理过程 + 解释性总结	是

论文原创性表述：既有基准"大多聚焦于回答中医基础知识问题（如 TCM Bench），或聚焦评估基于病例分析得出的证候（如 TCM-SD）……然而这些基准并不覆盖中医证候诊断的推理过程。"

7.6 论文的三大目标

论文自陈本数据集的三个目标：

1. 提供符合 FAIR 原则（可发现、可访问、可互操作、可重用）的大规模中医证候诊断数据集；
2. 建立评估指标，允许使用者评估自身模型表现；
3. 邀请使用者提交新数据，协作构建与复用中医证候诊断基准数据集。

目标 3 明确把数据集定位为社区共建的持续项目，而非一次性发布——这与 GitHub 仓库在论文发表后仍持续更新结果相呼应。

§7 读法三则：

1. 引用模型成绩时，务必标注"50 例训练集抽样、zero-shot、验证性评测"，避免被误读为正式排行榜。
2. 通义千问缺总分是公开事实，不要臆测其排名（坑 8）。
3. Task4 得分普遍极低不是数据错误，而是真实反映了自动指标下中医解释性总结的评测难度（坑 6）。

§8 生态定位与库内互链

8.1 在中医 AI 数据集版图中的位置

TCMEval-SDT 处于"中医 AI 数据资源"谱系的一个特定位置：它不提供影像（CT/MRI）、不提供舌象图像、不提供脉象信号，而是纯文本 + 推理结构。因此它在生态中与以下方向互补：

• 中医知识问答类（TCM Bench 等）：测"知不知道"；TCMEval-SDT 测"会不会推"。
• 中医证候分类类（TCM-SD 等）：测"答案对不对"；TCMEval-SDT 测"过程对不对"。
• 中医舌诊/面诊影像类（TCM-Tongue 等）：提供望诊客观化数据；TCMEval-SDT 提供问诊/辨证文本。
• 通用医疗 NLP/大模型评测类（CMedQA2、MedQA 等）：TCMEval-SDT 是其在中医专科方向的延伸。

8.2 库内可互链点

以下为千方病案医数集库内（writing/ 与 DB）中与本条目存在主题关联的条目：

库内条目	关联理由	状态
TCM-SD（writing/tcmssd）	同属中医证候诊断域；TCM-SD 做证候分类、TCMEval-SDT 做辨证推理，方向互补、可组成"分类+推理"对照	库内目录存在（空，未入库）
TCM-Tongue（writing/tcm-tongue）	同属中医 AI 数据生态；舌诊影像 + 辨证文本，可做多模态互链	库内目录存在（空，未入库）
医学问答/评测基准类条目	同属 医学问答与基准 标签；TCMEval-SDT 是中医专科基准	待主会话按 category_tags 反查 rid
医疗NLP/知识图谱类条目	同属 医疗NLP/知识图谱 标签；同为临床文本结构化	待主会话按 category_tags 反查 rid

8.3 外链生态

• 数据源：CNKI 中国知网（cnki.net）、万方数据（wanfangdata.com.cn）
• 数据托管：figshare（DOI 10.6084/m9.figshare.27184596.v4）
• 代码托管：GitHub（github.com/zhuyan166/TCMEval）
• 文献索引：Scientific Data / Nature（nature.com）、PMC（PMC11906624）、PubMed（PMID 40082443）、DOAJ
• 机构报道：中国中医科学院中医药信息研究所官网（cintcm.ac.cn）
• 资助机构：北京市自然科学基金、国家自然科学基金、中国中医科学院科技创新工程、国家中医药管理局中医师资格认证中心/全国中医药教育发展中心、中国医学科学院医学与健康科技创新工程

8.4 建议互链判定

建议主会话在发布时优先将本条目与库内 TCM-SD 系列条目建立互链（同域最紧密），其次关联舌诊类与医疗 NLP 类条目。具体 rid 需主会话以 DB url_name 反查确认后填入（本代理不写 DB、不臆造 rid）。

§8 读法三则：

1. 库内 tcmssd、tcm-tongue 目前为空目录，未被本条目撞库，但语义上它们是 TCMEval-SDT 最自然的互链对象。
2. 外链生态以"数据源（CNKI/万方）—托管（figshare/GitHub）—索引（Scientific Data/PMC/PubMed）"三层构成，引用时可分别标注。
3. 建议互链点的 rid 由主会话裁决，本条目只提供语义依据。

§7.6 分数推算演示（帮助理解加权）

为帮助检索者理解加权机制，以下用论文披露的数字做一次推算演示：

演示 1：ChatGLM-130B 的总分构成

已知 ChatGLM-130B 加权总分 = 24.7378，Task1 加权 = 6.2112，Task2 加权 = 7.98。若其 Task3、Task4 加权分别为 x3、x4，则：
6.2112 + 7.98 + x3 + x4 = 24.7378 → x3 + x4 = 10.5466

演示 2：Gemini 1.5-pro 的总分构成

已知 Gemini 加权总分 = 23.1816，Task3 加权 = 9.5067，Task4 加权 = 1.4765。若其 Task1、Task2 加权分别为 y1、y2，则：
y1 + y2 + 9.5067 + 1.4765 = 23.1816 → y1 + y2 = 12.1984

演示 3：从权重反推原始子分

Task3 权重 ω3 = 0.4，Gemini 的 Task3 加权 9.5067，则其 Task3 原始子分（0-100 或 0-10 制取决于归一方式）约为 9.5067/0.4 ≈ 23.77；Task4 权重 0.1，加权 1.4765，原始分 ≈ 14.77。可见即便"最优"的 Task4 原始分也仅十几分（百分制下），印证模型在解释性总结上的薄弱。

说明：以上推算基于论文披露的加权得分与 Fig. 5 图注权重，用于演示加权逻辑；具体归一方式（满分口径）以论文原始公式为准，本条目不对未披露的原始分做断言。

7.6.1 从推算得到的观察

• ChatGLM 的 Task3+Task4 合计加权 10.55，高于 Gemini 的同项合计（10.98 中 Task3+4 = 10.98）相近——差异主要来自 Task1/2。
• 两模型总分差 1.56，主要源于 ChatGLM 在 Task1（6.21）与 Task2（7.98）的领先。

7.6.2 排名的稳健性提醒

上述分数为单次 zero-shot 采样结果，模型间 1-3 分差距未做显著性检验。引用排名时建议标注"单次采样、未检验显著性"。

§2.5 数据采集与处理流程详解

2.5.1 三源采集的具体路径

论文图 1 展示了从采集到评测的完整工作流。三源采集的路径分别是：

• 互联网文献源：以 CNKI（中国知网）与万方数据为主。这两大库收录大量中医期刊论文与病例报告，论文从中提取含完整辨证过程的案例。
• 古籍源：从古典中医医案（如历代名医医案集）中提取病例，这类文本承载传统辨证叙述，语言古朴、术语规范。
• 医院病历源：从医疗机构获取真实住院/门诊病历，这类文本信息完整、有检验与随访，但格式多样。

2.5.2 清洗与匿名化

入库前的预处理三步：

1. 数据清洗：去除 OCR 噪声、格式错位、无关页眉页脚，统一字段。
2. 匿名化：移除姓名、身份证号、联系方式、精确住址等可识别信息，保障隐私合规。
3. 去重：检测并移除重复病例（同一病例被多个来源转载的情况）。

2.5.3 纳入排除标准

从预处理后的病例池中筛选 300 例。论文举例的纳入倾向是"非罕见病例"（non-rare cases）——即优先纳入临床常见病证，保证对主流模型评测的代表性。排除标准则通过 CARE 量表执行（<6 分排除）。

2.5.4 为什么三源混采有价值也有代价

价值：三源互补覆盖了"文献案例（规范）、古籍（传统）、医院病历（真实）"三种真实场景，使数据集能反映中医文本的多样风貌。
代价：来源异质性导致语言风格与信息密度不一，且论文未标注每条的来源，使用者无法分层分析（见 §9.2）。

§3.6 与其他病例数据集的差异

3.6.1 与西医病例数据集对比

西医病例数据集（如 MIMIC 系列的一部分）通常以结构化字段（检验值、诊断码、用药）为主，目标是预测（如死亡率、再入院）。TCMEval-SDT 则以非结构化中医文本 + 推理链为主，目标是评测辨证思维。二者的数据形态与任务目标根本不同。

3.6.2 与中医医案数据库对比

传统中医医案库（如中华医典、各类医案集）提供原始文本，但不提供结构化的四步推理与多选题钩子。TCMEval-SDT 的增量在于把医案加工成可评测的样本——这是"数据库"与"评测基准"的区别。

3.6.3 与通用 NLP 推理数据集对比

通用推理数据集（如 CoT 类）多聚焦数学、常识推理；TCMEval-SDT 把 CoT 范式引入中医专科推理，是领域适配的一次实践。

§4.6 JSON 数据实操指南

4.6.1 文件清单与获取

从 figshare（DOI 10.6084/m9.figshare.27184596.v4）下载后，数据包内含：

Train_TCM_Data_v1.json         # 200 例，含推理链与答案
Test_TCM_Data_v1.json          # 50 例，不含推理链与答案
Validation_TCM_Data_v1.json    # 50 例，不含推理链与答案
generate_multiple_choice_options.py
evaluate.py

4.6.2 读取建议

• 评测 Task1-3：用训练集（唯一含 *_Reasoning 与 Answers 的划分）。
• 正式评测：用测试集（但需自备推理链答案或仅评客观子任务）。
• 复现论文：从训练集随机抽 50 例，zero-shot 跑四任务。

4.6.3 评估脚本用法

evaluate.py 覆盖 Task 1-4；generate_multiple_choice_options.py 用于生成多选题选项。run 流程：准备模型输出 → 按字段对齐 → 调 evaluate.py 计算各子任务得分 → 按权重加权。

4.6.4 字段对齐注意

13 字段带 Metadata ID，评测时须按 ID 或字段名严格对齐，避免错位。尤其 Options of TCM Pathogenesis（7958）与 Answers of TCM Pathogenesis（7960）是配套关系，混淆会导致评分错误。

4.6.5 常见解析陷阱

• JSON 中文字符编码：确保 UTF-8 读取，避免乱码。
• 推理链字段可能为多行文本，解析时勿按单行处理。
• 训练集与测试集字段数不同（前者多推理链与答案），统一解析代码须兼容。

§6.6 全文与元数据获取实操

6.6.1 论文获取

论文开放获取，路径：

• Nature 官方页：nature.com/articles/s41597-025-04772-9（PDF 可直接下载）
• PMC：PMC11906624（HTML 全文，反爬时 curl 带 User-Agent）
• PubMed：PMID 40082443（摘要 + 图注）

6.6.2 数据集获取

• figshare DOI：10.6084/m9.figshare.27184596.v4
• 页面提供 Download all（打包下载）与逐文件下载
• 无需注册、无申请门槛

6.6.3 代码获取

• GitHub：github.com/zhuyan166/TCMEval
• 可 git clone 或用 Web 界面下载
• 许可 CC BY 4.0

6.6.4 引用格式

• 数据：Wang Z, Hao M, Peng S, et al. TCMEval-SDT [Data set]. figshare. https://doi.org/10.6084/m9.figshare.27184596.v4
• 论文：Wang Z, Hao M, Peng S, et al. TCMEval-SDT: a benchmark dataset for syndrome differentiation thought of traditional Chinese medicine. Sci Data. 2025;12:437. doi:10.1038/s41597-025-04772-9

§9.5 使用建议与最佳实践

9.5.1 对评测者

• 报告成绩时明确标注"zero-shot / 训练集抽样 / 子任务权重"，保证可比性。
• 分任务报告，不要只报加权总分——因为不同模型强项不同（ChatGLM 强前段、Gemini 强后段）。
• Task4 分数谨慎解读（ROUGE-L 局限）。

9.5.2 对模型开发者

• 若做中医大模型，建议把 Task1-3 作为核心指标，Task4 作为辅助。
• 关注"病机→证候"这一跳（Task3，权重 0.4），它是辨证的落点。
• 注意测试集不含推理链答案，正式评测需自行处理答案缺失问题。

9.5.3 对数据扩展者

• 论文目标 3 欢迎提交新数据；扩展时应保持 13 字段体系与 CARE 量表口径。
• 补足稀缺子类（气血津液 4 例、外感病 13 例）是优先方向。
• 建议为每条标注来源标签，弥补当前无法分层分析的短板。

9.5.4 对知识图谱研究者

• 可直接抽取"信息→病机→证候"三元组，构建中医辨证知识图谱。
• 推理链字段可用于训练关系抽取模型。

9.5.5 引用与引用偏差提醒

• 数据许可（CC-BY 4.0）与论文许可（CC BY-NC-ND 4.0）不同，商用须注意。
• 通义千问无总分，引用排名时勿臆造。
• 模型名以正文图注 ChatGLM-130B 为准。

§12.5 数据字典速查

12.5.1 ICD-11 TM1 六类中英对照

英文	中文	病例数
Organ system disorders (TM1)	脏腑系统疾患	123
Other body system disorders (TM1)	其他身体系统疾患	96
Childhood and adolescence associated disorders (TM1)	儿童青少年相关疾患	39
Mental and emotional disorders (TM1)	精神情志疾患	25
External contraction disorders (TM1)	外感病	13
Qi, blood and fluid disorders (TM1)	气血津液疾患	4

12.5.2 四权重与满分口径

任务	权重	评分公式	指标
Task1	0.2		A∩B
Task2	0.3		A∩B
Task3	0.4		A∩B
Task4	0.1	ROUGE-L	文本重叠

12.5.3 模型成绩速查

模型	总分	Task1	Task2	Task3	Task4
ChatGLM-130B	24.7378	6.2112*	7.98*	—	—
Gemini 1.5-pro	23.1816	—	—	9.5067*	1.4765*
ChatGPT	21.4753	—	—	—	—
通义千问	未披露	—	—	—	—

（带 * 者为该子任务最优；"—"表示一手来源未披露该项数值。）

12.5.4 关键 ID 速查

项	值
论文 DOI	10.1038/s41597-025-04772-9
数据 DOI	10.6084/m9.figshare.27184596.v4
PMID	40082443
PMC	PMC11906624
代码仓	github.com/zhuyan166/TCMEval
slug	tcmeval-sdt

§13.5 术语首现索引

为便于检索者定位术语首次出现的英文对照，本小节汇总全文术语首现位置（章节号）：

术语	英文	首现章节
辨证论治	Bianzheng Lunzhi	§0
证候	syndrome	§0
病机	pathogenesis	§0
临床信息提取	Clinical Information Extraction	§0 / §4
病机推理	Pathogenesis Reasoning	§4
证候推理	Syndrome Reasoning	§4
解释性总结	Explanatory Summary	§4
思维链	Chain-of-Thought (CoT)	§4
四诊	four diagnostic methods	§3
CARE 指南	CAse REport guidelines	§3
FAIR 原则	Findable, Accessible, Interoperable, Reusable	§3
ICD-11 TM1	ICD-11 Traditional Medicine Chapter 1	§3
十选项多选题	ten-option multiple choice	§4
ROUGE-L	ROUGE-L	§5
zero-shot	zero-shot prompting	§5
百部知识引擎	Baibu knowledge engine	§4
数据资产成熟度评分	DAIMS	§11

§9 局限、争议与使用注意事项

任何数据集都有边界，TCMEval-SDT 也不例外。本节汇总论文自陈与使用中需要注意的局限。

9.1 规模与代表性

300 例的总量在评测基准中属中等偏小。对比通用医学问答基准动辄数千上万题，300 例意味着：(1) 子类统计力弱——气血津液类仅 4 例，任何针对该子类的结论都近乎无统计意义；(2) 难以支持微调式研究——200 例训练集不足以训练稳健的中医辨证模型，更适合 zero-shot/few-shot 评测；(3) 论文自身也把"进一步扩大数据集规模、提高数据多样性"列为未来工作。

9.2 来源异质性

数据来自互联网（CNKI/万方）、古籍、医院病历三源，三类文本的详略程度、语言风格、信息完整度差异显著。虽然都过了 CARE 量表筛选（≥6 分），但论文未在 JSON 中标注每条病例的具体来源，使用者无法按来源分层分析。这既是数据工程上的简化，也是一处可改进点。

9.3 推理链仅训练集公开

测试集与验证集不含 *_Reasoning 及其答案，这保护了评测有效性，但也意味着：过程评测（Task2/Task3）无法在测试/验证集上复现。研究者若想评测自己的模型在推理步骤上的表现，只能用训练集 200 例——与论文自身的验证实验（用训练集抽 50 例）处境相同。

9.4 评估指标的局限

• Task4 用 ROUGE-L：ROUGE-L 基于最长公共子序列，对语义等价但措辞不同的中医总结会严重低估。论文将其权重设为最低（0.1），部分缓解了该问题，但 Task4 得分普遍极低（最优仅 1.4765）主要反映的是指标与任务的错配，而非模型能力全貌。
• 多选题评分：S = |A∩B|/(|A|+|¬A∩B|) 惩罚漏选与错选，但未区分"错选一个"与"错选五个"的严重程度差异（分母线性累加，惩罚幅度取决于错选数量，这部分是合理的，但不区分错项的重要性）。
• zero-shot 单次采样：未做多次采样、未做温度敏感性分析，模型间 1-2 分的差距是否稳健未经检验。

9.5 验证不完整

验证覆盖四个模型，但通义千问的加权总分在正文与图注中均未披露，导致无法给出完整四模型排名。此外仅四模型不足以构成有代表性的横评。

9.6 客观化信息缺失

数据集纯文本，不含舌象图像、脉象信号、面色图像等客观化四诊数据。中医四诊"望闻问切"中，本数据集主要承载"问"与"切"的文本描述，对"望"的信息未结构化为可计算字段——这限制了向多模态中医 AI 的迁移。

9.7 引用与版本注意

• 引用数据集请用 figshare DOI .v4；引用论文用 Scientific Data DOI。
• 数据文件名 *_v1.json 与包版本 .v4 是两套编号，勿混。
• 模型命名以论文正文图注「ChatGLM-130B」为准（新闻稿写「GLM-130B」，同物）。

§9 存照清单（双口径冲突逐条）：

序	冲突点	口径 A	口径 B	采信
1	模型命名	新闻稿「GLM-130B」	正文图注「ChatGLM-130B」	采 ChatGLM-130B，注别名
2	数据版本号	figshare 包 .v4	JSON 文件名 *_v1.json	两者并存，各表其意
3	任务权重数值	正文公式 4/5（数值缺失）	Fig. 5 图注（ω 值完整）	采图注
4	许可	文章 CC BY-NC-ND 4.0	数据集 CC-BY 4.0	分别标注
5	通义千问总分	验证涉四模型	总分仅三模型披露	如实记"未披露"

9.8 遗留疑点

• 通义千问在四子任务上的具体得分与加权总分：一手来源（正文、图注）均未披露。
• figshare .v4 相对早期版本的具体修订内容：未逐版抓取。
• 「百部知识引擎」的公开可访问性与产品形态：未核。
• 数据集包内文件的精确字节数与文件总数：未逐项抓取（受网络预算约束）。

§10 方法学启示与延伸阅读

10.1 对评测设计的启示

TCMEval-SDT 最具迁移价值的方法学是把"过程"而非"结果"作为评测对象。这一思想可推广到任何"推理链条长、答案可猜"的领域：与其只判最终答案对错，不如把中间推理步骤显式化、结构化、可评分。四步拆解 + 十选项多选题 + 分步加权，是这套思想的完整实现。

10.2 对数据质量把关的启示

CARE 量表 10 子项、0-1 分、≥6 分纳入——这套"采集阶段就把质量门槛前置"的做法，比在标注后再清洗更省成本，也更容易复现。对任何构建病例类数据集的项目都有参考价值。

10.3 对中医 AI 的启示

四模型加权总分最高仅 24.74，说明当前大模型离"像中医师一样辨证"尚有明显距离，尤其"解释性总结"一环近乎空白。这既揭示了差距，也指出了方向：中医 AI 的下一步不应止于"答对证候标签"，而应追求"可解释的辨证推理"。

10.4 延伸阅读

• 论文原文：Wang Z, Hao M, Peng S, et al. Sci Data 12, 437 (2025). doi:10.1038/s41597-025-04772-9
• PMC 全文：PMC11906624
• 数据集：figshare 10.6084/m9.figshare.27184596.v4
• 代码：github.com/zhuyan166/TCMEval
• 相关基准：TCM-SD（证候分类）、TCM Bench（知识问答）
• 方法学参照：CARE 指南（病例报告撰写规范）

§10 读法三则：

1. 想复现论文实验，从 GitHub evaluate.py + 训练集 200 例抽 50 例开始。
2. 想扩展数据集，注意论文目标 3 明确欢迎社区提交数据。
3. 想借鉴方法学，重点看"四步拆解 + 分步加权 + CARE 量表"三点。

§6.5 使用坑点清单（坑 1 - 坑 10）

坑 1：把 “SDT” 当成普通缩写
“SDT” = Syndrome Differentiation Thought（辨证思维），不是 “Standard”、不是 “Software Development Toolkit”。检索时若按通用缩写理解会跑偏。数据集全名强调"思维过程"，这是它区别于证候分类基准的标志。

坑 2：以为测试集也有推理链和答案
测试集（Test_TCM_Data_v1.json，50 例）与验证集不含 pathogenesis/syndrome reasoning 及正确答案选项——只有训练集有。若想复现 Task2/Task3 的过程评测，只能用训练集。这是最易踩的坑。

坑 3：任务权重在正文里找不到
论文正文文本层未完整渲染公式 4/5 的 ω 数值，仅在 Fig. 5 图注给出 ω1=0.2、ω2=0.3、ω3=0.4、ω4=0.1。查权重请直接看图注，不要以为正文缺失就是没权重。

坑 4：把数据集许可写成文章的许可
文章用 CC BY-NC-ND 4.0，数据集用 CC-BY 4.0。两者不同：数据集允许商用（署名即可），文章禁止商用与演绎。混写会导致许可声明错误。

坑 5：忽略 ICD-11 分布的不均衡
气血津液类仅 4 例、外感病仅 13 例。做子类对比时若不看分布，会得到方差极大的不可靠结论。

坑 6：把 Task4 低分解读为"数据坏了"
Task4（解释性总结）用 ROUGE-L，最优模型也仅 1.4765——这主要反映自动指标与中医语义的错配，不是数据错误。引用时不可据此断言"模型完全不能总结"。

坑 7：把 .v4 和 v1 当同一个版本号
figshare 包版本是 .v4，而 JSON 内容文件名叫 *_v1.json。两套编号体系，勿互换书写。

坑 8：以为验证了五个模型
验证涉四模型：ChatGLM-130B、Gemini 1.5-pro、ChatGPT、通义千问。新闻稿的"GLM-130B"即正文的"ChatGLM-130B"（同物异名）。且通义千问的加权总分未披露，不要臆造。

坑 9：把"百部知识引擎"当成公开产品去搜
百部知识引擎（Baibu knowledge engine）是论文提到的标注工具名称，其公开可访问性未核。检索时若找不到不要断定为笔误。

坑 10：混淆 TCMEval-SDT 与 TCM-SD / TCM-Tongue
TCM-SD 是证候分类数据集、TCM-Tongue 是舌诊数据集，三者不同实体。TCMEval-SDT 的独特之处是四步推理过程。库内 writing/ 下有 tcmssd、tcm-tongue 目录，勿与 tcmeval-sdt 混为一谈（本条目已查重确认不撞库）。

§11 DAIMS 数据成熟度评估

DAIMS（Data Asset Maturity & Impact Scoring，数据资产成熟度与影响力评分）从多个维度评估数据集成熟度。以下为本条目对 TCMEval-SDT 的评估（评分 1-5 分制，5 为最优）：

维度	评估	评分	依据
可发现性 Discovery	强	5	有 DOI、PMID、PMC、DOAJ 多索引；官方新闻稿与论文双宣传
可访问性 Access	强	5	figshare 公开直链 + GitHub 公开代码，无申请门槛
许可清晰度 Licensing	中	4	数据 CC-BY 4.0 清晰，但文章与数据许可不同，易误读
文档完备度 Documentation	强	4	论文含字段表、量表、流程图；代码仓有 readme，但缺字段级 JSON schema 说明
数据质量 Quality	中	3	有 CARE 量表筛选与专家标注，但样本小、来源异质、子类不均
标注规范 Annotations	强	4	13 字段元数据带注册 ID、四步推理链、十选项多选题，标注体系完整
可复现性 Reproducibility	中	3	评估脚本公开，但推理链仅训练集公开、验证为单次采样
互操作性 Interoperability	中	3	有实体-关系规范（Table 3/4），但 JSON 字段未见正式 schema/本体绑定
可维护性 Maintenance	中	3	GitHub 有后续提交（补齐结果），但无正式版本管理声明
影响力 Impact	中	3	Scientific Data 发表、IF 5.8/Q1、多基金支持，但 2025 年新发、引用积累尚浅
公平性/代表性 Fairness	中	3	覆盖 ICD-11 六类，但气血津液/外感病样本稀缺，代表性不均衡
总量化得分	—	40/55≈3.6	成熟度中等偏上：许可与获取成熟，规模与代表性待提升

DAIMS 综合评述：TCMEval-SDT 在"可发现、可访问、文档、标注规范"四项表现突出（4-5 分），说明其工程规范度高；在"数据质量、可复现性、互操作性、可维护性、影响力、公平性"六项处于中位（3 分），反映其作为 2025 年新发、中等规模数据集的特征。总分 3.6/5 属"成熟可用、仍有提升空间"一档。对使用者而言，最大价值在于方法论创新（过程评测）与规范化标注，最大限制在于规模与代表性。

§12 常见问答（FAQ 补充）

Q11：TCMEval-SDT 能用商用吗？
数据集是 CC-BY 4.0，可以商用（需署名）。但论文本体是 CC BY-NC-ND 4.0，不可商用。二者需分别看待。

Q12：数据集支持中文吗？
数据本身是中文中医文本，标注字段名用英文。评测时模型需处理中文临床文本。

Q13：怎么下载？需要注册吗？
figshare DOI 直接访问下载，无需注册、无申请门槛。

Q14：数据量够微调吗？
200 例训练集偏小，更适合 zero-shot/few-shot 评测而非从零微调。论文的验证实验也是 zero-shot。

Q15：除了评测还能怎么用？
可用于：(1) 中医知识图谱/关系抽取（实体-关系已定义）；(2) 临床文本结构化（信息提取）；(3) CoT 推理研究；(4) 中医 NLI/总结生成研究。

Q16：测试集的结果在哪？
GitHub Results/ 目录（2025-10-27 提交）含验证集与测试集结果，可供对标。

Q17：为什么叫 “benchmark dataset” 而不是普通 dataset？
因为它不仅提供数据，还提供评测协议（四任务 + 评分公式 + 权重），符合"基准"定义。

Q18：和西医的证候诊断基准能对比吗？
不能直接对比——中医辨证的对象、术语体系与西医诊断不同，TCMEval-SDT 是中医专科基准。

Q19：ICD-11 的 TM1 是什么？
TM1 是 ICD-11 的"传统医学章 1"，专门编码传统医学（含中医）的病证分类。TCMEval-SDT 用它统计疾病谱。

Q20：数据集更新了吗？
GitHub 仓库在论文发表后仍有提交（补齐结果），说明在维护。figshare 已迭代至 .v4。

§13 事实清单与术语表

13.1 核心事实清单

事实	值
全称	TCMEval-SDT: a benchmark dataset for syndrome differentiation thought of traditional Chinese medicine
中文名	中医辨证思维测评数据集
类型	基准数据集（benchmark dataset）+ 评测协议
论文	Scientific Data 12, 437 (2025)
论文 DOI	10.1038/s41597-025-04772-9
数据 DOI	10.6084/m9.figshare.27184596.v4
PMID	40082443
PMC ID	PMC11906624
通讯作者	Xiaolin Yang；Yan Zhu
主要机构	中国中医科学院中医药信息研究所；中国医学科学院基础医学研究所/北京协和医学院
病例数	300
划分	训练 200 / 测试 50 / 验证 50（4:1:1）
数据源	CNKI、万方数据、中医古籍、医院病历
四步流程	临床信息提取 → 病机推理 → 证候推理 → 解释性总结
元数据字段	13（DE0087751-DE0087761）
数据许可	CC-BY 4.0
论文许可	CC BY-NC-ND 4.0
代码许可	CC BY 4.0
代码仓	github.com/zhuyan166/TCMEval
任务权重	ω1=0.2、ω2=0.3、ω3=0.4、ω4=0.1
最优模型	ChatGLM-130B（总分 24.7378）
临床信息提取最优	ChatGLM-130B（6.2112）
病机推理最优	ChatGLM-130B（7.98）
证候推理最优	Gemini 1.5-pro（9.5067）
解释性总结最优	Gemini 1.5-pro（1.4765）
评测模型数	4
质量量表	CARE 衍生 10 子项，≥6 分纳入

13.2 术语表

术语	英文	释义
辨证论治	Bianzheng Lunzhi / Syndrome Differentiation and Treatment	中医核心诊疗方法：先辨明证候再确立治法
证候	syndrome	一组有内在联系的症状、体征的病理概括
病机	pathogenesis	疾病发生、发展、变化的机理
四诊	four diagnostic methods	望、闻、问、切
临床信息	clinical information	从患者资料中提取的结构化临床要点
解释性总结	explanatory summary	中医师对病例的经验性总结
思维链	Chain-of-Thought (CoT)	让模型显式输出中间推理步骤的方法
ICD-11 TM1	ICD-11 Traditional Medicine Chapter 1	国际疾病分类第十一版的传统医学章
CARE 指南	CAse REport guidelines	国际病例报告撰写规范
十选项多选题	ten-option multiple choice	病机/证候推理的评测题型
ROUGE-L	Recall-Oriented Understudy for Gisting Evaluation (LCS)	基于最长公共子序列的文本重叠指标
FAIR 原则	Findable, Accessible, Interoperable, Reusable	科学数据管理四原则
DAIMS	Data Asset Maturity & Impact Scoring	数据资产成熟度与影响力评分
zero-shot	zero-shot prompting	不给示例直接让模型作答的提示方式

§14 附录：来源与核验记录

14.1 一手来源列表

#	来源	URL	用途
1	Scientific Data 论文页	https://www.nature.com/articles/s41597-025-04772-9	论文元数据、摘要
2	PMC 全文	https://pmc.ncbi.nlm.nih.gov/articles/PMC11906624/	规模、四步、字段、评估、机构
3	PubMed	https://pubmed.ncbi.nlm.nih.gov/40082443/	摘要、验证结果、图注权重
4	中国中医科学院中医药信息研究所新闻稿	http://www.cintcm.ac.cn/news.thtml?id=10538	中文名称、数据 DOI .v4、资助信息
5	DOAJ	https://doaj.org/article/2d35bc38b2aa4f0e844e9d84d5cb7238	开放获取确认
6	figshare 数据 DOI	https://doi.org/10.6084/m9.figshare.27184596.v4	数据获取与许可
7	GitHub 代码仓	https://github.com/zhuyan166/TCMEval/tree/main/evaluation/TCMEval-SDT	代码结构、readme、许可

14.2 核验方法

• 三源互证：期刊官网（Nature/PMC/PubMed）+ 数据托管（figshare）+ 代码仓（GitHub）三源交叉核对，核心数字（300/200/50/50、四步、四权重、四模型总分）一致性验证。
• 中文口径核验：以中国中医科学院官方新闻稿校正中文名称、数据版本号（.v4）与资助清单。
• 查重：DB url_name ILIKE 三种写法 + dedup_gate.py + ls writing/，确认无同物撞库。

14.3 遗留疑点（未核项）

1. 通义千问的加权总分与分任务得分——一手来源均未披露。
2. figshare .v4 各版本修订内容——未逐版抓取。
3. 百部知识引擎的公开可访问性——未核。
4. 数据集包内文件精确字节数——未逐项抓取。

---

条目元信息

• slug：tcmeval-sdt
• 写作代理：agent-b-tcmevalsdt
• 事实档案：writing/tcmeval-sdt/FACTS.md（九节，2026-10-14）
• 抓取时点：2026-10-14
• 许可：数据集 CC-BY 4.0｜论文 CC BY-NC-ND 4.0｜代码 CC BY 4.0
• 欢迎在千方病案医数集平台按 tcmeval-sdt 检索本条目与相关数据集

§11.5 DAIMS 维度补充说明

11.5.1 评分依据详解

维度	为何给此分
可发现性 5	DOI + PMID + PMC + DOAJ + 官方新闻稿，多通道可发现
可访问性 5	无门槛公开下载，代码开源
许可清晰度 4	数据许可清晰，但文章/数据许可不同易误读，扣 1 分
文档完备度 4	论文文档充分，但缺正式 JSON schema，扣 1 分
数据质量 3	有 CARE 筛选，但规模小、来源异质、子类不均
标注规范 4	13 字段带 ID、推理链、多选题，但未见本体绑定
可复现性 3	代码公开，但推理链仅在训练集、单次采样
互操作性 3	有实体-关系规范，但未见标准本体映射
可维护性 3	GitHub 有更新，但无正式版本策略
影响力 3	期刊优质，但新发、引用积累浅
公平性 3	覆盖六类但分布不均

11.5.2 提升路径

若要在各维度提升，建议：

• 数据质量 → 4：扩大规模、标注来源、平衡子类。
• 可复现性 → 4：开放测试集答案（或提供离线评测服务）、增加多次采样。
• 互操作性 → 4：把 13 字段绑定到公开本体（如 TCM 本体、SNOMED-CT 中医映射）。
• 公平性 → 4：补足外感病、气血津液、情志病样本。

11.5.3 DAIMS 评分的局限

DAIMS 是主观框架，不同评估者对同一数据集可能给出不同分数。本表分数为依据论文公开信息的合理判断，非官方评分，供检索者参考。

§14.4 引用与脚注

14.4.1 权威引用（数据）

Wang Z, Hao M, Peng S, Huang Y, Lu Y, Yao K, Yang X, Zhu Y. TCMEval-SDT: a benchmark dataset for syndrome differentiation thought of traditional Chinese medicine [Data set]. figshare. 2024. https://doi.org/10.6084/m9.figshare.27184596.v4 (CC-BY 4.0)

14.4.2 权威引用（论文）

Wang Z, Hao M, Peng S, et al. TCMEval-SDT: a benchmark dataset for syndrome differentiation thought of traditional Chinese medicine. Sci Data. 2025 Mar 13;12:437. doi:10.1038/s41597-025-04772-9. PMID: 40082443; PMCID: PMC11906624.

14.4.3 代码引用

TCMEval evaluation code. GitHub. https://github.com/zhuyan166/TCMEval/tree/main/evaluation/TCMEval-SDT (CC BY 4.0)

14.4.4 机构报道引用

中国中医科学院中医药信息研究所. 中国中医科学院中医药信息研究所在《Scientific Data》发表大模型中医辨证思维测评数据集成果. cintcm.ac.cn/news.thtml?id=10538

14.4.5 脚注约定

• 本条目所有数字均以论文正文、表格、图注与官方新闻稿为准。
• 双口径冲突处（模型命名、版本号、权重、许可、通义千问分数）已在 §9 存照表逐条列出。
• 示意性内容（§4.7）已明确标注"非原样引用"。
• 未核项已在 §9.8 与 §14.3 列出，供后续补充。

14.4.6 本条目核验声明

本条目由写作代理 agent-b-tcmevalsdt 依据三源互证（Scientific Data 官方页/PMC/PubMed + figshare 数据 DOI + GitHub 代码仓）撰写，抓取时点 2026-10-14，事实档案见 writing/tcmeval-sdt/FACTS.md。所有硬数字可回溯至一手来源，遗留疑点已如实标注。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• loinc — 共享标签：医疗NLP / 知识图谱 / 电子健康记录 / 临床文本
• aci-bench — 共享标签：医疗NLP / 医学问答与基准 / 电子健康记录 / 临床文本
• disc-med-sft — 共享标签：医疗NLP / 医学问答与基准 / 知识图谱 / 临床文本
• mimic-ext-synnotes — 共享标签：医疗NLP / 医学问答与基准 / 电子健康记录 / 临床文本
• medsynth — 共享标签：医疗NLP / 医学问答与基准 / 电子健康记录 / 临床文本
• ehr-reasoncon — 共享标签：医疗NLP / 医学问答与基准 / 电子健康记录 / 临床文本
• rarebench — 共享标签：医学问答与基准 / 知识图谱 / 电子健康记录 / 临床文本
• snomed-ct — 共享标签：医疗NLP / 知识图谱 / 临床文本
• mednli — 共享标签：医疗NLP / 医学问答与基准 / 电子健康记录 / 临床文本
• er-reason — 共享标签：医疗NLP / 医学问答与基准 / 电子健康记录 / 临床文本

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。