Name: MedQA: A Large-Scale Open Domain Question Answering Dataset from Medical Exams
Creator: MIT Computer Science and Artificial Intelligence Laboratory & Huazhong University of Science and Technology
License: MIT License

信息速览

数据集名称MedQA

数据类型6.1 万道多语言选择题， 18 本医学教科书语料

规模61,097 道医学考试题

接入方式MIT CSAIL & 华中科技大学 https://github.com/jind11/MedQA

AI 就绪度

INFOBOX


数据集名称	MedQA
英文全称	MedQA: What Disease Does This Patient Have? A Large-Scale Open Domain Question Answering Dataset from Medical Exams
别名 / 简称	MedQA、MedQA-USMLE、MedQA-4options、MedQA-5options、jind11/MedQA
疾病分类	全科覆盖。核心映射：内科学（心血管 CA4x / 呼吸 CA40 / 消化 DA9x / 内分泌 5A0x）/ 外科学（NC6x 骨科 / ND6x 神经外科）/ 妇产科学（JA6x 妊娠相关）/ 儿科学（KA6x 新生儿 / KB6x 儿童感染）/ 神经科学（8A0x 脑血管病 / 8B0x 神经退行性）/ 精神病学（6A0x 焦虑障碍 / 6B0x 抑郁障碍）
SNOMED CT	22298006 Myocardial infarction / 233604007 Pneumonia / 73211009 Diabetes mellitus / 363346000 Malignant neoplastic disease / 84757009 Epilepsy / 44054006 Type 2 diabetes mellitus 等 15 类映射（详见 §2.2）
数据模态	文本（医学考试选择题 + 教科书语料库）
AI 任务类型	选择题问答、开放域问答、检索增强问答、思维链推理、跨语言医疗 NLP
样本总数	61,097 道选择题（英文 USMLE 12,723 + 简中 MCMLE 34,251 + 繁中 TWMLE 14,123）+ 18 本医学教科书（约 1,270 万 tokens）
数据大小	~250 MB（含全部三语言子集 + 教科书语料）
数据格式	JSON（问题）/ TXT（教科书语料）/ CSV（HuggingFace 版）
许可证	MIT License
访问级别	开放
DUO 标签	NRES
语言	英文 / 简体中文 / 繁体中文
首发日期	2020-09-28（arXiv 预印本 arXiv:2009.13081）
最后更新	2021-07-13（Applied Sciences 期刊正式发表）
发布机构	MIT Computer Science and Artificial Intelligence Laboratory（MIT CSAIL）& 华中科技大学（HUST）
官方主页	https://github.com/jind11/MedQA
下载地址	https://github.com/jind11/MedQA（官方仓库）/ https://huggingface.co/datasets/bigbio/med_qa（HuggingFace BigBio 版）/ https://huggingface.co/datasets/mathewhe/medqa（HuggingFace 精排版）
DOI	10.3390/app11146421
引用次数	1,400+（Google Scholar，截至 2026-08）
AI 就绪度评分	⭐⭐⭐⭐（4/5）— 官方 train/dev/test 划分（英文子集）+ 标准答案金标准 + 配套教科书语料库 + HuggingFace 多版本加载；扣分项：中文子集无官方划分、4 选项 vs 5 选项版本混用易混淆
页面状态	published

§0 E-E-A-T 信任声明与免责声明

字段	内容
医学审核者	[千方病案医学编辑部]交叉审核：§2 医学背景（ICD-11 映射、三考试体系对比、临床任务定义）、§7 偏倚分析
数据工程审核者	[千方病案医学编辑部]交叉审核：§4 DAIMS 数据字典、§5 数据划分策略、§6 预处理 Pipeline 和坑点
审核日期	2026-08-04
审核方式	交叉审核
利益冲突声明	本页面由千方病案医数集团队撰写，与 MedQA 数据集原始作者（MIT CSAIL / HUST）无商业关联。千方病案医数集为独立数据集百科平台，不代理或转售 MedQA 数据集。

医疗免责声明：本页面提供的医学信息仅供研究和教育目的，不构成医疗建议、诊断或治疗方案。数据集的医学描述基于公开发表的文献，未经逐一临床验证。任何基于该数据集训练的 AI 模型在应用于临床决策前，必须经过独立的临床验证和监管审批。

技术免责声明：本页面的代码示例、预处理建议和基准性能数据基于公开资料整理，不保证在特定环境下的准确性和适用性。使用者应自行验证代码安全性和数据预处理流程的正确性。千方病案医数集不对因使用本页面信息而导致的任何直接或间接损失承担责任。

数据使用合规：使用本页面描述的数据集前，请务必阅读并遵守数据集原始许可协议。MedQA 采用 MIT License，允许商业和非商业研究使用。DUO 标签仅供参考，具体使用限制以数据集官方协议为准。

§1 数据集概览（Overview）

§1.0 30 秒速览（Executive Summary）

MedQA 是 MIT CSAIL 与华中科技大学于 2020 年发布的大规模多语言医学执照考试问答数据集，包含 61,097 道选择题，覆盖英文 USMLE（12,723 题）、简体中文 MCMLE（34,251 题）和繁体中文 TWMLE（14,123 题），配套 18 本权威医学教科书（约 1,270 万 tokens）作为知识检索源。

它的独特价值在于首次将三个不同医疗体系的执照考试题统一为一个开放域问答基准——每道题都是一个临床推理挑战，需要整合病史、检查、实验室结果和专业知识才能选出正确答案。这使 MedQA 成为评估 LLM 医疗专业知识深度和思维链推理能力的标杆，GPT-5 在 USMLE 子集上已达 96.82% 准确率。

你可以用它来：评估 LLM 在医学执照考试级别的知识和推理能力、研究检索增强问答（RAG）如何利用教科书语料提升医学 QA 准确率、或者对比同一模型在英/中两种语言医疗考试中的跨语言表现差异。

§1.1 摘要

MedQA 由 Di Jin、Eileen Pan 等人在 2020 年 arXiv 预印本中首次发布（2021 年正式发表于 Applied Sciences），是首个从专业医学执照考试构建的大规模多语言开放域选择题问答数据集。数据采集自三大医学执照考试体系：美国 USMLE（United States Medical Licensing Examination）、中国大陆 MCMLE（National Medical Licensing Examination）和中国台湾 TWMLE（Taiwan Medical Licensing Examination），合计 61,097 道选择题。英文 USMLE 子集提供 4 选项（论文标准格式）和 5 选项（原始格式）两种版本，并包含官方 train/dev/test 三分划分（10,178/1,272/1,273）。中文子集保留原始 5 选项格式但无官方划分。配套的 18 本英文医学教科书（涵盖解剖学 Gray’‘’‘’‘’‘’‘’‘’‘’‘s Anatomy、内科学 Harrison’‘’‘’‘’‘’‘’‘’‘’'s Principles、病理学 Robbins 等经典教材）经文本预处理后构建为约 1,270 万 tokens 的检索语料库，支持检索增强问答研究。每道题均附带官方考试标准答案作为金标准，无需人工标注。

§1.2 战略价值分析

维度一：LLM 医疗能力评估的事实标准

MedQA（尤其是 USMLE 英文子集）已成为衡量大语言模型医疗专业知识的"高考"。从 Google Med-PaLM（67.6%）到 Med-PaLM 2（86.5%），再到 GPT-4（86.1%）、GPT-5（96.82%），几乎所有顶级 LLM 的医疗能力演进轨迹都以 MedQA 准确率作为核心标尺。Google 在 Nature Medicine 发表的 Med-PaLM 2 论文中将 MedQA 作为 MultiMedQA 基准的核心组成部分，进一步巩固了其"LLM 医疗能力基准"的地位。这种事实标准地位意味着：任何声称具备医疗能力的 LLM，如果不报告 MedQA 成绩，在学术界和产业界都缺乏说服力。

维度二：思维链推理的天然试炼场

USMLE 题目中 98% 为临床情景题（clinical vignettes），要求考生整合患者病史、体格检查、实验室结果和影像学发现进行多步推理。这种"多跳推理"特性使 MedQA 成为思维链（Chain-of-Thought, CoT）提示技术的理想评测平台。研究表明，零样本 CoT 可将准确率提升 8-15 个百分点，而自洽性（Self-Consistency）集成策略进一步提升 5-8 个点。MedQA 的题目难度梯度（Step 1 基础医学 / Step 2&3 临床应用）也为研究推理深度的分层评估提供了天然结构。

维度三：跨语言医疗 NLP 的桥梁

MedQA 是极少数同时覆盖英文和中文（简体+繁体）的高质量医学考试数据集。虽然三种语言的题目并非平行翻译（而是独立来源于各自考试体系），但它们在医学知识域上的高度重叠为跨语言迁移学习、多语言医疗 LLM 训练和跨文化医疗 AI 研究提供了独特资源。中文子集（MCMLE 34,251 + TWMLE 14,123 = 48,374 题）的规模甚至超过英文子集，为中文医疗 NLP 社区提供了宝贵的基准数据。

§1.3 与同类数据集横向对比

数据集	样本量	语言	选项数	标注方式	配套语料	核心差异化
MedQA	61,097	英/简中/繁中	4 或 5	官方考试答案	18 本教科书（1,270 万 tokens）	三语言 + 教科书检索语料 + 官方划分
MedMCQA	194,000+	英文	4	医学院考试答案	无	规模更大，印度医学考试体系
PubMedQA	273,300	英文	N/A（Yes/No/Maybe）	专家标注 + 自动生成	PubMed 摘要	文献推理型问答，非考试题
MMLU（Clinical）	~3,000	英文	4	多来源汇编	无	通用 LLM 评测子集，非纯医学
CMExam	136,898	简体中文	5	中国医师资格考试答案	无	纯中文，规模更大，无配套语料
HeadQA	3,350	西班牙语/英语	5	医学院入学考试	无	西班牙语医疗 NLP

§1.4 版本演进时间轴

时间	事件
2020-09-28	arXiv 预印本发布（arXiv:2009.13081），首次公开 MedQA 数据集
2021-07-13	正式发表于 Applied Sciences（DOI: 10.3390/app11146421），内容与预印本一致
2022	HuggingFace BigBio 版本上线（`bigbio/med_qa`），提供标准化加载接口
2023	HuggingFace 精排版上线（`mathewhe/medqa`），支持 4 选项/5 选项配置选择
2023-03	Google Med-PaLM 在 MedQA 上达到 67.6%，首次超越人类通过线（60%）
2023-05	Google Med-PaLM 2 在 MedQA 上达到 86.5%，接近专家水平
2024-05	GPT-4o 在 MedQA 上达到 87.67%
2025-08	GPT-5 在 MedQA 上达到 96.82%，接近满分

§1.5 典型 AI 应用场景

LLM 医疗能力基准评测：使用 USMLE 4 选项子集测试 LLM 的医学知识和临床推理准确率，与排行榜对标
思维链推理研究：对比零样本 CoT、少样本 CoT、自洽性集成等提示策略在医学考试题上的效果
检索增强问答（RAG）：利用 18 本教科书语料库构建检索器，研究"开卷考试"是否能提升 LLM 医学问答准确率
跨语言医疗 NLP：对比同一模型在英文 USMLE 和中文 MCMLE 上的表现差异，研究跨语言迁移策略
医学教育 AI：训练 AI 辅助医学考试备考系统，自动解析错题并提供知识薄弱点诊断

§2 医学背景（Medical Context）

§2.1 ICD-11 疾病映射

MedQA 作为全科医学考试数据集，覆盖 ICD-11 主要章节的核心疾病。以下为高频考点映射：

ICD-11 编码	疾病名称	在 MedQA 中的典型题型
BA41	急性心肌梗死	临床情景题：胸痛患者心电图 ST 段抬高 + 肌钙蛋白升高 → 诊断与治疗选择
CA40.0	肺炎	临床情景题：发热 + 咳嗽 + 胸片浸润影 → 病原体判断与抗生素选择
5A11	1 型糖尿病	临床情景题：多饮多尿 + 酮症酸中毒 → 胰岛素方案制定
5A12	2 型糖尿病	临床情景题：肥胖 + 糖化血红蛋白升高 → 口服降糖药选择
2A00.Z	恶性肿瘤（泛指）	病理分期题：TNM 分期 → 治疗方案选择
8A01	缺血性脑卒中	临床情景题：突发偏瘫 + CT 排除出血 → tPA 溶栓时间窗判断
8B02	阿尔茨海默病	诊断题：进行性记忆减退 + 认知评估 → 鉴别诊断
6A70	广泛性焦虑障碍	精神科题：过度担心 + 躯体症状 → 药物选择（SSRI vs 苯二氮䓬）
6B00	单次发作抑郁障碍	精神科题：情绪低落 + 兴趣丧失 → 抗抑郁药选择
4A40	慢性肾脏病	肾内科题：eGFR 下降 + 蛋白尿 → 分期与转诊决策
DA40	胃食管反流病	消化内科题：烧心 + 反酸 → PPI 试验性治疗
DB98.Z	肝硬化	消化内科题：慢性乙肝 + 腹水 + 食管静脉曲张 → 并发症预防
KA6Y	新生儿黄疸	儿科题：出生后 48 小时黄疸 + 胆红素值 → 光疗指征判断
JA6Y	妊娠期高血压	产科题：孕 32 周 + 血压升高 + 蛋白尿 → 子痫前期分级
NC6x	骨折（泛指）	骨科题：外伤 + X 线表现 → 固定方式选择

§2.1b SNOMED CT 映射

数据集考点	ICD-11	SNOMED CT	SNOMED CT 术语
急性心肌梗死	BA41	22298006	Acute myocardial infarction (disorder)
肺炎	CA40.0	233604007	Pneumonia (disorder)
1 型糖尿病	5A11	46635009	Diabetes mellitus type 1 (disorder)
2 型糖尿病	5A12	44054006	Diabetes mellitus type 2 (disorder)
缺血性脑卒中	8A01	432504007	Cerebral infarction (disorder)
阿尔茨海默病	8B02	26929004	Alzheimer’‘’‘’‘’‘’‘’‘’‘’'s disease (disorder)
广泛性焦虑障碍	6A70	48694002	Anxiety disorder (disorder)
抑郁障碍	6B00	35489007	Depressive disorder (disorder)
慢性肾脏病	4A40	73700009	Chronic renal insufficiency (disorder)
胃食管反流病	DA40	235595009	Gastroesophageal reflux disease (disorder)
肝硬化	DB98.Z	19943007	Cirrhosis of liver (disorder)
新生儿黄疸	KA6Y	422093003	Neonatal jaundice (disorder)
妊娠期高血压	JA6Y	48194004	Pre-eclampsia (disorder)
癫痫	8A05	84757009	Epilepsy (disorder)
恶性肿瘤（泛指）	2A00.Z	363346000	Malignant neoplastic disease (disorder)

§2.2 疾病简介与流行病学

MedQA 覆盖全科医学考试内容，不针对单一疾病。其题目分布反映了三大医学执照考试的知识权重：

内科学（约 35-40%）：心血管、呼吸、消化、内分泌、肾脏、血液
外科学（约 20-25%）：普外、骨科、神经外科、泌尿外科
妇产科学（约 10-12%）：产科并发症、妇科肿瘤、生殖内分泌
儿科学（约 8-10%）：新生儿、感染性疾病、发育异常
神经科学（约 8-10%）：脑血管病、神经退行性疾病、癫痫
精神病学（约 5-8%）：情感障碍、焦虑障碍、物质使用障碍
其他（约 5-10%）：药理学基础、预防医学、医学伦理

§2.3 临床任务定义

MedQA 题目涉及以下临床任务类型：

任务类型	在 MedQA 中的表现形式	占比估计
诊断推理	根据临床情景（病史+体检+实验室+影像）选择最可能诊断	~40%
治疗决策	已知诊断 → 选择最佳治疗方案（药物/手术/保守）	~25%
病理机制	已知疾病 → 选择发病机制或病理特征	~15%
药理学	药物作用机制 / 不良反应 / 药物相互作用	~10%
检查解读	心电图 / 胸片 / 实验室结果解读 → 诊断	~5%
流行病学/预防	筛查指征 / 预防策略 / 疫苗接种	~5%

§2.4 患者人群特征

MedQA 中的"患者"为考试题目中的虚构临床情景，非真实患者数据：

维度	特征
数据来源	USMLE（美国）/ MCMLE（中国大陆）/ TWMLE（中国台湾）三大医学执照考试公开题目
采集时间	原始考试题目覆盖约 2010-2020 年代医学知识
年龄分布	覆盖全生命周期（新生儿 → 老年），但考试题偏向成人（18-65 岁）和老年（65+）场景
性别比例	题目中虚构患者男女比例大致均衡，但特定疾病情景有性别偏向（如产科仅女性）
地域分布	USMLE 题目反映美国临床实践；MCMLE 反映中国大陆指南；TWMLE 反映中国台湾指南
就医类型	以住院和门诊情景为主，含少量急诊场景

§2.5 临床意义

医学执照考试是评估医学生是否具备独立行医能力的核心门槛。USMLE Step 1（基础医学）和 Step 2 CK（临床知识）的通过率通常在 95% 左右（美国医学毕业生），但高分通过需要深度理解和综合推理。MedQA 将这些考试题转化为 AI 评测基准，其临床意义在于：如果 AI 能在 MedQA 上达到或超过人类医师水平，说明其在医学知识存储和临床推理方面已具备执业医师的理论基础。然而，考试能力 ≠ 临床能力——真实临床中的不确定性、患者沟通、多病共存和系统层面因素远比标准化考试复杂。

§2.6 金标准

数据划分	标注方式	标注者	金标准性质
Train（英文）	官方考试标准答案	考试命题委员会	参考标准（官方答案，部分题目存在争议）
Dev（英文）	官方考试标准答案	考试命题委员会	参考标准
Test（英文）	官方考试标准答案	考试命题委员会	参考标准
全部（简中）	官方考试标准答案	MCMLE 命题委员会	参考标准（无官方划分）
全部（繁中）	官方考试标准答案	TWMLE 命题委员会	参考标准（无官方划分）

注：所有答案均为各考试体系的官方标准答案，无人工重新标注。部分 USMLE 题目在医学界存在合理争议（约 1-3%），但这些争议不影响 AI 评测的有效性。

§3 数据集规格（Specifications）

§3.0 版本抉择矩阵

你的需求	推荐版本	大小	理由
复现 LLM 排行榜成绩	USMLE 4 选项（`ph_split` 目录）	~30 MB	论文标准格式，与 GPT-5/Med-PaLM 2 等排行榜对标
评估原始 5 选项难度	USMLE 5 选项（`5_options` 目录）	~35 MB	保留原始格式，难度更高（随机基线 20% vs 25%）
中文医疗 NLP 研究	MCMLE 简中版	~80 MB	34,251 题，规模最大，适配中文医疗 LLM 评测
跨语言迁移研究	全语言版（三子集合并）	~150 MB	同时覆盖英/简中/繁中，可研究跨语言一致性
检索增强问答（RAG）	USMLE 4 选项 + 教科书语料	~250 MB	18 本教科书作为知识库，研究"开卷考试"效果
HuggingFace 一键加载	`mathewhe/medqa`	~110 MB	精排版，支持 `load_dataset("mathewhe/medqa", "en")`

§3.1 模态详细说明

MedQA 为纯文本数据集，包含两种文本模态：

考试题目（Questions）：结构化 JSON 格式，每条记录包含题目文本、选项（4 或 5 个）、正确答案索引、元信息（考试 Step、学科领域）
教科书语料（Textbook Corpus）：18 本英文医学教科书的纯文本文件，作为检索增强问答的知识源

§3.2 样本数明细

语言子集	考试来源	选项数	Train	Dev	Test	总计
英文（USMLE）	美国	4	10,178	1,272	1,273	12,723
英文（USMLE）	美国	5	10,178	1,272	1,273	12,723
简体中文（MCMLE）	中国大陆	5	—	—	—	34,251
繁体中文（TWMLE）	中国台湾	5	—	—	—	14,123
合计（去重）	—	—	—	—	—	61,097

注：英文 4 选项和 5 选项版本为同一批题目的不同选项格式，不重复计数。中文子集无官方 train/dev/test 划分，需使用者自行分割。

§3.3 数据格式

文件类型	格式	说明
问题文件（官方）	JSON	`{"question_id": "...", "question": "...", "answer_a": "...", ..., "answer_idx": "A", "meta_info": "step1"}`
问题文件（HuggingFace）	Arrow/Parquet	`load_dataset("mathewhe/medqa", "en")` → `{question, answer, answer_idx, A, B, C, D, meta_info, language}`
教科书语料	TXT	每本教材一个 `.txt` 文件，纯文本（已去除排版标记）
元信息	JSON	`meta_info` 字段标注考试 Step（step1/step2&3）

§3.4 存储大小

版本	压缩后	解压后
仅英文 USMLE 4 选项	~15 MB	~30 MB
英文 + 教科书语料	~100 MB	~200 MB
全语言版（含教科书）	~150 MB	~250 MB
HuggingFace Arrow 格式	~110 MB	~110 MB

§3.5 标注方式

MedQA 无人工标注过程——所有答案标签直接来自各考试体系的官方标准答案。数据构建流程如下：

┌─────────────────────────────────────────────────────────────────┐
│                    MedQA 数据构建流程                            │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  ┌──────────────┐   ┌──────────────┐   ┌──────────────┐        │
│  │  USMLE 题库   │   │  MCMLE 题库   │   │  TWMLE 题库   │        │
│  │  (美国)       │   │  (中国大陆)   │   │  (中国台湾)   │        │
│  └──────┬───────┘   └──────┬───────┘   └──────┬───────┘        │
│         │                  │                  │                 │
│         ▼                  ▼                  ▼                 │
│  ┌──────────────────────────────────────────────────┐          │
│  │           数据清洗与标准化                          │          │
│  │  • 去重（跨年份重复题目）                           │          │
│  │  • 格式统一（JSON schema）                         │          │
│  │  • 选项打乱（英文版）                               │          │
│  │  • 5→4 选项缩减（英文版：移除最少选的干扰项）         │          │
│  └──────────────────────┬───────────────────────────┘          │
│                         │                                       │
│                         ▼                                       │
│  ┌──────────────────────────────────────────────────┐          │
│  │           划分与发布                                │          │
│  │  • 英文：官方 train/dev/test = 80/10/10            │          │
│  │  • 中文：无官方划分                                 │          │
│  │  • GitHub + HuggingFace 发布                       │          │
│  └──────────────────────┬───────────────────────────┘          │
│                         │                                       │
│                         ▼                                       │
│  ┌──────────────────────────────────────────────────┐          │
│  │     教科书语料库构建（仅英文）                       │          │
│  │  • 18 本医学教材 → 纯文本提取                       │          │
│  │  • 约 1,270 万 tokens                              │          │
│  │  • 用于检索增强问答                                 │          │
│  └──────────────────────────────────────────────────┘          │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

§3.6 标注者信息

标注角色	人数	资质	一致性检验
官方考试命题委员会	多人	各国医学考试专家	N/A（官方标准答案，非研究标注）
数据清洗与格式化	6 人	论文作者（MIT CSAIL & HUST 研究人员）	内部审核，无公开 IAA 报告

§3.7 采集时间

原始考试题目覆盖约 2010-2020 年代的医学知识。数据集本身于 2020 年 9 月首次发布，2021 年 7 月正式发表。数据集发布后未再更新——这意味着 2020 年后的新医学知识（如 COVID-19 相关指南更新）不在覆盖范围内。

§3.8 地域覆盖

考试体系	地域	临床指南依据	药品监管
USMLE	美国	美国临床指南（AHA / ADA / IDSA 等）	FDA 批准药品
MCMLE	中国大陆	中国临床指南（中华医学会各分会）	NMPA 批准药品
TWMLE	中国台湾	中国台湾临床指南	TFDA 批准药品

§3.9 配套教科书规格

18 本英文医学教科书列表：

编号	书名	学科	来源
1	Gray’‘’‘’‘’‘’‘’‘’‘’'s Anatomy	解剖学	Henry Gray
2	Lippincott’‘’‘’‘’‘’‘’‘’‘’'s Illustrated Reviews: Biochemistry	生物化学	Lippincott
3	Molecular Biology of the Cell (Alberts)	细胞生物学	Garland Science
4	First Aid for the USMLE Step 1	综合复习	McGraw-Hill
5	First Aid for the USMLE Step 2	综合复习	McGraw-Hill
6	Novak’‘’‘’‘’‘’‘’‘’‘’'s Gynecology	妇科学	Lippincott
7	Ross’‘’‘’‘’‘’‘’‘’‘’'s Histology	组织学	Lippincott
8	Janeway’‘’‘’‘’‘’‘’‘’‘’'s Immunobiology	免疫学	Garland Science
9	Harrison’‘’‘’‘’‘’‘’‘’‘’'s Principles of Internal Medicine	内科学	McGraw-Hill
10	Adams and Victor’‘’‘’‘’‘’‘’‘’‘’'s Principles of Neurology	神经病学	McGraw-Hill
11	Williams Obstetrics	产科学	McGraw-Hill
12	Robbins Pathologic Basis of Disease	病理学	Elsevier
13	Pathoma (Husain)	病理学	Husain
14	Nelson Textbook of Pediatrics	儿科学	Elsevier
15	Katzung’‘’‘’‘’‘’‘’‘’‘’'s Basic & Clinical Pharmacology	药理学	McGraw-Hill
16	Levy’‘’‘’‘’‘’‘’‘’‘’'s Principles of Physiology	生理学	McGraw-Hill
17	DSM-5	精神病学	American Psychiatric Publishing
18	Schwartz’‘’‘’‘’‘’‘’‘’‘’'s Principles of Surgery	外科学	McGraw-Hill

§3.10 深度溯源链

数据源头                    中间处理                      最终产物
──────────────────────────────────────────────────────────────────
USMLE 官方公开题库
    │
    ├─→ PDF/HTML 提取 ──→ 文本清洗 ──→ JSON 标准化
    │                   (去HTML标签)   (统一字段)
    │                                  │
    │                                  ├─→ 5选项版 (原始)
    │                                  │
    │                                  └─→ 4选项版 (移除最少选干扰项)
    │                                         │
    │                                         └─→ train/dev/test 划分
    │                                              (80/10/10 随机)
    │
MCMLE 公开题库 ──→ 文本提取 ──→ JSON 标准化 ──→ 简中版 (5选项)
    │
TWMLE 公开题库 ──→ 文本提取 ──→ JSON 标准化 ──→ 繁中版 (5选项)
    │
18本医学教材 (PDF/EPUB)
    │
    └─→ 文本提取 ──→ 章节分割 ──→ 纯文本 .txt ──→ 检索语料库
         (去除排版)   (按章切分)   (约1,270万tokens)

溯源完整度：从原始考试题目到最终 JSON 文件的每一步转换均有记录，原始论文提供了详细的数据处理流程。教科书语料的来源为公开出版物，无版权争议（MIT License 覆盖数据集本身，教科书内容版权归原作者）。

§4 数据结构详解（Data Schema）

§4.0 目录结构预览

MedQA/
├── data_clean/
│   ├── questions/
│   │   ├── US/                          # 英文 USMLE
│   │   │   ├── 4_options/
│   │   │   │   ├── ph_split/            # 论文标准划分
│   │   │   │   │   ├── train.jsonl      # 10,178 题
│   │   │   │   │   ├── dev.jsonl        # 1,272 题
│   │   │   │   │   └── test.jsonl       # 1,273 题
│   │   │   │   └── 5_options/
│   │   │   │       ├── train.jsonl
│   │   │   │       ├── dev.jsonl
│   │   │   │       └── test.jsonl
│   │   │   └── test_5_option.jsonl      # 5选项测试集
│   │   ├── MAINLAND/                    # 简中 MCMLE
│   │   │   └── all.jsonl                # 34,251 题（无划分）
│   │   └── TAIWAN/                      # 繁中 TWMLE
│   │       └── all.jsonl                # 14,123 题（无划分）
│   └── textbooks/
│       └── en/                          # 英文教科书语料
│           ├── Anatomy_Gray.txt
│           ├── Biochemistry_Lippincott.txt
│           ├── Cell_Biology_Alberts.txt
│           ├── First_Aid_Step1.txt
│           ├── First_Aid_Step2.txt
│           ├── Gynecology_Novak.txt
│           ├── Histology_Ross.txt
│           ├── Immunology_Janeway.txt
│           ├── InternalMed_Harrison.txt
│           ├── Neurology_Adams.txt
│           ├── Obstentrics_Williams.txt
│           ├── Pathology_Robbins.txt
│           ├── Pathoma_Husain.txt
│           ├── Pediatrics_Nelson.txt
│           ├── Pharmacology_Katzung.txt
│           ├── Physiology_Levy.txt
│           ├── Psichiatry_DSM-5.txt
│           └── Surgery_Schwartz.txt
├── data_random_split/                   # 随机划分版（非论文标准）
│   └── ...
├── README.md
└── LICENSE

§4.1 DAIMS 标准化字段描述表

字段名	数据类型	说明	示例值	AI 用途	观测误差	信息性缺失编码	取值范围
`question_id`	string	题目唯一标识	`"1"`	索引去重	无	N/A	任意字符串
`question`	string	题目文本（含临床情景）	`"A 23-year-old pregnant woman..."`	LLM 输入	无	N/A	10-2000 字符
`answer_a`	string	选项 A 文本	`"Ampicillin"`	LLM 候选答案	无	N/A	1-500 字符
`answer_b`	string	选项 B 文本	`"Ceftriaxone"`	LLM 候选答案	无	N/A	1-500 字符
`answer_c`	string	选项 C 文本	`"Doxycycline"`	LLM 候选答案	无	N/A	1-500 字符
`answer_d`	string	选项 D 文本	`"Nitrofurantoin"`	LLM 候选答案	无	N/A	1-500 字符
`answer_e`	string	选项 E 文本（仅 5 选项版）	`"Fosfomycin"`	LLM 候选答案	无	4 选项版中缺失	1-500 字符
`answer_idx`	string	正确答案字母	`"D"`	金标准标签	无	N/A	A/B/C/D（4选项）或 A/B/C/D/E（5选项）
`meta_info`	string	元信息（考试 Step）	`"step2&3"`	分层评估	无	N/A	`step1` / `step2&3`
`split`	string	数据划分（仅英文版）	`"train"`	分割标识	无	中文版中缺失	`train` / `dev` / `test`

§4.2 标签分布

英文 USMLE 4 选项版——答案分布（test 集，1,273 题）：

答案选项	数量	占比
A	318	25.0%
B	321	25.2%
C	312	24.5%
D	322	25.3%

注：英文版的选项顺序经过打乱（randomized），因此答案分布近似均匀。中文版的选项顺序保留原始考试顺序，可能存在位置偏倚。

英文 USMLE 4 选项版——Step 分布：

考试 Step	Train	Dev	Test	总计	占比
Step 1（基础医学）	5,687	710	712	7,109	55.8%
Step 2&3（临床应用）	4,491	562	561	5,614	44.2%

§4.3 关键统计

统计项	英文 USMLE	简中 MCMLE	繁中 TWMLE
题目数量	12,723	34,251	14,123
平均题长（词数）	~120	~90	~95
平均选项长度（词数）	~3-5	~4-8	~4-8
选项数	4 或 5	5	5
官方划分	✅	❌	❌
教科书语料	✅（18 本）	❌	❌

§4.4 数据层级关系

数据集根
├── 语言子集（英/简中/繁中）
│   ├── 选项格式（4选项/5选项）  ← 仅英文
│   │   ├── train.jsonl
│   │   ├── dev.jsonl
│   │   └── test.jsonl
│   └── 全量（无划分）  ← 中文
│       └── all.jsonl
└── 教科书语料库（仅英文）
    └── 18本教材 .txt 文件

§4.5 缺失值情况

字段	缺失情况	原因
`answer_e`	4 选项版中全部缺失	设计如此（5→4 选项缩减）
`split`	中文子集中全部缺失	无官方划分
`meta_info`	部分题目缺失 Step 信息	原始数据未提供
教科书语料	中文子集无配套教科书	仅英文有教科书语料

信息性缺失说明：answer_e 的缺失为设计性缺失（4 选项版有意移除第 5 选项），非数据质量问题。split 的缺失为原始发布的设计选择，使用者需自行划分中文子集。

§5 数据划分与使用建议（Splits & Usage）

§5.1 官方划分

仅英文 USMLE 子集提供官方划分：

划分	题目数	占比	用途
Train	10,178	80.0%	模型训练 / 少样本示例
Dev	1,272	10.0%	超参调优 / 早停
Test	1,273	10.0%	最终评测（排行榜对标）

§5.2 划分策略

英文子集采用随机划分（80/10/10），按 Step 分层抽样确保 train/dev/test 中 Step 1 和 Step 2&3 的比例一致。划分使用固定随机种子保证可复现。

§5.3 中文子集自行划分建议

对于 MCMLE（34,251 题）和 TWMLE（14,123 题），建议按以下策略划分：

from sklearn.model_selection import train_test_split

# MCMLE: 80/10/10
train, temp = train_test_split(data, test_size=0.2, random_state=42)
dev, test = train_test_split(temp, test_size=0.5, random_state=42)

§5.4 数据泄漏风险

风险类型	严重程度	说明
跨语言泄漏	低	三语言子集题目非平行翻译，无直接泄漏
跨年份重复	中	同一考试不同年份可能有相似题目，去重可能不完整
LLM 预训练污染	高	⚠️ USMLE 题目可能在 LLM 预训练语料中出现（见 §6.5 坑点 1）

§5.5 交叉验证建议

对于英文子集，由于 test 集仅 1,273 题，建议在报告结果时：

使用官方 test 集作为主要结果
在 dev 集上做 5-fold 交叉验证作为辅助
报告 95% 置信区间（Wilson interval）

§5.6 外部验证

建议在 MedMCQA、MMLU Clinical、CMExam 等同类数据集上做外部验证，评估模型泛化能力。

§6 AI 就绪指南（AI-Ready Guide）

§6.0 云端快速启动

🚀 5 分钟极速体验：可通过 Google Colab 免费运行以下代码示例。无需 GPU 即可进行零样本 LLM 评测（通过 API 调用）；如需本地推理，建议使用 8GB+ 显存 GPU。

§6.1 快速上手

# ========================================
# MedQA 快速上手 — HuggingFace datasets 版
# 环境要求: datasets>=2.0, transformers>=4.30
#
# ⚠️ 目录结构预期：
#   本示例使用 HuggingFace 在线加载，无需手动下载。
#   如需离线使用，请从 GitHub 下载并解压至 ./data/ 目录：
#   ./data/
#   ├── data_clean/questions/US/4_options/ph_split/
#   │   ├── train.jsonl
#   │   ├── dev.jsonl
#   │   └── test.jsonl
#   └── data_clean/textbooks/en/*.txt
#
#   JSONL 中每行一个 JSON 对象，字段：
#   question, answer_a/b/c/d, answer_idx, meta_info
# ========================================

from datasets import load_dataset

# 方式 1：加载 HuggingFace 精排版（推荐）
# 支持 4 选项 (en) 和 5 选项 (en_5)
dataset = load_dataset("mathewhe/medqa", "en")
print(f"Train: {len(dataset[''''''''''''''''train''''''''''''''''])}")
print(f"Dev:   {len(dataset[''''''''''''''''validation''''''''''''''''])}")
print(f"Test:  {len(dataset[''''''''''''''''test''''''''''''''''])}")

# 查看第一条样例
sample = dataset[''''''''''''''''test''''''''''''''''][0]
print(f"\n问题: {sample[''''''''''''''''question''''''''''''''''][:200]}...")
print(f"选项 A: {sample[''''''''''''''''A'''''''''''''''']}")
print(f"选项 B: {sample[''''''''''''''''B'''''''''''''''']}")
print(f"选项 C: {sample[''''''''''''''''C'''''''''''''''']}")
print(f"选项 D: {sample[''''''''''''''''D'''''''''''''''']}")
print(f"正确答案: {sample[''''''''''''''''answer_idx'''''''''''''''']}")
print(f"Meta: {sample[''''''''''''''''meta_info'''''''''''''''']}")

# 方式 2：加载 BigBio 版（含三语言）
# dataset = load_dataset("bigbio/med_qa", "med_qa_source")

§6.2 数据获取

来源	链接	格式	大小	适用场景
GitHub 官方仓库	https://github.com/jind11/MedQA	JSONL + TXT	~250 MB	全量下载，含教科书
HuggingFace 精排版	`load_dataset("mathewhe/medqa", "en")`	Arrow	~110 MB	一键加载，4/5 选项可选
HuggingFace BigBio 版	`load_dataset("bigbio/med_qa")`	Arrow	~150 MB	三语言全覆盖
ModelScope	https://modelscope.cn/datasets/AI-ModelScope/med_qa	—	—	国内镜像

# 命令行下载官方仓库
git clone https://github.com/jind11/MedQA.git
cd MedQA/data_clean/questions/US/4_options/ph_split
wc -l train.jsonl dev.jsonl test.jsonl
#  10178 train.jsonl
#   1272 dev.jsonl
#   1273 test.jsonl

§6.3 预处理 Pipeline

import json

def load_medqa_jsonl(filepath):
    """加载 MedQA JSONL 格式数据"""
    data = []
    with open(filepath, ''''''''''''''''r'''''''''''''''', encoding=''''''''''''''''utf-8'''''''''''''''') as f:
        for line in f:
            data.append(json.loads(line))
    return data

def format_for_llm(question, options, answer_idx=None):
    """
    将 MedQA 题目格式化为 LLM prompt
    
    Args:
        question: 题目文本
        options: dict, e.g. {"A": "...", "B": "...", "C": "...", "D": "..."}
        answer_idx: 正确答案字母（训练时提供，推理时为 None）
    """
    prompt = f"Question: {question}\n\n"
    for key in sorted(options.keys()):
        prompt += f"{key}. {options[key]}\n"
    prompt += "\nAnswer:"
    
    if answer_idx:
        prompt += f" {answer_idx}"
    return prompt

def format_for_cot(question, options):
    """
    格式化为思维链（Chain-of-Thought）提示
    """
    prompt = f"Question: {question}\n\n"
    for key in sorted(options.keys()):
        prompt += f"{key}. {options[key]}\n"
    prompt += "\nLet''''''''''''''''s think step by step.\n"
    prompt += "1. First, let''''''''''''''''s identify the key clinical findings.\n"
    prompt += "2. Then, consider the differential diagnosis.\n"
    prompt += "3. Finally, select the most likely answer.\n\nAnswer:"
    return prompt

# 加载数据
train_data = load_medqa_jsonl("data/medqa/train.jsonl")
test_data = load_medqa_jsonl("data/medqa/test.jsonl")

# 格式化示例
sample = test_data[0]
optionevent-blocked= {
    "A": sample["answer_a"],
    "B": sample["answer_b"],
    "C": sample["answer_c"],
    "D": sample["answer_d"],
}
print(format_for_llm(sample["question"], options, sample["answer_idx"]))

§6.4 框架加载（PyTorch Dataset）

import torch
from torch.utils.data import Dataset, DataLoader
import json

class MedQADataset(Dataset):
    """PyTorch Dataset for MedQA"""
    
    def __init__(self, jsonl_path, tokenizer=None, max_length=512, is_train=True):
        self.data = []
        with open(jsonl_path, ''''''''''''''''r'''''''''''''''', encoding=''''''''''''''''utf-8'''''''''''''''') as f:
            for line in f:
                self.data.append(json.loads(line))
        self.tokenizer = tokenizer
        self.max_length = max_length
        self.is_train = is_train
        self.optionevent-blocked= ["answer_a", "answer_b", "answer_c", "answer_d"]
        self.label_map = {"A": 0, "B": 1, "C": 2, "D": 3}
    
    def __len__(self):
        return len(self.data)
    
    def __getitem__(self, idx):
        item = self.data[idx]
        question = item["question"]
        optionevent-blocked= [item[k] for k in self.option_keys]
        answer_idx = self.label_map[item["answer_idx"]]
        
        # 格式化为 "Question + Option" 文本
        texts = [f"{question} {opt}" for opt in options]
        
        if self.tokenizer:
            # 用于多选模型的编码（如将 4 个选项分别编码）
            encoded = self.tokenizer(
                texts,
                padding="max_length",
                truncation=True,
                max_length=self.max_length,
                return_tensors="pt",
            )
            return {
                "input_ids": encoded["input_ids"],
                "attention_mask": encoded["attention_mask"],
                "labels": torch.tensor(answer_idx),
                "meta_info": item.get("meta_info", ""),
            }
        else:
            return {
                "question": question,
                "options": options,
                "answer_idx": answer_idx,
                "meta_info": item.get("meta_info", ""),
            }

# 使用示例
# dataset = MedQADataset("data/medqa/test.jsonl")
# dataloader = DataLoader(dataset, batch_size=16, shuffle=False)
# for batch in dataloader:
#     print(batch["question"][0][:100])
#     break

§6.5 常见坑点

⚠️ 坑点 1：LLM 预训练数据污染（分类：数据泄漏）

问题：USMLE 题目广泛流传于互联网，极大概率已被包含在 GPT-4、Claude、Gemini 等模型的预训练语料中。这导致排行榜上的高分可能部分归因于"见过答案"而非真正的医学推理能力。

症状：模型在 test 集上的准确率远超同等难度的新题（如自建私有题集）；模型在 few-shot 和 zero-shot 之间差异极小（说明已"记住"答案）。

解决：

构建私有 held-out 题集（从不在公开数据集中的近期考试题或自编题中选取）

使用 MedQA 的 meta_info 字段对比 Step 1 vs Step 2&3 表现，推理型题目的 CoT 增益应显著大于记忆型

参考 EquityMedQA 对抗集评估模型对题目变体（改写/反事实）的鲁棒性

报告结果时声明"可能存在预训练污染"

参考：

Singhal et al. (2023), Nature. “Large language models encode clinical knowledge.” — 讨论 MultiMedQA 评估局限

EquityMedQA: Wornow et al. (2023)

⚠️ 坑点 2：4 选项 vs 5 选项版本混用（分类：评估误用）

问题：英文 USMLE 子集有 4 选项（论文标准）和 5 选项（原始格式）两种版本。随机基线分别为 25% 和 20%。如果模型 A 用 4 选项评测得到 85%，模型 B 用 5 选项评测得到 82%，不能直接比较 A 优于 B。

症状：同一模型在两个版本上的准确率差异约 3-6%（4 选项版更高），并非模型能力变化。

解决：

始终明确标注使用的版本（4 或 5 选项）

对标排行榜时确认对标模型使用的版本

在论文中统一使用一个版本（推荐 4 选项版，与主流排行榜一致）

参考：Jin et al. (2021), Applied Sciences. §2.3 讨论了选项缩减策略。

⚠️ 坑点 3：中文子集无官方划分导致评估不一致（分类：评估误用）

问题：MCMLE（34,251 题）和 TWMLE（14,123 题）无官方 train/dev/test 划分。不同研究者使用不同的划分方案，导致中文子集的排行榜结果不可比较。

症状：同一模型在不同论文中报告的 MCMLE 准确率差异可达 10%+，并非模型差异而是划分差异。

解决：

自行划分时固定 random_state 并在论文中报告

推荐使用 80/10/10 分层划分（按 meta_info 分层）

报告 5-fold 交叉验证结果而非单次划分

明确标注"使用非官方划分，与排行榜不可直接比较"

⚠️ 坑点 4：教科书语料仅覆盖英文（分类：数据理解）

问题：18 本医学教科书全部为英文版。用中文子集做检索增强问答时无法使用配套语料。

症状：中文子集的 RAG 实验需要自建中文医学知识库，且与英文实验不可直接对比。

解决：

中文 RAG 实验使用中文医学教科书（如《内科学》第 9 版）或中文医学知识图谱

如需跨语言对比，可先翻译英文教科书再用作中文 RAG 语料（但翻译质量影响结果）

明确标注中文 RAG 实验使用的知识库来源

⚠️ 坑点 5：USMLE 知识时效性（分类：数据漂移）

问题：MedQA 数据采集于约 2010-2020 年代。部分答案可能已过时——例如 2020 年后的指南更新（如高血压诊断阈值从 140/90 改为 130/80）可能导致"旧答案"在当前临床实践中不再正确。

症状：心内科、内分泌科题目中，使用最新指南评估模型时"正确答案"可能变为"次优答案"。

解决：

评测时使用数据集发布时的医学知识标准，不以后续指南更新作为扣分依据

对于指南更新领域，单独分析模型在新旧指南冲突题目上的表现

在论文中注明"评测基于 2010-2020 年代医学知识标准"

⚠️ 坑点 6：CoT 提示格式影响显著（分类：工程陷阱）

问题：不同的思维链提示格式对准确率影响可达 10+ 个百分点。“Let’‘’‘’‘’‘’‘’‘’‘’'s think step by step” vs “Think carefully” vs “Explain your reasoning” 产生的结果差异显著。

症状：同一模型用不同 prompt 模板在 MedQA test 集上准确率波动 5-15%。

解决：

固定 prompt 模板并在论文中完整给出

使用 5-shot CoT（Med-PaLM 2 的标准设置）而非 zero-shot

对比 self-consistency（k=5-100 采样投票）与单次推理的差异

报告 prompt 敏感性分析

⚠️ 坑点 7：跨语言子集不可直接对比（分类：偏倚陷阱）

问题：英文、简中、繁中题目来自不同考试体系，虽然知识域有重叠但难度、题型、考察重点不同。USMLE 侧重临床情景推理，MCMLE 侧重知识记忆。

症状：同一模型在 USMLE 上准确率 85%，在 MCMLE 上仅 70%——并非模型中文能力差，而是 MCMLE 题目难度/类型不同。

解决：

跨语言对比时标注考试体系差异

不要将"USMLE 准确率 > MCMLE 准确率"解读为"英文医疗能力 > 中文医疗能力"

使用 CMExam 等纯中文数据集作为中文能力补充验证

⚠️ 坑点 8：HuggingFace 版本字段名差异（分类：工程陷阱）

问题：mathewhe/medqa 使用 A/B/C/D 作为选项字段名，而官方 JSONL 使用 answer_a/answer_b/answer_c/answer_d。bigbio/med_qa 又使用不同的字段命名。混用版本会导致 KeyError。

症状：切换数据源后代码报 KeyError 或获取到空值。

解决：

确认使用的版本及其字段命名

编写适配层统一字段名：
# 统一为官方命名
if "A" in sample:
    sample["answer_a"] = sample["A"]
    sample["answer_b"] = sample["B"]
    # ...

⚠️ 坑点 9：Step 1 vs Step 2&3 难度差异（分类：数据理解）

问题：meta_info 字段的 step1（基础医学）和 step2&3（临床应用）难度差异显著。Step 1 偏重记忆型知识，Step 2&3 偏重临床推理。CoT 对 Step 2&3 的增益通常大于 Step 1。

症状：模型在 Step 1 上 zero-shot 和 CoT 差异不大（~2-3%），但在 Step 2&3 上差异显著（~8-12%）。

解决：按 meta_info 分层报告结果，避免只报总体准确率。

⚠️ 坑点 10：答案分布均匀性可能误导（分类：评估误用）

问题：英文 4 选项版答案分布近似均匀（各 25%），但中文版可能不均匀。如果模型学到了位置偏倚（如总是选 C），在英文版上可得 25% 基线。

症状：模型准确率约 25%（英文 4 选项）或 20%（英文 5 选项），但看似在"做选择"。

解决：

报告答案分布偏倚指标（模型预测的 A/B/C/D 分布 vs 金标准分布）

计算 Balanced Accuracy 而非仅 Accuracy

对比随机基线和 Majority Class 基线

⚠️ 坑点 11：教科书语料的检索质量瓶颈（分类：工程陷阱）

问题：原始论文报告 top-25 段落检索仅覆盖 24% 的 USMLE 题目所需知识。即使使用现代 dense retriever，检索召回率仍是 RAG 性能的主要瓶颈。

症状：RAG 系统的准确率远低于闭卷 LLM——因为检索到的文档不含答案关键信息。

解决：

使用 MedCPT 或 PubMedBERT-based dense retriever 替代 BM25

增加检索 top-k（从 25 增到 50-100）

结合知识图谱（如 UMLS）增强检索

评估"检索召回率"而非仅"最终准确率"

⚠️ 坑点 12：商业 LLM API 的随机性影响复现（分类：工程陷阱）

问题：GPT-4/Claude/Gemini 等商业 API 的 temperature 参数和后端版本更新导致同一 prompt 的输出不稳定。报告的准确率可能无法复现。

症状：同一 API 调用两次，准确率差异 2-5%。

解决：

设置 temperature=0（贪心解码）

报告 API 调用日期和模型版本号

对于 self-consistency，固定采样次数和 temperature

使用开源模型（如 Llama 3, Meditron）作为可复现基线

§6.6 数据增强策略

策略	安全性	说明
选项顺序打乱	✅ 安全	随机排列 A/B/C/D 选项，更新 answer_idx
题目同义改写	⚠️ 谨慎	使用 LLM 改写题目文本，可能引入语义偏差
反事实题目生成	⚠️ 谨慎	修改临床情景中的关键变量（如年龄/性别），需医学专家验证
跨语言翻译增强	❌ 危险	将英文题翻译为中文作为额外训练数据——翻译质量无法保证医学术语准确性
MetaMap 概念提取	✅ 安全	使用 MetaMap 提取 UMLS 概念作为辅助特征

§6.7 推荐模型与超参

模型	预训练	推荐用途	预期准确率（USMLE 4 选项）
GPT-5	通用 LLM	Zero-shot/Few-shot 评测	~96.8%
GPT-4o	通用 LLM	Zero-shot/Few-shot 评测	~87.7%
Med-PaLM 2	医学微调	Few-shot CoT 评测	~86.5%
Claude 3.5 Sonnet	通用 LLM	Zero-shot 评测	~86.5%
Llama 3.3 (70B)	通用 LLM	Few-shot 评测	~80.1%
BioBERT-Large	生物医学预训练	检索增强 QA	~36.7%（reader）
Meditron (70B)	医学预训练 Llama	Few-shot 评测	~70-75%

§6.8 计算需求

任务	GPU 需求	训练/推理时间	内存
零样本 LLM 评测（API）	无需 GPU	~1 小时（1,273 题 × API 延迟）	<1 GB
少样本 CoT 评测（API）	无需 GPU	~2-4 小时	<1 GB
本地 Llama 3.3 (70B) 推理	2× A100 80GB	~3-5 小时	~140 GB
BioBERT 检索器训练	1× RTX 3090	~6 小时	~24 GB
教科书语料索引	CPU 即可	~30 分钟	~16 GB RAM

§6.9 评估指标

from sklearn.metrics import accuracy_score, confusion_matrix, classification_report
import numpy as np

def evaluate_medqa(predictions, gold_answers, meta_infos=None):
    """
    MedQA 官方评估指标：Accuracy（精确匹配）
    
    Args:
        predictions: list of str, 模型预测的答案字母 ("A"/"B"/"C"/"D")
        gold_answers: list of str, 金标准答案字母
        meta_infos: list of str (可选), 用于分层评估 ("step1"/"step2&amp;3")
    """
    # 总体准确率
    acc = accuracy_score(gold_answers, predictions)
    print(f"Overall Accuracy: {acc:.4f} ({acc*100:.2f}%)")
    
    # 混淆矩阵
    labels = sorted(set(gold_answers))
    cm = confusion_matrix(gold_answers, predictions, labels=labels)
    print(f"\nConfusion Matrix:")
    print(f"{'''''''''''''''''''''''''''''''':>8}", "  ".join(f"{l:>8}" for l in labels))
    for i, label in enumerate(labels):
        print(f"{label:>8}", "  ".join(f"{v:>8}" for v in cm[i]))
    
    # 分层评估
    if meta_infos:
        for step in ["step1", "step2&amp;3"]:
            mask = [m == step for m in meta_infos]
            if sum(mask) > 0:
                step_acc = accuracy_score(
                    [g for g, m in zip(gold_answers, mask) if m],
                    [p for p, m in zip(predictions, mask) if m]
                )
                print(f"\n{step} Accuracy: {step_acc:.4f} ({sum(mask)} questions)")
    
    # 答案分布偏倚
    print(f"\nPrediction distribution:")
    for label in labels:
        count = sum(1 for p in predictions if p == label)
        print(f"  {label}: {count} ({count/len(predictions)*100:.1f}%)")
    
    # Wilson 95% 置信区间
    from math import sqrt
    n = len(predictions)
    z = 1.96
    denom = 1 + z*z/n
    center = (acc + z*z/(2*n)) / denom
    spread = z * sqrt(acc*(1-acc)/n + z*z/(4*n*n)) / denom
    print(f"\n95% CI (Wilson): [{center-spread:.4f}, {center+spread:.4f}]")
    
    return acc

# 使用示例
# preds = ["A", "B", "C", "D", ...]  # 模型预测
# golds = [sample["answer_idx"] for sample in test_data]
# metas = [sample["meta_info"] for sample in test_data]
# evaluate_medqa(preds, golds, metas)

§6.10 MLOps 笔记

评测脚本标准化：使用固定 prompt 模板和 random_state，确保跨实验可复现
API 版本锁定：记录 LLM API 的模型版本号和调用日期，避免后端更新导致结果漂移
结果日志：每次评测保存完整结果（predictions + gold + meta_info），支持后续分层分析
持续监控：定期在新发布的 LLM 上运行 MedQA 评测，跟踪 SOTA 进展

§7 质量评估与局限性（Quality & Limitations）

§7.1 已知偏倚

偏倚类型	描述	严重程度	缓解措施
选择偏倚	仅含考试题，排除临床实践、患者沟通、医学伦理等维度	中	补充使用 MedEthicsQA 等伦理评测集
地域偏倚	USMLE 反映美国临床实践（FDA 药品、美国指南），MCMLE 反映中国实践	高	跨地域对比时标注指南差异，不将 A 国答案套用于 B 国
知识时效偏倚	题目覆盖约 2010-2020 年代知识，部分答案可能过时	中	评测时使用发布时知识标准，不以后续更新扣分
难度偏倚	考试题偏重严重/罕见病例（教学价值高），不代表常见临床场景	中	补充使用真实世界 EHR 数据集验证模型泛化能力
学科偏倚	内科和外科题量占比高，精神科和预防医学占比低	低	按学科分层报告结果
语言非对齐偏倚	三语言子集非平行翻译，来自不同考试体系，难度不直接可比	高	跨语言对比时标注"非平行来源"，不做直接数值比较
LLM 预训练污染	USMLE 题目可能已在 LLM 预训练语料中，导致评估虚高	高	使用对抗性变体（改写/反事实）验证真实推理能力

§7.2 标注质量

标注方式	准确率	一致性	局限性
官方考试标准答案	~97-99%（官方权威性）	N/A（单一来源）	约 1-3% 题目在医学界存在合理争议；部分题目基于旧指南
选项缩减（5→4）	高（移除最少选干扰项）	内部审核	可能改变题目难度特征；4 选项版随机基线更高（25% vs 20%）

§7.3 泛化性讨论

场景	失效风险	证据
真实临床诊断	高	考试题有明确答案选项，真实临床不确定性极高
非美国/中国临床环境	高	指南、药品、医疗体系差异大
患者沟通与共情	极高	MedQA 不涉及沟通维度
2022 年后新医学知识	中	COVID-19 治疗指南、新型靶向药等不在覆盖范围
跨语言迁移	中	三语言子集非平行，迁移效果不可直接归因于语言能力

§7.4 伦理考量

考试诚信：MedQA 含公开的执照考试题，使用者应确保不将其用于作弊或应试辅导中的违规行为
AI 误导风险：在 MedQA 上高分不等于临床安全——将 AI 医疗能力过度解读为"可以替代医师"是危险的
健康公平性：USMLE/MCMLE 题目中的虚构患者人群可能不代表所有族裔和社会经济群体
知识垄断：数据集为英文为主（教科书仅英文），可能加剧医疗 AI 研究的英语中心主义

§7.5 公平性评估

def fairness_audit(predictions, gold_answers, meta_infos):
    """
    按考试 Step 分层评估模型公平性
    """
    for step in ["step1", "step2&amp;3"]:
        mask = [m == step for m in meta_infos]
        if sum(mask) > 0:
            step_preds = [p for p, m in zip(predictions, mask) if m]
            step_golds = [g for g, m in zip(gold_answers, mask) if m]
            step_acc = sum(p == g for p, g in zip(step_preds, step_golds)) / len(step_preds)
            print(f"{step}: n={sum(mask)}, accuracy={step_acc:.4f}")
    
    # 检查答案选择偏倚
    from collections import Counter
    pred_dist = Counter(predictions)
    print(f"\nAnswer selection bias:")
    for label in sorted(pred_dist.keys()):
        print(f"  {label}: {pred_dist[label]/len(predictions)*100:.1f}%")

§7.6 数据漂移提示

MedQA 为静态数据集（发布后未更新），但医学知识持续演进。主要漂移领域：

心血管：高血压诊断阈值（2017 AHA 指南从 140/90 → 130/80）
内分泌：2 型糖尿病一线用药（2018 ADA 指南更新）
感染病：抗生素耐药谱变化、COVID-19 相关指南
肿瘤：免疫治疗和靶向治疗适应症扩展

§7.7 DAIMS 24 项数据就绪度评估表

#	DAIMS 检查项	状态	评分	说明
1	数据集基本信息	✅	1.0	名称、版本、描述完整
2	数据采集方法	✅	1.0	三大考试采集流程详述
3	数据采集时间范围	✅	1.0	2010-2020 年代
4	数据来源机构	✅	1.0	USMLE/MCMLE/TWMLE 官方
5	标注方法描述	✅	1.0	官方标准答案
6	标注者资质	✅	1.0	考试命题委员会
7	标注一致性	⚠️	0.5	无 IAA 报告（但为官方答案）
8	数据格式描述	✅	1.0	JSONL 格式清晰
9	数据字典	✅	1.0	字段定义完整（§4.1）
10	数据划分	⚠️	0.5	仅英文有官方划分
11	标签分布	✅	1.0	英文版分布均匀（§4.2）
12	缺失值说明	✅	1.0	信息性缺失已文档化（§4.5）
13	已知偏倚	✅	1.0	7 类偏倚详述（§7.1）
14	数据质量评估	✅	1.0	标注质量评估（§7.2）
15	泛化性讨论	✅	1.0	5 场景失效风险（§7.3）
16	伦理考量	✅	1.0	4 项伦理（§7.4）
17	数据使用许可	✅	1.0	MIT License
18	DUO 标签	✅	1.0	NRES（无使用限制）
19	机器可读元数据	✅	1.0	JSON-LD @graph + Croissant
20	数据溯源	✅	1.0	深度溯源链（§3.10）
21	数据获取方式	✅	1.0	GitHub + HuggingFace
22	引用信息	✅	1.0	BibTeX 提供
23	相关资源	✅	1.0	生态快照（§8.7）
24	维护计划	⚠️	0.5	无明确更新计划（静态数据集）
	总计		22.5 / 24

DAIMS 评分：22.5 / 24

评分解读：优秀 — 接近满分，可直接用于 AI 研究与评测。

对你意味着什么：MedQA 是一个高度规范化的数据集，具备官方划分（英文子集）、标准答案金标准和丰富的配套资源。主要扣分项集中在：中文子集无官方划分、标注一致性无 IAA 报告（但因使用官方答案影响有限）、数据集为静态发布无更新计划。建议：(1) 使用英文子集做主实验，中文子集做辅助验证；(2) 自行划分中文子集时固定 random_state 并报告；(3) 评测时关注 LLM 预训练数据污染风险。

§7.8 外部验证矩阵

外部数据集	来源机构	样本量	评估任务	性能指标	相对 MedQA 内部测试集变化	关键发现
MedMCQA	AIIMS & IIT Delhi	194,000+	选择题 QA	Accuracy	-8~12%	印度医学考试体系差异导致性能下降
MMLU Clinical	Hendrycks et al.	~3,000	选择题 QA	Accuracy	-3~5%	通用 LLM 评测子集，难度低于 USMLE
PubMedQA	UPMC & CMU	1,000	Yes/No/Maybe QA	Accuracy	N/A	文献推理型，能力维度不同
CMExam	中山大学	136,898	选择题 QA	Accuracy	-5~10%	纯中文，考试体系差异
EquityMedQA	Stanford	~3,000	对抗性 QA	Accuracy	-15~25%	改写/反事实变体暴露推理脆弱性

约束：本矩阵仅记录有同行评审论文或公开报告支撑的外部评估结果。不同模型的相对变化幅度差异较大，表中范围为主流 LLM 的典型变化区间。

§8 基准性能与生态（Benchmarks & Ecosystem）

§8.1 排行榜

注意：以下排行榜基于英文 USMLE 4 选项 test 集（1,273 题），准确率（Accuracy）为主要指标。不同论文的评测设置（zero-shot / few-shot / CoT / self-consistency）不同，绝对数值不可直接比较。请关注"评测设置"列。

排名	模型	准确率	年份	评测设置	关键技术	完整引用	代码
1	GPT-5	96.82%	2025	Zero-shot	通用 LLM	OpenAI (2025)	闭源
2	GPT-5 Mini	95.63%	2025	Zero-shot	通用 LLM（轻量）	OpenAI (2025)	闭源
3	o4-mini	94.83%	2025	Zero-shot	推理优化	OpenAI (2025)	闭源
4	Gemini 2.5 Pro	93.44%	2025	Zero-shot	通用 LLM	Google (2025)	闭源
5	o3-mini	92.05%	2025	Zero-shot	推理优化	OpenAI (2025)	闭源
6	Med-PaLM 2	86.5%	2025	5-shot CoT + ensemble refinement	医学微调 + 推理集成	Singhal et al. (2025), Nature Medicine	闭源
7	GPT-4o	86.1%	2024	Zero-shot	通用 LLM	OpenAI (2024)	闭源
8	GPT-4 (base)	86.1%	2023	Few-shot	通用 LLM	OpenAI (2023)	闭源
9	Claude 3.5 Sonnet	86.48%	2024	Zero-shot	通用 LLM	Anthropic (2024)	闭源
10	Claude 3.7 Sonnet	85.69%	2025	Zero-shot	通用 LLM	Anthropic (2025)	闭源
11	DeepSeek R1	85.69%	2025	Zero-shot	推理优化	DeepSeek (2025)	开源
12	Flan-PaLM	67.6%	2023	Few-shot + CoT	指令微调	Singhal et al. (2023), Nature	闭源
13	GPT-3.5 + Codex	60.2%	2023	5-shot CoT + self-consistency (k=100)	自洽性集成	Singhal et al. (2023), Nature	闭源
14	GPT-3.5	53.6%	2023	Zero-shot	通用 LLM	Singhal et al. (2023), Nature	闭源
15	Llama 3.3 (70B)	80.12%	2024	Few-shot	开源 LLM	Meta (2024)	开源
16	Meditron (70B)	~70%	2023	Few-shot	医学预训练 Llama	Chen et al. (2023)	开源
17	BioBERT-Large	36.7%	2021	检索 + 阅读理解	生物医学 BERT	Jin et al. (2021), Applied Sciences	开源
18	GPT-Neo	33.3%	2021	Zero-shot	小型 LLM	Jin et al. (2021), Applied Sciences	开源
—	人类通过线	~60%	—	—	USMLE 官方通过线	—	—
—	随机基线（4 选项）	25.0%	—	—	随机选择	—	—
—	随机基线（5 选项）	20.0%	—	—	随机选择	—	—

⚠️ 注意事项：

GPT-5/o4-mini/o3-mini 使用 HELM 评测框架（503 题采样），与完整 1,273 题测试集结果可能略有差异

Med-PaLM 2 使用 5-shot CoT + ensemble refinement，与 zero-shot 设置不可直接比较

LLM 预训练数据可能包含 USMLE 题目，排行榜高分可能部分源于数据污染

§8.2 SOTA 总结与选型建议

评测场景	推荐 SOTA	准确率	理由
闭源 LLM 评测	GPT-5	96.82%	当前 SOTA，但闭源且可能有数据污染
开源 LLM 评测	Llama 3.3 (70B)	80.12%	最佳开源模型，可复现
医学专用 LLM	Med-PaLM 2	86.5%	医学微调 + ensemble refinement
检索增强 QA	BioBERT-Large + BM25	36.7%	原始论文基线，验证 RAG 流程

§8.3 评测协议

主要指标：Accuracy（精确匹配，correct answer index）
评测设置：推荐 zero-shot（排除少样本示例的干扰）或 5-shot CoT（与 Med-PaLM 2 对标）
置信区间：报告 Wilson 95% CI
分层报告：按 Step 1 / Step 2&3 分别报告
答案分布：报告模型预测的 A/B/C/D 分布，检查选择偏倚

数据集	关系	规模	核心差异
MedMCQA	互补	194,000+	印度医学考试，规模更大但难度较低
PubMedQA	互补	273,300	文献推理型，非考试题
MMLU Clinical	互补	~3,000	通用 LLM 评测子集
CMExam	互补	136,898	纯中文，规模更大
HeadQA	互补	3,350	西班牙语医疗 NLP
MultiMedQA	聚合	—	MedQA + MedMCQA + PubMedQA + MMLU 等

§8.5 关键论文

Jin, D., Pan, E., Oufattole, N., Weng, W.-H., Fang, H., & Szolovits, P. (2021). What Disease Does This Patient Have? A Large-Scale Open Domain Question Answering Dataset from Medical Exams. Applied Sciences, 11(14), 6421. DOI: 10.3390/app11146421
— MedQA 数据集原始论文，描述数据构建、格式和基线实验。
Singhal, K., Tu, T., Gottweis, J., et al. (2025). Toward expert-level medical question answering with large language models. Nature Medicine, 31, 943-950. DOI: 10.1038/s41591-024-03423-7
— Med-PaLM 2 论文，在 MedQA 上达到 86.5%，定义了 MultiMedQA 评测框架。
Singhal, K., Azizi, S., Tu, T., et al. (2023). Large language models encode clinical knowledge. Nature, 620, 172-180. DOI: 10.1038/s41586-023-06291-2
— Med-PaLM / Flan-PaLM 论文，首次在 MedQA 上超过人类通过线（67.6%）。
Chen, Z., Cano, A. H., Romanou, A., et al. (2023). MEDITRON-70B: Scaling Medical Pretraining for Large Language Models. arXiv:2311.16079.
— Meditron 医学预训练 LLM，基于 Llama 在 MedQA 上达 ~70%。
Wornow, M., Sharp, E., Goh, E., et al. (2023). The shaky foundations of clinical foundation models. arXiv:2309.14547.
— EquityMedQA 对抗集，揭示 MedQA 上的高分可能不反映真实推理能力。

§8.6 社区活跃度

平台	指标	数值（截至 2026-08）
GitHub (jind11/MedQA)	Stars	800+
GitHub (jind11/MedQA)	Forks	200+
HuggingFace (mathewhe/medqa)	Downloads/month	5,000+
HuggingFace (bigbio/med_qa)	Downloads/month	2,000+
Google Scholar 引用	论文引用	1,400+

§8.7 生态快照

资源	类型	链接	Star/Fork（截至 2026-08）	为什么值得关注
jind11/MedQA	官方代码	GitHub	800+/200+	原始数据集仓库，含全部三语言 + 教科书语料
mathewhe/medqa	HuggingFace 数据集	HF	5K+ downloads	精排版，支持 4/5 选项配置选择，一键 `load_dataset`
bigbio/med_qa	HuggingFace 数据集	HF	2K+ downloads	BigBio 标准化版，含三语言元数据
HELM MedQA	排行榜	benchmarklist.com	—	持续更新的 LLM MedQA 排行榜（含 GPT-5）
MultiMedQA	基准聚合	Google Research	—	MedQA + MedMCQA + PubMedQA + MMLU 联合评测
Med-PaLM 2	论文	Nature Medicine	2,344 引用	Google 医疗 LLM，MedQA 86.5%
Meditron	开源模型	GitHub	1,000+	基于 Llama 的医学预训练 LLM，可复现

┌─────────────────────────────────────────────────────────────────┐
│                    MedQA 生态全景                               │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  数据源                                                         │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐                     │
│  │  USMLE    │  │  MCMLE   │  │  TWMLE   │                     │
│  │  (美国)   │  │  (大陆)   │  │  (台湾)   │                     │
│  └────┬─────┘  └────┬─────┘  └────┬─────┘                     │
│       └──────┬──────┴──────┬──────┘                            │
│              ▼             ▼                                    │
│         jind11/MedQA (GitHub 官方)                              │
│              │                                                  │
│       ┌──────┼──────┐                                           │
│       ▼      ▼      ▼                                           │
│   mathewhe  bigbio  ModelScope                                  │
│   (HF精排)  (HF标准) (国内镜像)                                  │
│              │                                                  │
│              ▼                                                  │
│  评测与基准                                                     │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐                     │
│  │  HELM    │  │MultiMedQA│  │ Papers   │                     │
│  │ 排行榜   │  │ (Google) │  │ (论文)    │                     │
│  └──────────┘  └──────────┘  └──────────┘                     │
│                                                                 │
│  下游模型                                                       │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐      │
│  │ Med-PaLM │  │ Meditron │  │  GPT-5   │  │ Claude   │      │
│  │   2      │  │ (开源)   │  │ (SOTA)   │  │ 3.5/3.7  │      │
│  └──────────┘  └──────────┘  └──────────┘  └──────────┘      │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

§9 相关资源与引用（Resources & Citation）

§9.1 BibTeX 引用

@article{jin2021disease,
  title={What Disease Does This Patient Have? A Large-Scale Open Domain Question Answering Dataset from Medical Exams},
  author={Jin, Di and Pan, Eileen and Oufattole, Nassim and Weng, Wei-Hung and Fang, Hanyi and Szolovits, Peter},
  journal={Applied Sciences},
  volume={11},
  number={14},
  pages={6421},
  year={2021},
  publisher={MDPI},
  doi={10.3390/app11146421}
}

§9.2 官方资源

资源	链接
GitHub 仓库	https://github.com/jind11/MedQA
论文（MDPI）	https://www.mdpi.com/2076-3417/11/14/6421
arXiv 预印本	https://arxiv.org/abs/2009.13081
DOI	https://doi.org/10.3390/app11146421
HuggingFace (mathewhe)	https://huggingface.co/datasets/mathewhe/medqa
HuggingFace (bigbio)	https://huggingface.co/datasets/bigbio/med_qa

论文	期刊/会议	与 MedQA 的关系
Singhal et al. (2023) Med-PaLM	Nature	定义 MultiMedQA（含 MedQA）
Singhal et al. (2025) Med-PaLM 2	Nature Medicine	MedQA 86.5%
Chen et al. (2023) Meditron	arXiv	开源医学 LLM，MedQA ~70%
Wornow et al. (2023) EquityMedQA	arXiv	MedQA 对抗性评测

§9.4 许可证详情

§9.5 引用格式

推荐引用：

Jin, D., Pan, E., Oufattole, N., Weng, W.-H., Fang, H., & Szolovits, P. (2021). What Disease Does This Patient Have? A Large-Scale Open Domain Question Answering Dataset from Medical Exams. Applied Sciences, 11(14), 6421. https://doi.org/10.3390/app11146421

§9.6 致谢

数据集由 MIT CSAIL（Di Jin, Peter Szolovits 等）和华中科技大学（Wei-Hung Weng, Hanyi Fang 等）联合创建。千方病案医数集对本 Wiki 的撰写不涉及数据集修改，仅做文档化整理。

§9.7 变更日志

日期	变更
2026-08-04	首次发布 MedQA Wikipedia 条目

§10 AI 使用声明卡（AI Usage Card）

§10.1 AI 模型使用

模型	版本	用途
Claude	Sonnet 4 (2025)	Wiki 条目撰写、代码生成、文献整合

§10.2 AI 参与范围

研究 + 撰写 — AI 用于文献检索、数据整理、代码编写和条目撰写，所有内容由千方病案医学编辑部交叉审核。

§10.3 输入文档

Jin, D. et al. (2021). Applied Sciences, 11(14), 6421. DOI: 10.3390/app11146421
Singhal, K. et al. (2025). Nature Medicine, 31, 943-950.
Singhal, K. et al. (2023). Nature, 620, 172-180.
HuggingFace Dataset Card: mathewhe/medqa
HuggingFace Dataset Card: bigbio/med_qa
HELM MedQA Benchmark Leaderboard
Global Medical AI Datasets（PDF，千方内部资料）

§10.4 人工校验表

内容模块	审核者	审核方式	审核状态
§2 医学背景	千方病案医学编辑部	交叉审核	✅ 已通过
§3 数据规格	千方病案医学编辑部	与官方仓库交叉比对	✅ 已验证
§4 数据结构	千方病案医学编辑部	与 HuggingFace 数据集交叉比对	✅ 已验证
§6 代码示例	千方病案医学编辑部	逻辑审查	✅ 已通过
§7 偏倚分析	千方病案医学编辑部	交叉审核	✅ 已通过
§8 排行榜	千方病案医学编辑部	与 HELM 排行榜交叉比对	✅ 已验证

§10.5 AI 生成章节

全部章节由 AI 辅助撰写，经千方病案医学编辑部交叉审核后发布。

§10.6 最后人工审核日期

2026-08-04

页面状态：published（全部内容已完成审核并发布）

返回 AI Ready 数据集