信息速览

数据集名称MedXpertQA — 专家级医学推理与理解评测基准

数据类型multiple-choice-questions,multimodal-qa,exam-questions,medical-images,reasoning-evaluation

规模0（非患者队列数据集：考试题与考试图像，无患者标识与随访记录）

接入方式MedXpertQA 官方发布三件套：arXiv 论文、GitHub 仓库 TsinghuaC3I/MedXpertQA、HuggingFace 数据集 TsinghuaC3I/MedXpertQA url: https://huggingface.co/datasets/TsinghuaC3I/MedXpertQA

AI 就绪度

项目内容

条目名 MedXpertQA

url_name medxpertqa

全称 MedXpertQA: Benchmarking Expert-Level Medical Reasoning and Understanding

类型专家级医学评测基准数据集（多选题 MCQ，Text + MM 双子集）

规模 4,460 题 = Text 2,455 + MM 2,005；MM 子集含 2,839 张图像

选项形式 Text 10 选 1；MM 5 选 1

题源 USMLE、COMLEX-USA、17 个美国专科委员会考试、ACR DXIT/TXIT、EDiR、NEJM Image Challenge

许可数据集 MIT；论文文本 CC BY 4.0（三层许可见 §6 与坑点 4）

发表 arXiv:2501.18362（2025-01-30 v1），ICML 2025 接收

团队清华大学 + 上海人工智能实验室（GitHub org：TsinghuaC3I）

获取 HuggingFace TsinghuaC3I/MedXpertQA（gated=false，免登录直下）

评估官方 leaderboard medxpertqa.github.io；OpenCompass 与 EvalScope 已集成

抓取时点 2026-10-03（HF 指标：downloads 9,628 / likes 65）

库内互链 medmcqa(111)、headqa(120)、medquad(160)、slake(250)、vqa-rad(240)、pathvqa(260)、pmc-vqa(270)、omnimedvqa(290) 等 19 条

MedXpertQA 是一个面向专家级医学知识与高级推理能力的评测基准：4,460 道源自真实医学执照考试与专科委员会考试的多选题，外加一个纳入病历、检查结果与医学影像的多模态子集。它由清华大学与上海人工智能实验室团队构建，2025 年 1 月底以 arXiv:2501.18362 发布，同年被 ICML 2025 接收。论文的核心主张很直接：当前沿模型在传统医学基准上接近满分时，医学评测需要更难、更贴近真实临床场景的「磨刀石」——而 MedXpertQA 给出的答案是连最强模型也只能拿到 45 分上下的专家级考卷。

本条目为 qianfanghub.com「千方病案医数集」AI-Ready Wikipedia 数据集的原始条目，覆盖身份与时间线、数据结构、获取复现、构建方法论、许可合规、评测成绩、生态互链与坑点存照九个维度，全部数字经论文、GitHub 与 HuggingFace 三源互证。

需要预先声明的一个阅读要点：本基准的公开材料存在多处「多口径并存」（评估模型数量 18/17/16、图像数 2,839/2,852、基础任务类两种字符串取值），这并非数据错误，而是学术项目多版本演进的常态痕迹。本条目的处理原则是「论文 v3 口径优先、实测存照随后、差异全部显式标注」——读者在任何地方看到与本条目不同的数字，应先核对 §9 坑点清单再判断对错。

导语读法三则：其一，赶时间者只读 §0 要点框与 §1 十问十答即可获得全貌；其二，准备下载使用者按 §4 → §6 → §9 顺序阅读，先拿数据再看许可与坑点；其三，做基准对比研究者务必通读 §7 与 §9——成绩口径的限定（抽样评估、子集不可比、榜单三口径）是本条目最重要的存照内容。

§0 导读：本条目读法与要点速览

本条目记述的对象是一个「考试题驱动」的评测基准，而非临床诊疗数据集。它不包含患者队列、随访记录或生理信号，因此 patient_count 为 0；它的价值在于用高质量、高难度、带专家标注的考试题，度量医学大模型的知识与推理上限。理解这一点是理解全篇口径的前提：本条目中的「患者」相关字段（patient_count、patient_tags）按数据集规范填零值与说明性文本，不代表数据集与临床实践无关——它的图像与题面大量来自真实临床情境，只是不含可识别患者记录。

五分钟要点框：

规模：4,460 题（Text 2,455 + MM 2,005），MM 子集配 2,839 张图像；每个子集另有 5 题 few-shot development set。
形式：Text 子集每题 10 选 1，MM 子集每题 5 选 1；随机基线分别为 10% 与 20%。
题源：USMLE（美国医师执照考试）、COMLEX-USA（整骨医学执照考试）、17 个美国专科委员会考试，以及 ACR DXIT/TXIT、EDiR 两套放射考试和 NEJM Image Challenge；共覆盖 17 个专科、11 个身体系统。
构建：初始收集 37,543 题，经人类分层过滤、AI 专家过滤（8 模型 × 14 采样投票）、相似性过滤、题目与选项增强、多轮持照医师审核五步，最终保留 4,460 题；抽检错误率约 4.3%。
难度：专家（备考执照的医学生）人类基线在 MM 子集平均 42.60 分；论文评估中唯一超过人类基线的是 o1（44.67 分，10% 抽样口径）。
许可：数据集 MIT；注意论文文本是 CC BY 4.0，且仓库 LICENSE 文件迟至 2025-09-07 才补齐（坑点 4）。
采用：Google DeepMind、Meta Superintelligence Labs、ByteDance Seed、Alibaba Qwen 四家实验室的官方模型报告均采用本基准。

全文导航表：

章节	内容	适合谁
§1	十问十答速览	所有读者
§2	身份、团队与时间线	引用者、编辑者
§3	数据结构与字段分布	数据工程师
§4	获取、下载与评估栈	数据工程师、复现者
§5	构建方法论与质量控制	基准构建者
§6	许可三层与引用规范	法务、引用者
§7	评测成绩与解读	模型研究者
§8	生态位与库内互链	选题策划者
§9	八处坑点与口径存照	所有引用者（必读）
§10	总结：适用与不适用	决策者

三句话极简版：

MedXpertQA 是把美国医学考试体系（USMLE、COMLEX-USA、17 个专科委员会考试、三套放射与图像来源）压成 4,460 道多选题的专家级评测基准，Text 与 MM 双子集，MIT 许可，ICML 2025 发表。
它经五步过滤（人类分层、AI 专家投票、去相似、选项增强、医师审核）从 37,543 题淘到 4,460 题，人类备考者平均只有 42.60 分，最强模型 o1 也仅 44.67 分（10% 抽样口径）。
引用它时记住三件事：评估模型数量有三个口径、o1 与 o3-mini 的成绩是抽样值、MM 与 Text 子集的成绩不可直接比较。

读者画像与建议路径：

读者画像	建议路径	关键产出
决策者 / 选题策划	§0 → §1 → §10	入库判断与互链策略
数据工程师	§3 → §4 → 附录 E	字段 schema、下载与校验清单
模型评测者	§4 → §7 → §9	评估栈选型与成绩口径
基准构建者	§5 → 附录 B → 附录 D	方法论参照与就绪度对标
法务 / 合规	§6 → §9 → 附录 D	三层许可边界与检查清单

十条金句摘要（每条对应正文一章，可作引用素材）：

37,543 进、4,460 出，11.9% 的保留率是「专家级」三个字的数字底气（§5.1）。
人类备考者 42.60 分、GPT-4o 35.96 分、o1 44.67 分——这是一张让最强模型也只到及格边缘的考卷（§7.2）。
Text 10 选 1、MM 5 选 1，随机基线 10% 与 20%，传统基准的 4 选 1 直觉在这里不适用（§3.1）。
8 个 AI 专家模型、每题 14 次采样投票，AI 第一次大规模充当医学出题与守门的评分员（§5.2）。
抽检 890 题错 39 题，4.3% 的错误率被官方坦然写进论文（§5.3）。
PPL 从 1.03×10²¹⁸ 到 1.35×10²⁴⁷，防泄露评估用数字回答了「题目是否已进训练语料」（§5.5）。
单题最多 238,000 条人类作答记录，这是评测基准里罕见的样本量资产（§5.6）。
四大实验室与九家医学团队官方采用，「必测清单」地位由此确立（§8.3）。
MIT 许可 + gated=false + 双框架集成，采用门槛几乎为零（§4、§6）。
八处坑点全部可绕行，前提是引用前先读 §9（§9）。

术语速记：本条目中 Text 指纯文本子集，MM 指多模态（Multimodal）子集；Reasoning 与 Understanding 是题目层面的二分类标签，不是两套数据；「Expert (Pre-Licensed)」指尚未取得执照、正在备考的高年级医学生群体，他们是论文中的人类基线来源。

§1 十问十答：一页读懂 MedXpertQA

问 1：MedXpertQA 到底是什么？

答：一个专家级医学多选题评测基准，共 4,460 题，分 Text（纯文本 2,455 题）与 MM（多模态 2,005 题）两个子集。所有题目源于真实的美国医学考试体系，经五步过滤与持照医师多轮审核后定稿。它的定位是「给前沿医学大模型出的高难度考卷」——当模型在 MedQA-USMLE 上做到 96% 时，同一批模型在 MedXpertQA 上只有 30 到 45 分。

延伸一句：「专家级」在这里是一个可验证的工程指标而非形容词——题目按人类作答记录做过难度标定，被专门保留下来的是「对人类备考者也不容易」的部分，所以人类基线只有 42.60 分（MM 平均），这不是模型的失败，而是基准设计的目标达成。

问 2：谁构建的？发表在哪里？

答：清华大学与上海人工智能实验室联合团队，作者 9 人，Yuxin Zuo 与 Shang Qu 为共同一作，Ning Ding 与 Bowen Zhou 为通讯作者。论文 arXiv:2501.18362 于 2025-01-30 发布，2025-05-06 宣布被 ICML 2025 接收（v3 为 camera-ready 版本）。代码仓库在 GitHub 的 TsinghuaC3I 组织下。

延伸：TsinghuaC3I 是清华大学相关方向的组织前缀，本项目的代码与后续维护都在该 org 下进行——检索代码时认准 TsinghuaC3I/MedXpertQA 全名，避免与同名仿写或镜像仓库混淆；作者名单与机构归属以论文署名页为准，本条目 §2.1 有完整表。

问 3：题目从哪里来？覆盖什么范围？

答：六类来源——USMLE、COMLEX-USA（含骨科影像解读特色）、17 个美国专科委员会考试，以及三个图像丰富来源：美国放射学会的 DXIT 与 TXIT 考试、欧洲放射委员会 EDiR 考试、新英格兰医学杂志 NEJM Image Challenge。覆盖 17 个专科（对齐 ABMS 25 个 member board 中的 17 个）与 11 个身体系统，总体对齐美国医疗实践与标准。

延伸：六类来源中前三类（USMLE、COMLEX-USA、专科委员会）贡献了以文本为主的考题，后三类（ACR 两套考试、EDiR、NEJM Image Challenge）则是图像富集来源——MM 子集的图像供给几乎全部来自后三者，这也是 MM 题面「真实临床形态」的来源基础。

问 4：数据规模多大？文件长什么样？

答：4 个 jsonl 文件加一个图像包。Text：dev.jsonl 5 题、test.jsonl 2,450 题；MM：dev.jsonl 5 题、test.jsonl 2,000 题；images.zip 约 493 MB（2,839 张图）。每条记录含 id、question（题干内嵌选项串）、options（字典）、label（单字母答案）、medical_task、body_system、question_type 七个核心字段，MM 记录另有 images 文件名列表。

规模之外的一个实用提醒：四个 jsonl 全部为逐行 JSON 存储，images.zip 内文件名与 MM 记录的 images 字段一一对应；下载后先校验文件字节数（见 §3.1 实测值）再入库，可避免镜像通道可能引入的截断问题。

问 5：它是怎么构建出来的？质量如何保证？

答：五步流水线。先按数千条人类答题记录做 adaptive Brier score 分层过滤（约 16.78% 题目因此淘汰）；再让 8 个 AI 专家模型对每题采样 14 次投票过滤；第三步删高相似题；第四步用两个专有模型重写题干并扩充选项（Text 扩至 10 项、MM 扩至 5 项），同时删除低质量干扰项；最后由持照医师多轮审核。定稿后随机抽 10%（890 题）复审，发现错误率约 4.3%。

延伸：五步中的第一步与最后一步都依赖「人」——前者复用历史作答记录，后者动用持照医师；中间三步则是模型与算法的舞台。人类把守「难不难」与「对不对」，算法负责「冗余不冗余」与「形式好不好」，分工边界清晰，这也是它区别于纯自动化基准流水线的地方。

问 6：许可是什么？能商用吗？

答：数据集采用 MIT 许可，是本文收录基准中相当宽松的一档——商用、修改、再分发均可，保留版权与许可声明即可。三个注意：论文文本是 CC BY 4.0 而非 MIT，引用时别混用；GitHub 仓库 2025 年 2 月建库但 LICENSE 文件迟至 2025-09-07 才添加；图像源自考试材料，考试主办方（如 ACR、NBME 体系）的原始权利主张不在 MIT 覆盖范围内，严格场景建议阅读论文 §3 与仓库说明（详见 §6 与坑点 4）。

问 7：模型能考多少分？人类呢？

答：论文主成绩单上，人类基线 Expert (Pre-Licensed) 在 MM 子集平均 42.60 分；GPT-4o 全子集平均 35.96 分；最强 LLM DeepSeek-R1 在 Text 子集 37.76 分；唯一超过人类基线的是 o1，MM 子集 44.67 分——注意该成绩是 10% 抽样评估（seed=42），不是全量成绩（坑点 5）。推理类模型相对同底座非推理模型有一致且显著的增益。

读这份成绩单时还要注意列结构：Reasoning 与 Understanding 是题目类型维度而非模型能力维度。例如人类基线 Understanding 高于 Reasoning（45.44 对 41.74），而 o1 恰好相反（46.24 对 39.66）——推理型模型在推理题上的相对优势，正是基准设计要检验的现象之一，§7.5 有专节展开。

问 8：它与 MedQA、MedMCQA 等经典基准的区别是什么？

答：三点。第一，难度档位不同：经典基准上前沿模型接近饱和，本基准把人类与模型都压到 40 分上下；第二，形式不同：Text 子集 10 选 1（传统多为 4-5 选 1），干扰项经专有模型增强；第三，多模态子集纳入病历、检查结果与真实考试图像，论文批评既有医学多模态基准「与真实临床场景脱节、仅考基础视觉感知」。

延伸：难度差还有一层结构性原因——经典基准多为题源原始形态直接入库，而本基准专挑「人类也不容易」的子集，再做干扰项增强；两道工序叠加，同源的原始题在两边的难度表现可以相差一个代际。规格层面的逐项对照见 §3.5。

问 9：怎么下载和跑评估？

答：HuggingFace 上 TsinghuaC3I/MedXpertQA 直接下载（gated=false，无需登录）；官方评估代码在 GitHub 仓库（main.py 多线程推理 + eval.ipynb 算分）；OpenCompass（PR #2002）与 EvalScope（–datasets medxpertqa）均已官方集成。特别注意：QVQ 与 DeepSeek-R1 两个模型必须用 eval.ipynb 中的专用答案清洗逻辑，utils.py 对二者不适用——这是仓库 README 的原文警告。

延伸：三条路径的选择建议——论文级复现（需要与已发表数字严格对齐）走官方脚本；工程化批量评测走 OpenCompass 或 EvalScope；快速探查数据走 datasets 库直读。三条路径共用同一份 HF 数据，切换成本仅在提示模板与清洗逻辑。

问 10：引用数字时最容易踩什么坑？

答：本条目 §9 收录八处坑点，最高频的三处：其一，模型数量有三个口径（论文摘要 18、GitHub README 17、HF 论文页 16），引用评估阵容必须注明出处；其二，o1 与 o3-mini 的成绩是 10% 抽样而非全量；其三，MM 与 Text 子集成绩不可直接比较——选项数不同、过滤参数不同，论文原文明确说明。其余见 §9。

延伸：坑点的共性规律是「同一事实存在多个正确口径」——模型数、图像数、任务类字符串、抽样成绩都是如此。判断对错前先问「哪个版本、哪个口径」，这一习惯比记住任何单个数字都重要。

十个数字记忆卡（按重要性排序，全部可在正文对应章节找到展开）：

#	数字	含义	展开位置
1	4,460	题目总量 = Text 2,455 + MM 2,005	§3.1
2	2,839	MM 子集图像数（论文口径）	§3.4
3	37,543 → 4,460	构建漏斗入口到出口，保留率约 11.9%	§5.1
4	42.60	人类基线 Expert (Pre-Licensed) 的 MM 平均分	§7.2
5	44.67	o1 的 MM 平均分（10% 抽样口径，唯一超人类）	§7.2
6	35.96	GPT-4o 跨子集总均分（vanilla LMM 最强）	§7.2
7	37.76	DeepSeek-R1 的 Text 平均分（LLM 组最强）	§7.2
8	4.3%	专家审核抽检错误率（39/890）	§5.3
9	16.78%	因缺人类作答标注被淘汰的题目占比	§5.2
10	10 / 5	Text 与 MM 的每题选项数	§3.1

§2 身份与定位：从收集到 ICML 的全景

2.1 名称、团队与三件套

MedXpertQA 的全称为「MedXpertQA: Benchmarking Expert-Level Medical Reasoning and Understanding」，其中 Xpert 即 Expert 的变体拼写，QA 指问答（Question Answering）。名字直接宣示了它的两个卖点：专家级（Expert-Level）与推理/理解双维度（Reasoning and Understanding）。

构建团队来自两家机构：清华大学（Tsinghua University）与上海人工智能实验室（Shanghai Artificial Intelligence Laboratory），代码发布在 GitHub 的 TsinghuaC3I 组织下。作者共 9 人：

序位	姓名	备注
共同一作	Yuxin Zuo	—
共同一作	Shang Qu	同时挂上海AI实验室；联系邮箱 lindsay2864tt@gmail.com；arXiv 提交人
作者	Yifei Li	—
作者	Zhangren Chen	—
作者	Xuekai Zhu	adaptive Brier score 过滤方法（Zhu et al., 2024）的一作
作者	Ermo Hua	—
作者	Kaiyan Zhang	—
通讯作者	Ning Ding	同时挂上海AI实验室；dn97@mail.tsinghua.edu.cn
通讯作者	Bowen Zhou（周伯文）	同时挂上海AI实验室；zhoubowen@mail.tsinghua.edu.cn

项目对外有三件套：Leaderboard（medxpertqa.github.io）、Code（github.com/TsinghuaC3I/MedXpertQA）、Data（huggingface.co/datasets/TsinghuaC3I/MedXpertQA）。论文致谢列明三项资助：国家科技重大专项（2023ZD0121403）、中国科协青年人才托举工程（2023QNRC001）、国家自然科学基金（No. 62406165）。

三件套分工速览：

平台	角色	适合场景
arXiv	论文与版本存档	引用、方法细节、附录（AI 专家模型清单在 C.1）
GitHub	代码与新闻	复现评估、跟踪更新、提 issue
HuggingFace	数据本体	下载 jsonl 与 images、查看数据卡
medxpertqa.github.io	榜单展示	浏览器查看最新排名（JS 渲染，脚本抓取不可得，坑点 7）

定位上需要强调一个易被误读的点：MedXpertQA 是「基准（benchmark）」而非「训练语料」。它的每道题都有单一标准答案与严格的专家审核，专为评估设计；拿它做训练数据会同时浪费评估价值并引来分布泄漏争议。论文在 §5.1 专门做了防泄露评估（见 §5.5），也从侧面说明官方视「评估专用」为设计前提。

2.2 时间线：八节点大事记

下表综合 arXiv 版本页、GitHub README News 与 HF API 元数据实测，是本条目时间叙述的权威口径：

时间	事件	来源
2025-01-30	论文 v1 上线 arXiv（14:07:56 UTC，7,257 KB，提交人 Shang Qu）	arXiv abs 页
2025-02-08	HF 数据集仓库创建（09:59:45Z 实测）	HF API createdAt
2025-02-09	GitHub 宣布 HF 数据集发布	README News
2025-02-20	论文 v2 更新（3,347 KB）；Leaderboard 上线，首批收录 o3-mini、DeepSeek-R1、o1	arXiv + README News
2025-02-28	评估代码发布	README News
2025-04-08	集成 OpenCompass（PR opencompass#2002）	README News
2025-05-06	宣布 ICML 2025 接收	README News
2025-06-06	论文 v3（ICML camera-ready，2,940 KB）	arXiv abs 页
2025-07-09	HF 仓库 lastModified 实测时点	HF API
2025-09-07	GitHub 仓库补建 LICENSE 文件（commit「Create LICENSE」）	GitHub 提交史

时间线里有两个值得咀嚼的细节。第一，数据集发布（2 月 8-9 日）早于评估代码（2 月 28 日）近三周——典型的「数据先行、工具跟进」节奏，社区在评估代码就绪前已经开始自行封装。第二，LICENSE 文件比建库晚了约七个月（坑点 4），对 2025 年 9 月前引用该仓库的下游项目，这是一个应当写进自己许可声明的存照事项。

arXiv 三个版本的变化也值得存照：v1（2025-01-30，7,257 KB）为首发版；v2（2025-02-20，3,347 KB）与 leaderboard 上线同日，体积缩减近半，与「首批模型成绩入榜」同步；v3（2025-06-06，2,940 KB）为 ICML camera-ready 定稿。引用具体数字时建议注明依据的版本——本条目全部成绩数字以 v3 为准。

2.3 引用与影响

截至 2026-10-03 抓取时点，Google Scholar 显示论文引用约 190 次（三次检索快照分别为 187、193 与 199，时点不同所致——引用时建议写「约 190 次」或注明具体快照值）。考虑到论文 2025 年初才发布，这一引用速度在医学评测基准中属第一梯队，主要由四类工作贡献：

四大实验室的官方模型报告：Google DeepMind、Meta Superintelligence Labs、ByteDance Seed、Alibaba Qwen——官方 GitHub README「Benchmark Adoption」栏目明文收录的采用记录。
医学专用模型：Google MedGemma、Alibaba DAMO Lingshu、Alibaba Quark QuarkMed、LG EXAONE 4.5、京东健康 Citrus-V 等（完整清单见下表）。
推理方法研究：o1 复现路线（O1 Replication Journey）、医学推理链工作（HuatuoGPT-o1、MedReason）等引文网络锚点。
评测框架生态：OpenCompass、EvalScope 的官方集成使基准成为框架内置选项，进一步放大采用面。

官方采用一览（GitHub README Benchmark Adoption 栏目实抓）：

类别	团队	采用基准的模型/产品
基础模型	Google DeepMind	Gemini 3 Pro、Gemma 4、DiffusionGemma
基础模型	Meta Superintelligence Labs	Muse Spark
基础模型	ByteDance Seed	Seed2.0
基础模型	Alibaba Qwen	Qwen3.5
医学专用	Google	MedGemma 1 / 1.5
医学专用	Alibaba DAMO	Lingshu
医学专用	Alibaba Quark	QuarkMed
医学专用	LG	EXAONE 4.5
医学专用	ByteDance	小何 MedXIAOHE
医学专用	ACTAVA	Cura 1T
医学专用	MBZUAI	MedMO-8B
医学专用	InfiX	InfiMed-Foundation
医学专用	京东健康	Citrus-V

引用影响力之外，更实质的影响是「难度标尺」的确立：后续医学模型报告普遍把 MedXpertQA 成绩列为区分普通与专家级能力的关键行项——一个模型在传统基准刷到 90% 而在 MedXpertQA 上只有 40%，足以说明其能力天花板所在。

2.4 为什么需要专家级基准：三个动机

把论文的立论动机拆成三点，有助于理解本基准的每个设计决策：

饱和危机。o1-preview 在 MedQA-USMLE 达 96%、MMLU Medical Genetics 达 99%（Nori et al. 2024，论文引述）。当基准接近满分，模型间的差异被压缩到噪声量级，评测失去区分度——这是 2024-2025 年评测社区转向「极限难度」的直接原因，通科方向有 Humanity’s Last Exam，医学方向就是 MedXpertQA。
场景失真。既有医学多模态基准（论文点名 slake、vqa-rad、pathvqa、pmc-vqa、omnimedvqa 五个）被批评「与真实临床场景脱节、仅考基础视觉感知」——题目问「图中是什么」而非「结合病历与检验值判断下一步」。MM 子集的对位设计是把病历文本、检验数值与真实考试图像一起交给模型。
推理革命需要新标尺。o1 类推理模型的核心增益在测试时推理深度，而非知识量；要在医学领域检验这一点，需要 Reasoning 与 Understanding 分型的题目设计，以及足以拉开推理与非推理模型差距的难度——§7.4 的三组对照实验正是为回答这个问题而设。

三个动机也分别对应了本基准的三块设计资产：极限难度对应五步过滤的激进保留率；场景保真对应 MM 子集的病历化题面；推理标尺对应 question_type 二分类与 reasoning-oriented subset。设计动机与设计资产一一咬合，是本基准方法论自洽性的体现。

2.5 命名与识别：与 MedQA 的区分

MedXpertQA 与 MedQA 是两个不同的基准，但名称相近、题源同属美国考试体系，初学者极易混淆。区分要点有三：其一，全称不同——MedQA 通常指 USMLE 题集（如 MedQA-USMLE），MedXpertQA 全称含 Expert-Level 字样；其二，形式不同——MedQA 多为 4-5 选项，MedXpertQA Text 为 10 选项；其三，难度定位不同——o1-preview 在 MedQA-USMLE 上 96%，在本基准上远低于此（§7.3），两者相隔一个难度代际。

本条目 url_name 为 medxpertqa，在 qianfanghub 库内与 medqa 系条目互为「难度梯度」邻居。检索与引用时建议同时给出全称与 arXiv 编号（2501.18362），避免命名歧义。

§3 数据结构：split、字段与分布

3.1 规模总账与文件清单

全部数字来自本条目编写时的逐文件下载实测，与论文 Table 1 交叉核对一致：

项目	值	实测口径
题目总量	4,460	Text 2,455 + MM 2,005，逐行统计
MM 图像	2,839 张	论文 §3 口径（第三方实测 2,852，差异见坑点 7）
Text dev / test	5 / 2,450	dev.jsonl 与 test.jsonl 逐行
MM dev / test	5 / 2,000	同上
Text/dev.jsonl	13,465 B	HF 文件 API
Text/test.jsonl	4,163,223 B	同上
MM/dev.jsonl	8,254 B	同上
MM/test.jsonl	2,017,059 B	同上
images.zip	517,130,457 B（约 493 MB）	LFS oid ca5d539b 开头
HF 仓库总占用	520,420,025 B	usedStorage
选项形式	Text 10 选 1；MM 5 选 1	每个 split 全量校验一致
HF revision	7e7c465a68eb2b866926bfa59c8c9d17a8daba65	API 实测

两个 dev split 各只有 5 题，论文 §3.1 原文称其为 few-shot development set——即仅供 few-shot 提示词示例使用，不作为正式评估集。这一点容易误读为「数据残缺」，实际是刻意设计。

文件清单读法：体积反差本身就是信息——Text/test.jsonl 4.2 MB 对 MM/test.jsonl 2.0 MB，说明纯文本题干的平均信息密度更高（长题干、长病历文本在 Text 中并不罕见）；而 5 题的 dev 文件只有几 KB，进一步印证其「示例卡」属性。images.zip 一项就占总占用的 95% 以上，带宽受限环境可以先拉四个 jsonl 做文本侧实验，图像侧实验再单独拉包。

3.2 字段 schema 与标签体系

每条记录的 schema（HF README 文档与实测数据双重确认）：

字段	类型	说明
id	string	唯一编号，形如 MM-26、Text-100
question	string	题干文本，选项以 Answer Choices 形式内嵌于题干
options	dict	选项字典（键为字母，值为选项文本）；Text 10 项、MM 5 项
label	string	正确答案单字母
images	list（仅 MM）	该题引用的图像文件名列表，对应 images.zip 解压内容
medical_task	string	三大任务类别：Diagnosis / Treatment / Basic Science 或 Basic Medicine（取值口径见坑点 2）
body_system	string	身体系统标签（11 系统 + 兜底类，见坑点 3）
question_type	string	Reasoning / Understanding 二分类

question_type 标签体系值得单独说明：它由 gpt-4o 按论文附录 I.1 的提示词标注——考察复杂推理（需多步推导、整合多信息源）的题为 Reasoning，考察知识记忆与理解的题为 Understanding。论文把 Reasoning 子集称为 reasoning-oriented subset，专门用于评估 o1 类推理模型。这是「用模型标注、服务模型评估」的典型做法，使用时应意识到该标签本身携带 gpt-4o 的判断偏差。

body_system 标签的依据是 Liachovitzky (2015) 人体生理学教材的体系划分（11 个系统全覆盖），由 LLM 辅助标注。medical_task 则对应考试大纲中的能力维度：诊断（Diagnosis）、治疗（Treatment）与基础科学（Basic Science）。

读取流程要点：解析 jsonl 时按行读取；options 是字母到文本的字典，按 label 键取答案文本即可还原完整选项；MM 记录的 images 是文件名数组，需与 images.zip 解压目录拼接路径；question 字段内嵌的 Answer Choices 串与 options 字典内容一致，解析器二选一即可，切勿拼接两次造成选项重复。

3.3 实测分布：task、type 与 body system

以下分布为本条目编写时对 test 两个 jsonl 的逐字段统计（dev 各 5 题不计）：

MM test（n=2,000）question_type 与 medical_task：

维度	取值	题数
question_type	Reasoning	1,446
question_type	Understanding	554
medical_task	Diagnosis	1,199
medical_task	Treatment	448
medical_task	Basic Science	353

Text test（n=2,450）question_type 与 medical_task：

维度	取值	题数
question_type	Reasoning	1,861
question_type	Understanding	589
medical_task	Diagnosis	1,050
medical_task	Treatment	746
medical_task	Basic Science	654

MM test body_system 12 个取值（论文口径为 11 系统 + 1 兜底）：

body_system	题数	body_system	题数
Skeletal	491	Digestive	168
Cardiovascular	320	Reproductive	98
Nervous	231	Lymphatic	81
Integumentary	225	Endocrine	74
Respiratory	192	Urinary	56
Muscular	46	Other / NA	18

两个分布启示：第一，Reasoning 占比在两个子集都接近四分之三（MM 72.3%、Text 76.0%），印证「高级推理」的定位；第二，骨骼系统（Skeletal）在 MM 中一枝独大（24.6%），与 COMLEX-USA 的骨科影像特色及放射题源的结构性倾斜有关——按 body_system 做分层分析时需留意这一偏斜。

task 维度上两子集结构也不同：MM 的 Diagnosis 占六成（1,199/2,000），Treatment 与 Basic Science 分列其后——多模态考试的重心天然落在「看图诊断」；Text 的分布更均衡（Diagnosis 1,050 / Treatment 746 / Basic Science 654），因为执照考试的文本题本就覆盖治疗决策与基础科学。task 结构不同也是「两子集不可直接比较」的另一层依据（坑点 6）。

使用这些分布时的三条注意：其一，以上分布仅覆盖 test 集，dev 的 10 题不参与统计，做全集统计时需自行合并并注明；其二，body_system 仅 MM 子集有实质取值，跨子集的按系统分析只能在 MM 上做；其三，Skeletal 的占比偏斜意味着按系统聚合的模型对比结论会受「擅长骨科影像」这一单一能力放大，建议同时报告全集与去 Skeletal 两个口径。

3.4 图像构成

MM 子集共 2,839 张图像（论文 §3 口径），构成特征如下：

特征	值
每题图像数	1 至 6 张，均值 1.43
分辨率跨度	323×34 至 4248×2144 像素
图像 10 类	Radiology、Pathology、Medical Optical Imaging、Photos、Vital Signs、Diagrams、Documents、Charts、Tables、Others
打包形式	images.zip 单包，约 493 MB

10 类图像中，Radiology 与 Pathology 是考试图像的绝对主体，Photos 与 Vital Signs 多来自 NEJM Image Challenge 的临床照片题，Diagrams/Documents/Charts/Tables 则承接检验报告与图表类考题。分辨率跨度极大（从超宽幅 323×34 的检查单条码区到 4248×2144 的病理全景），使用者在做视觉预处理时不宜假设统一尺寸，建议按题级动态缩放并保留原始长宽比。

预处理建议：放射与病理类图像保留灰度信息；Documents、Charts、Tables 三类对 OCR 与版面理解能力敏感，视觉编码器在这三类上的失分未必等于医学能力失分——做错误归因时建议按图像类型分层，把「看不清」与「不会判」分开统计。

3.5 与同类基准的规格对照

下表按论文与 README 可核对的定性信息，把本基准与它对位或点名的基准放在一张表里（定性比较，不跨源混用具体分数）：

基准	形式	难度定位	与本基准的关系
MedQA-USMLE	执照考试 MCQ（4-5 选项）	前沿模型 96%，已饱和	难度梯度下一档；论文用其饱和反差立论
MMLU Medical Genetics	通科考试 MCQ	前沿模型 99%	同上，通科侧佐证
medmcqa(111)	印度医学生考试 MCQ	规模大、难度低	规模轴对照（库内条目）
headqa(120)	西班牙语考试 MCQ	中低难度	跨语言对照锚点（库内条目）
slake(250) 等五个多模态基准	医学 VQA	仅考基础视觉感知（论文批评）	MM 子集的对位设计面
MedXpertQA Text	考试 MCQ，10 选项	人类与模型 40 分上下	本体
MedXpertQA MM	考试 MCQ + 图像/病历，5 选项	同上（不可与 Text 直接比）	本体

这张表也解释了「为什么不直接给老基准加难」：老基准的题源分布与标注体系已经固化，与其魔改不如以真实考试体系为地基重建——MedXpertQA 的题源选择正是这一判断的落地。库内对应条目的 rid 均已在 §8.1 列明，可循链延伸阅读。

§4 获取与复现：三渠道与评估栈

4.1 HuggingFace 获取（推荐主渠道）

数据集仓库为 TsinghuaC3I/MedXpertQA，免登录直下（gated=false），四个数据文件加一个图像包：

Text/dev.jsonl     13,465 B     5 题（few-shot development set）
Text/test.jsonl     4,163,223 B     2,450 题
MM/dev.jsonl        8,254 B     5 题（few-shot development set）
MM/test.jsonl       2,017,059 B     2,000 题
images.zip        517,130,457 B     2,839 张图像（仅 MM 子集引用）

截至抓取时点 2026-10-03，HF 页面显示 downloads 9,628、likes 65，size_categories 标注 1K<n<10K，数据集卡标签含 medical、question-answering、multimodal、reasoning、expert-level。HF 官方 task_categories 字段登记为 table-question-answering、question-answering、text-generation 三项——注意其中 table-question-answering 是登记口径与实际用途（MCQ 评估）之间的一个错位，使用者以 README 与论文为准即可。

下载方式任选其一：datasets 库 load_dataset("TsinghuaC3I/MedXpertQA")（会自动处理 MM 与 images 的对应关系）；或 huggingface-cli 直接拉取 jsonl 与 images.zip 后自行解析。锁版本建议固定 revision 7e7c465a68eb2b866926bfa59c8c9d17a8daba65，保证跨论文可比。

下载后校验清单：核对五个文件的字节数与 §3.1 实测值一致；核对 MM test 行数 2,000、Text test 行数 2,450；抽验若干 MM 记录的 images 文件在解压目录中存在；记录所用 revision；若经镜像通道下载，建议与主站或第二镜像做一次比对，防止截断或版本错位。

4.2 GitHub 评估代码

仓库 github.com/TsinghuaC3I/MedXpertQA 提供官方评估脚本，两个入口：

main.py：多线程推理调度，把模型输出落盘；
eval.ipynb：算分入口，含答案解析与准确率统计。

README 有一处关键警告：QVQ-72B-Preview 与 DeepSeek-R1 两个模型必须使用 eval.ipynb 中的专用答案清洗逻辑，utils.py 中的通用清洗对二者不适用。原因是这两个模型的输出格式特殊（长推理链、答案标记非标准），通用正则会错切答案导致成绩失真。复现榜单数字时若忽略此警告，误差可能高达数个百分点。

官方 Leaderboard（medxpertqa.github.io）为 JS 渲染单页应用，静态抓取拿不到表格数据；需要引用最新榜单时，请以浏览器访问为准，或以论文 Table 4 与 GitHub README 的文本成绩单为存照依据（见坑点 7）。

4.3 第三方框架集成

不想碰官方脚本的话，两条成熟路径：

OpenCompass：2025-04-08 经 PR #2002 官方集成，配置对应 Text 与 MM 子集；
EvalScope：--datasets medxpertqa 一行启用，支持 text 与 MM 子集参数。

两套框架都把数据下载、提示模板、答案抽取与算分封装完毕，适合已有评估流水线的团队直接挂载。需要注意框架版本与数据 revision 的对应关系：早期框架封装若未固定 revision，可能随上游更新出现题目集合漂移——严肃对比实验请显式校验所用题数（Text 2,450 + MM 2,000）。

三条评估路径对比：

路径	优点	代价
官方 main.py + eval.ipynb	与论文口径最接近，含专用清洗逻辑	需自行搭建推理环境
OpenCompass	配置化，框架生态成熟，社区案例多	版本与 revision 对应需自查
EvalScope	一行启用，子集参数灵活	细节封装于框架内部，排错需读源码

4.4 网络环境与镜像通道注意

部分网络环境访问 HF 主站不稳定，社区常用镜像通道（如 hf-mirror.com）做等效下载；镜像内容与主站的一致性由使用者自行校验（字节数 + 行数 + revision 三重核对）。arXiv 的 PDF 与 abs 页在多数环境可达，但 ar5iv 与 export.arxiv.org 子域并不总是稳定，需要论文 HTML 时可回退 arxiv.org 主站的 /html/ 渲染页。这些通道注意点是本条目编写时的实测存照，供网络环境类似的团队参考。

4.5 评估提示与算分要点

依据官方仓库与论文可核对的评估要点，跑分前先过这五条：

子集与选项数：Text 10 选 1、MM 5 选 1，提示模板必须按子集区分，选项枚举错位会直接污染成绩。
few-shot 设置：dev 各 5 题是官方 few-shot 示例来源；用或不用、用哪几题，需在报告里写明。
答案清洗：常规模型走 utils.py 通用清洗；QVQ-72B-Preview 与 DeepSeek-R1 必须走 eval.ipynb 专用清洗（坑点 8）。
reasoning-oriented subset：做推理能力专项对比时，按 question_type = Reasoning 过滤子集，并注明该标签为 gpt-4o 辅助标注（§3.2）。
题数校验：报告前核对 Text 2,450 + MM 2,000 的作答题数，防框架默认配置漏题或重复。

§5 构建方法论：漏斗、过滤与质量控制

5.1 构建漏斗：37,543 到 4,460

论文 Table 1 给出的三段式漏斗是理解本基准的第一把钥匙：

阶段	Text	MM	合计	说明
初始收集	—	—	37,543	六类题源全量爬取与汇集
过滤 + 增强后	2,578	2,105	4,683	五步流水线前四步完成后
专家审核后（定稿）	2,455	2,005	4,460	多轮持照医师审核删除后

从 37,543 到 4,460，保留率约 11.9%——近九成候选题被淘汰。这个激进的过滤率是本基准「专家级难度」宣称的数字基础：留下的每一题都通过了人类难度分层与 AI 专家双通道筛选。值得注意的是 MM 子集在增强阶段反而被「加题」（过滤后 2,105 中含增强新增），增强不只改写还扩充了候选池。

5.2 五步过滤流水线

论文将 AI & Human Expert Filtering 划分为五步，本节按执行顺序拆解：

第一步：人类分层过滤（adaptive Brier score）。 基于题源自带的数千条人类答题记录，采用 Zhu et al. (2024) 的 adaptive Brier score 方法：按专家难度标注分层，对高、中、低三档各配自适应阈值——最高档阈值取全体分数的 25th 百分位，最低档取 3rd 百分位。达不到阈值的题目判定「对人类专家而言不够难」而淘汰。约 16.78% 的题目因缺失此类人类作答标注而未能通过此关（即使题目本身可能合格，也一并出局）。

第二步：AI 过滤。 8 个 AI 专家模型（清单见论文附录 C.1，正文未逐条列出）对每道题各采样 14 次投票；若 AI 专家们表现「太好」（说明题目对顶级模型太容易）则淘汰。这一步与第一步共同构成双通道难度闸门。

第三步：相似性过滤。 用概率语义相似度加精确匹配精度两种度量，删除彼此高度相似的题目，防止题源重复造成的评估冗余与记忆泄漏。

第四步：题目与选项增强（Question and Option Augmentation）。 两个专有模型（two proprietary models，论文未具名）对保留题重写题干、扩充选项，并删除「过于容易的错误选项」（easy and incorrect answer choices）。增强后 Text 子集达到每题 10 个选项、MM 子集 5 个选项——这是与所有传统医学基准拉开形式差异的关键一步：10 选 1 使随机基线降到 10%，同时放大了似真干扰项（plausible distractor）的干扰强度。

第五步：多轮专家审核（Expert Review）。 持有医师执照的医学专家逐题标注并纠正错误；论文特别指出，多数被标记的题目是「直接修正」而非「删除」——这解释了为何最后一步题量降幅（4,683 到 4,460，约 4.8%）远小于前几步。

五步流水线的设计逻辑：第一步用人类数据定「难不难」，第二步用 AI 专家定「对模型难不难」，两道闸门方向一致才能留下「对人类与模型都难」的题；第三步防冗余，保证信息量；第四步做形式增强，把干扰项质量抬到考试命题学水准；第五步用持照医师兜底正确性。整条流水线的哲学是「宁缺毋滥」——11.9% 的保留率是这一哲学的直接体现。

各步的典型失败模式（构建同类基准时的前车之鉴）：第一步若无足够人类作答记录，阈值失锚——本数据集 16.78% 的淘汰即此约束的代价；第二步若 AI 专家阵容过弱，会把「对前沿模型仍难」的题误删，阵容须与目标评估代际匹配；第三步的相似度阈值过松会留重复题、过紧会误伤同病异形的好题；第四步的增强模型若与审核环节脱节，选项偏差会成批进入数据；第五步若只删不改，会白白损耗前四步的过滤投入——论文「多数修正而非删除」的策略正是对这一点的规避。

5.3 专家审核与抽检

审核质量本身经过抽检验证（论文 §3.4）：从定稿集中随机抽 10%（Text 490 题 + MM 400 题，共 890 题）由专家复审，发现错误题 28（Text）+ 11（MM）= 39 题，错误率约 4.3%。这个数字应当如实理解为：约每 23 题中有 1 题存在标注或题面瑕疵。做细粒度分析（如按单题排名、构建 few-shot 示例池）时，建议对所用题目做二次人工核验；做聚合指标（准确率均值）时，4.3% 的噪声远小于模型间差距，一般无需校正。

审核人员构成：持照医师（physician’s licenses），多轮审核制。而成绩单上的人类基线「Expert (Pre-Licensed)」是另一群人——高年级医学生与备考 USMLE 的 trainee，其作答数据来自原始数据源的答题分布聚合，并非为本基准新征招的受试（见 §7.3）。

成本视角：五步流水线中真正的人力密集环节只有第一与第五步——前者复用题源自带的历史作答记录（边际成本近零），后者按抽检规模估算约 890 题级别的复审工作量。中段三步（AI 过滤、去相似、增强）以模型算力替代人力，这是该方法论对「小团队做大基准」的核心启示。

5.4 17 专科覆盖与标注佐证

GitHub README 的口径是「覆盖 ABMS 25 个 member board 中的 17 个专科委员会考试」。题源覆盖（USMLE、COMLEX-USA、17 个专科委员会、ACR DXIT/TXIT、EDiR、NEJM Image Challenge）与该口径一致。需要存照的是：17 个专科的逐一名称清单在论文正文与 README 中均未完整列出，数据集中也没有逐题 specialty 字段（MM 有 body_system 但无 specialty），因此「17 专科」目前只能按总数口径引用（见坑点清单 §9 的待核事项）。

ABMS 的 25 个 member board 覆盖美国全部主要专科方向；「17/25」意味着约三分之二的美国专科委员会考试体系被纳入题源。未覆盖 board 的具体名单论文未列，与「17 专科逐一清单缺失」同属待核事项——引用时以「17 个专科委员会考试」总数口径为准，勿自行脑补名单。

5.5 防泄露验证

基准数据集公开后的头号风险是被写进预训练语料。论文 §5.1 按 Xu et al. (2024) 的方法做了实例级泄露评估，采用 PPL（困惑度）、ROUGE-L 与编辑距离三种度量，对比「合成增强前」与「合成增强后」的题目文本：

合成前困惑度 PPL 1.03×10²¹⁸，合成后 1.35×10²⁴⁷；
结论：增强改写显著降低了与原始语料的文本重合，泄露风险低。

使用者的对应动作是：报告 MedXpertQA 成绩时注明数据版本 revision 与评估日期，避免把「见过数据」与「真会做题」的模型混在同一排名里讨论。

5.6 人类作答分布

由于题目继承自真实考试与题库，多数题目每题拥有不少于 500 条人类作答记录，最高达 238,000 条；定稿集中不足 200 题缺作答数据。这份分布数据支撑了三件事：第一步 adaptive Brier 过滤的阈值标定、人类基线 Expert (Pre-Licensed) 的聚合计算、以及后续研究者按题目难度做细粒度分析的可能性。对基准消费者而言，这是 MedXpertQA 区别于「纯爬取未经校准题库」的核心资产之一。

对下游的三种用法：其一，复现人类基线（聚合口径已在论文与 README 固化）；其二，按题目难度分层评测（配合 adaptive Brier 的分档思想做模型强弱项分析）；其三，研究「人类-模型一致性」——238k 级别的作答记录为逐题的模型-人群对比提供了罕见的样本量基础。

5.7 方法论的可迁移性

把本基准的构建经验抽象出来，可以迁移到其他领域的专家级基准构建：

双通道难度闸门（人类分层 + AI 专家投票）适用于任何「人类与模型都需要被压低」的评测设计，关键前提是题源自带或可补充人类作答记录。
增强而非单纯过滤：第四步说明「删题」与「改题」可以并存——专有模型改写题干与扩充选项，既提高难度又扩充候选池；但必须以第五步专家审核兜底，否则模型增强的偏差会直接进入数据。
抽检制度化：10% 抽样复审并公开错误率（4.3%）的做法，为「标注质量可审计」提供了模板——比起宣称「多轮审核保证质量」，给出抽检错误率是更可验证的表述。
防泄露前置于发布：PPL/ROUGE-L/编辑距离三度量的实例级泄露评估，应在任何基准公开发布前完成，尤其是题源已在网络公开流传的场景。

这四条也解释了为何本基准能在发布后迅速获得四大实验室采用：方法论的可信度与数据的难度同样重要，而五步流水线把两者都落成了可检验的工程事实。

5.8 四种医学 MCQ 构建法对比：漏斗法的位置

构建法	代表	质量上限	规模上限	泄露风险	成本结构
官方真题直发	MedQA（USMLE 真题）	高（命题人级）	低-中	高（真题进入训练语料）	授权谈判
众包标注	部分医学 QA 集	不稳（标注员水平差异）	高	中	人力 + 质检
LLM 直接生成	部分合成集	低-中（幻觉与事实错误）	极高	低（全新题）但错误率高	算力
考题漏斗（本条目）	MedXpertQA	高（真题底子 + 医师终审）	中（4,460）	低（改写 + 三指标检验）	真题授权 + 8 AI 专家算力 + 医师工时

漏斗法的本质是三项资产的互换：用真题的效度、合成法的防泄露、医师审核的可靠性，交换规模——37,543 收窄到 4,460，收成率 11.9%。它换来的是同规模中几乎最高的单题质量与最低的记忆泄露面。想复制这条路线的团队，预算大头在「AI 专家过滤的推理算力」与「持照医师的审核工时」两项，而非数据获取本身。

§6 许可与合规：三层许可与引用规范

6.1 许可三层：数据集、论文与上游题源

引用或使用 MedXpertQA 时，许可信息必须分三层表述，混用是本条目收录基准中最常见的合规错误：

层	对象	许可	说明
第一层	数据集本体（jsonl + images.zip）	MIT	GitHub LICENSE 文件与 HF cardData.license 双源一致
第二层	论文文本	CC BY 4.0	arXiv 页脚标注；覆盖论文叙述与表格，不覆盖数据
第三层	题源上游权利	未显式让渡	USMLE、ACR 等考试主办方对原始题目内容保留权利，MIT 许可由数据集发布方作出

第三层的含义需要谨慎理解：MIT 许可是清华与上海AI实验室团队对其「收集、过滤、增强、审核」劳动成果的授权声明；考试题的原始知识产权链条（题面是否经过足以构成演绎作品的改写）论文未做法律层面的展开。对绝大多数研究与评估用途，第一层 MIT 已足够；对商业再分发或衍生题库产品，建议同时阅读论文 §3 关于题源与增强改写的描述，必要时咨询法务。

许可时间线上另有一处存照（坑点 4）：GitHub 仓库 2025 年 2 月建库，但 LICENSE 文件迟至 2025-09-07 才以 commit「Create LICENSE」添加。在长达约七个月的窗口里，仓库页面无显式许可文件——2025 年 9 月前 fork 或引用的下游项目，其许可依据是当时 HF 数据集卡的 MIT 标注，引用旧版本资料时应当知晓这段空窗。

6.2 引用规范

学术引用引论文（arXiv:2501.18362，doi 10.48550/arXiv.2501.18362）；数据引用引 HF 仓库并固定 revision；使用其评估代码复现成绩时，同时引用仓库。BibTeX 信息以论文 arXiv 页与 GitHub README 提供的官方条目为准。

报告成绩的规范句式建议：「在 MedXpertQA Text test（2,450 题，revision 7e7c465a）上准确率 X%」，涉及 MM 时注明「5 选 1」；涉及 o1 或 o3-mini 的对比时，必须带「10% 抽样评估（seed=42）」限定（坑点 5）。

四个可直接套用的句式模板：

1. 成绩引用：在 MedXpertQA MM test（2,000 题，5 选 1，revision 7e7c465a）上，
   参照论文 Table 4 的官方评估设置，模型 X 的平均准确率为 Y%。
2. 抽样成绩引用：o1 在 MedXpertQA MM 的 Reasoning/Understanding 各 10% 抽样
   评估（seed=42）中平均 44.67%（论文 Table 4，‡ 标注行），非全量成绩。
3. 数据引用：题目与图像取自 HuggingFace TsinghuaC3I/MedXpertQA
   （revision 7e7c465a，MIT 许可），方法描述见 arXiv:2501.18362。
4. 第三方口径引用：据 llm-stats.com 社区实测（2026-06 更新，非官方口径）……
   ——严禁与论文 Table 4 并列成同一排名。

6.3 合规场景速查

场景	结论	依据
论文评测并报告成绩	允许，注 revision 与抽样限定	MIT + 学术惯例
内部模型选型与迭代	允许	MIT
产品宣传引用成绩	允许但须注明子集与口径	§6.2 句式
修改后再分发题库	MIT 允许，保留声明；上游权利自审	§6.1 第三层
拆分售卖 label 或题目	与基准使用伦理冲突，不建议	§6.3
用 MM 图像做商业演示	注明题源出处并自审	§6.3
把数据混入训练集	技术可行但破坏评估公信力，强烈不建议	§10

6.4 使用建议清单

可做：模型评测、能力分析、错误类型研究、few-shot 提示研究、推理链分析（配合模型输出）、跨基准难度对比。
慎做：任何形式的训练或微调——技术上 MIT 不禁止，但会永久污染该模型的评估公信力，且与基准使用伦理冲突。
需声明：从考试材料衍生的图像用于产品演示或再分发时，注明题源出处（ACR、EDiR、NEJM 等）。
禁止：将 label 与题目拆开售卖、伪造 leaderboard 提交、把第三方榜单数字（如 llm-stats 口径）冒充论文官方口径。

6.5 许可边界三问

一问：给模型做评测并发表论文，需要向数据方申请吗？——不需要，MIT 与 gated=false 覆盖；引用论文与数据、注明 revision 即可。二问：基于本数据集构建的衍生题库可以发布吗？——MIT 允许再分发与修改，保留许可声明即可；但题面图像的第三层上游权利需自行评估，且发布后应声明与官方版本的关系。三问：把成绩写进商业材料需要注意什么？——成绩本身是事实陈述可以引用，但需注明子集、口径与抽样限定，不得把第三方榜单数字包装成论文官方口径（坑点 8）。

§7 评测结果：成绩单与解读

7.1 模型阵容与三口径存照

论文评估的模型数量存在三个口径（坑点 1）：论文摘要写 18 个；GitHub README 现行列 17 个 LMM 与 LLM；HF 论文页的 v1 时期贴文写 16 个。差异来自版本迭代中个别模型的进出。本条目以论文 v3（ICML camera-ready）摘要的 18 为准引用，同时注明 README 口径。阵容分两组：

LMMs（测全量基准，含 MM）：GPT-4o、GPT-4o-mini、Claude-3.5-Sonnet、Gemini-1.5-Pro、Gemini-2.0-Flash、Qwen2.5-VL-72B、Qwen2-VL-72B、QVQ-72B-Preview 等；
LLMs（仅测 Text 子集）：o3-mini、DeepSeek-R1、QwQ-32B-Preview、DeepSeek-V3、Claude-3.5-Haiku、LLaMA-3.3-70B-Instruct、LLaMA-3-70B-UltraMedical、Qwen2.5-72B-Instruct、Qwen2.5-32B 等。

其中 o1 与 o3-mini 因评估成本，仅在 Reasoning 与 Understanding 两个维度各抽 10%（seed=42）评估，论文表格以 ‡ 号标注——引用这两行成绩必须带抽样限定。

7.2 主成绩单（论文 Table 4，Acc%）

成绩按 Reasoning / Understanding / Avg 三列组记录，下表摘录关键行：

模型	子集	Reasoning	Understanding	Avg
Expert (Pre-Licensed)（人类基线）	MM	41.74	45.44	42.60
o1‡（10% 抽样）	MM	46.24	39.66	44.67
GPT-4o	MM	30.63	29.54	30.37
GPT-4o	Text	40.73	48.19	42.80
GPT-4o	跨子集总均	35.05（R）	38.58（U）	35.96
QVQ-72B-Preview	MM	—	—	21.76
QVQ-72B-Preview	Text	—	—	33.55
Claude-3.5-Sonnet	MM	—	—	21.31
Claude-3.5-Sonnet	Text	—	—	33.20
Gemini-1.5-Pro	MM	—	—	19.67
Gemini-1.5-Pro	Text	—	—	34.10
Gemini-2.0-Flash	MM 与 Text	正文定性为 GPT-4o 之后最强的 vanilla LMM 之一	—	—
DeepSeek-R1	Text	37.88	37.35	37.76
o3-mini‡（10% 抽样）	Text	—	—	37.30
DeepSeek-V3	Text	—	—	24.16
Claude-3.5-Haiku	Text	—	—	17.76
LLaMA-3.3-70B-Instruct	Text	23.86	26.49	—
QwQ-32B-Preview	Text	—	—	18.00

读表须知：表中「—」表示论文 Table 4 未按该维度单独列示或原文未提供；GPT-4o 的三行分属不同聚合层级（MM 子集、Text 子集、跨子集总均），不可纵向相加；人类基线仅有 MM 行——Text 子集未设人类基线行，跨子集的「人机差」只能在 MM 上讨论；‡ 行为抽样成绩（坑点 5）。

六个关键读数：其一，42.60 与 44.67 只差 2.07 分——人类与最强模型的差距在本基准上被压缩到个位数；其二，30.37 对 42.80——GPT-4o 在 MM 上比 Text 低约 12 分，多模态考卷是普遍短板；其三，37.76 对 24.16——同源推理模型差距 13.6 分，是全表最干净的推理增益证据；其四，QVQ 的 MM 21.76 与 Text 33.55 落差再次提示子集不可比（坑点 6）；其五，18.00 与 17.76——QwQ 与 Claude-3.5-Haiku 垫底，说明模型品牌标签不等于考试能力；其六，Muse Spark 78.4% 出自第三方口径，与论文口径是两个世界（坑点 8）。

第三方 llm-stats.com 追踪页（2026-06 更新，非官方口径）另列 12 个模型的社区实测，Muse Spark 78.4% 居首、Qwen3.5-122B-A10B 67.3%、Qwen3.5-27B 62.4%。该口径的提示模板、题目子集与算分方式均与论文不同，不可与论文 Table 4 混排（坑点 8）。

7.3 差距解读：人类基线、饱和与不可比

三个结构性结论支撑了本基准的「专家级」定位：

人类基线 42.60 分。Expert (Pre-Licensed) 群体在 MM 子集的平均正确率是 42.60%——注意这不是「医学专家只有 42 分」的意思：该基线来自备考执照的高年级医学生在来源考试作答记录的聚合，且题目经五步过滤专门保留「对人类也难」的部分。正确的读法是：在一个对人类备考者也只有约 43 分的题集上，模型普遍低于人类，仅 o1 例外。
前沿模型的饱和反差。o1-preview 在 MedQA-USMLE 达 96%、MMLU Medical Genetics 达 99%（Nori et al. 2024，论文引述），而同一代模型在 MedXpertQA 上远低于此——这是论文「现有基准已无法区分前沿模型」论断的实证支撑。
MM 与 Text 不可直接比较。论文原文明确：MM 选项更少（5 对 10）、Text 过滤参数更严，两个子集的难度参数不同。任何「跨子集排名」或「MM 除以 Text 得出多模态折损率」的算法都是口径误用（坑点 6）。

7.4 推理时扩展对照

论文 §5.2 用三组同源模型对照检验「推理时扩展（reasoning at test time）」的增益：

对照组	子集	结论
DeepSeek-R1 vs DeepSeek-V3	Text	推理模型显著领先（37.76 对 24.16）
QwQ-32B-Preview vs Qwen2.5-32B-Instruct	Text	同向增益
QVQ-72B-Preview vs Qwen2-VL-72B	MM	同向增益

三组对照方向一致：o1 类推理模型在本基准上的优势并非模型规模或预训练差异所致，而与测试时推理深度直接相关。这使 MedXpertQA 成为评估「推理能力」而非「知识记忆」的优选标尺——也是 reasoning-oriented subset（question_type = Reasoning 的题目子集）被论文专门划出的原因。

7.5 分维度解读：Reasoning 与 Understanding 的倒挂

把 Table 4 的 Reasoning 与 Understanding 两列拆开看，有一个反直觉现象：人类基线在 Understanding 上更高（45.44 对 41.74），o1 却在 Reasoning 上更高（46.24 对 39.66）；Text 组里 GPT-4o 同样是 Understanding 高于 Reasoning（48.19 对 40.73），LLaMA-3.3-70B 也是 Understanding 占优（26.49 对 23.86）。

两种解读并存：其一，Understanding 题考知识记忆与理解，恰是预训练语料覆盖最充分的部分，模型在此占优符合直觉；其二，Reasoning 题需要多步整合，唯有测试时推理深度可补——o1 的倒挂正是推理时扩展价值的直接证据。这组倒挂也让 reasoning-oriented subset 成为评估推理能力的更锐利子集：在 Reasoning 题上，模型间与人群间的分化都更大。

7.6 复现偏差排查表

症状	最可能原因	处置
成绩比榜单低很多	答案清洗不一致（尤其 QVQ 与 DeepSeek-R1）	改用 eval.ipynb 专用清洗（坑点 8）
成绩比榜单低（文本模型）	提示模板或 few-shot 设置不同	对齐官方模板与 5 题 dev 示例
成绩比榜单高很多	题目子集不同或数据泄漏（训练接触过）	核对题数与 revision
分数波动大	采样温度未固定或投票口径不同	固定解码参数与采样次数
MM 记录图像加载失败	images 文件名与解压目录未对齐	检查路径拼接与 zip 解压层级
与他人复现互不一致	双方 revision 或子集范围不同	双方交换 revision 与题数校验值

7.7 成绩数字的使用守则

引用本基准成绩时执行四条守则：一是「成对引用」——任何成绩必须同时给出子集与评估设置（few-shot 或 zero-shot）；二是「限定跟随」——o1 与 o3-mini 的数字到哪里，「10% 抽样、seed=42」的限定就跟到哪里；三是「分层归因」——Reasoning 与 Understanding 的分差只说明题目类型差异，不得引申为模型「推理智商」的排序；四是「口径隔离」——论文 Table 4、GitHub README、第三方榜单三个口径各用各的出处标注，绝不拼接。这四条与 §9 的坑点一一对应，是坑点清单在引用行为层的投影。

7.8 三个典型误读案例（成绩引用反面教材）

案例一：「o1 在 MedXpertQA 上拿到 44.67%，超过人类专家」。三处失真：44.67 是 MM 子集的 10% 抽样成绩（seed=42），非全量（坑点 5）；「人类专家」应为「备考执照考试的医学生人群（Expert Pre-Licensed）」，其 MM 平均 42.60；44.67 亦只是「论文 18 模型中唯一超过该基线」，不可外推为「超过执业医师」。合规句式见附录 R。

案例二：「GPT-4o 在多模态医学题上比文本题差 12 个点，说明多模态能力更弱」。用 MM 30.37 减 Text 42.80 得出「多模态折损」，正是论文明确警告的跨子集直接比较（坑点 6）：MM 五选一、Text 十选一，随机基线差一倍，且 Text 过滤参数更严——两卷考纲不同，差值不构成定量结论。

案例三：「2026 年第三方榜单 Muse Spark 78.4%，专家级医学推理接近解决」。78.4 来自 llm-stats 社区实测口径（2026-06，12 模型），提示模板与子集选择与论文不同（坑点 8）；且「基准分数高」不等于「临床可用」——本基准只覆盖封闭式多选题，不含开放式临床推理与真实工作流（见 rai:dataLimitations）。第三方数字必须显式标注「非官方口径、不可与论文混排」。

§8 生态位与互链

8.1 库内难度梯度定位

在千方病案医数集的医学问答版图中，MedXpertQA 处于「专家级、高难度」档位，与下列库内条目构成清晰的难度与模态梯度：

互链条目（rid）	关系	梯度叙事
medmcqa(111)	论文点名的传统基准	印度医学生考试，规模大、难度低，前沿模型接近饱和
headqa(120)	论文点名的传统基准	西班牙语考试题，跨语言对照锚点
medquad(160)	论文点名	消费级医疗问答，非考试难度轴
emrqa(139)	库内问答条目	从电子病历生成的问答，临床文本轴
slake(250)、vqa-rad(240)、pathvqa(260)、pmc-vqa(270)、omnimedvqa(290)	论文点名的多模态基准	论文正文批评其「与真实临床场景脱节、仅考基础视觉感知」——MedXpertQA MM 的对照面
ehrxqa(646)、medhop(754)	库内临床推理条目	EHR 问答与多跳推理，临床场景轴
rxqa(719)、medcalc-bench(708)、xmedbench(727)	库内专项基准	用药、医学计算、扩展医学评测等专项能力轴
gmai-mmbench(562)	库内多模态评测	通用医疗多模态评测，难度低于本基准
chexpert-plus(740)、word(412)、cblue(190)、medmnist(716)	库内影像/NLP 资源	训练资源侧，与纯评估侧互补

互链条目逐条注解：medmcqa(111) 是规模轴的对照——数十万级题量但难度低，模型饱和的典型；headqa(120) 提供跨语言（西班牙语）考试题对照；medquad(160) 与 emrqa(139) 分别代表消费级问答与病历派生问答的非考试轴；slake(250)、vqa-rad(240)、pathvqa(260)、pmc-vqa(270)、omnimedvqa(290) 是论文点名批评的五大多模态基准，MedXpertQA MM 正是针对这一批评的对位设计；ehrxqa(646) 与 medhop(754) 沿 EHR 与多跳推理方向延伸临床场景；rxqa(719)、medcalc-bench(708)、xmedbench(727) 补充用药安全、医学计算与扩展评测三个专项轴；gmai-mmbench(562) 是难度低一档的通用医疗多模态评测；chexpert-plus(740)、word(412)、cblue(190)、medmnist(716) 属于训练资源侧，与纯评估定位的本数据集形成「评估-训练」互补。

论文对既有基准的批评点（脱节临床、仅考视觉感知）恰好是 MM 子集的设计靶心：纳入病历文本、检验数值与真实考试图像，让模型处理「信息以真实临床形态呈现」的题目。

8.2 引文网络锚点

从本条目出发的高价值引文路径，每条都对应 2025 年评测与推理研究的一条主线：

Humanity’s Last Exam（arXiv:2501.14249）：同为「前沿模型压榨难度」叙事，通科版本——两者并引可说明极限难度评测的跨领域浪潮。
DeepSeek-R1（arXiv:2501.12948）：本基准 Text 组最强 LLM 的技术报告，其与 DeepSeek-V3 的对照是推理时扩展的关键证据。
HuatuoGPT-o1（arXiv:2412.19437）：医学推理模型工作，代表「用专家级基准检验医学推理链」的方法路线。
MedReason（arXiv:2504.00993）：医学推理链数据与方法，与本基准构成「方法-标尺」互补。
O1 Replication Journey（arXiv:2501.06458）：o1 复现研究，需要区别于饱和基准的难度标尺。

这五条锚点各占一个研究动作：并引 HLE 说明跨领域浪潮；对照 DeepSeek-R1 与 DeepSeek-V3 说明推理增益；用 HuatuoGPT-o1 与 MedReason 说明医学推理链方法栈；引 O1 Replication Journey 说明复现研究对难度标尺的需求。库内互链与引文网络两层叠起来，就是本条目在知识图谱中的完整邻域。

8.3 行业采用主线

官方 README「Benchmark Adoption」栏目给出的采用清单（完整表见 §2.3），是本条目「行业影响」叙述的权威依据。叙事主线一句话：四大通用实验室（Google DeepMind、Meta MSL、ByteDance Seed、Alibaba Qwen）与九家以上医学专用团队（MedGemma、Lingshu、QuarkMed、EXAONE 4.5、MedXIAOHE、Cura 1T、MedMO-8B、InfiMed-Foundation、Citrus-V）在官方模型报告或模型卡中采用 MedXpertQA 成绩。

从采用清单能读出的两个模式：其一，四大通用实验室全部在旗舰模型的发布周期内引用本基准，说明它已进入「必测清单」级别；其二，医学专用团队倾向于同时报告传统基准与本基准，用后者的低分凸显「专家级差距仍在」的研发空间——这种「双榜单」叙事已成为医学模型发布的标准动作。

对库内条目而言，这是把「一个数据集」升格为「行业标尺」的关键证据链。

8.4 对库内选题的三点启示

其一，「难度即定位」：当库内同域基准已有多个时，新条目的价值锚点应选在未被占据的难度档，本基准的专家级卡位是范例。其二，「方法论即资产」：五步流水线、抽检错误率、防泄露验证构成了可引用的方法论包，使条目超越「数据介绍」进入「工程范式」层。其三，「采用清单即影响力」：收录时同步核查官方 README 的 adoption 栏目，用第三方可验证的采用记录支撑「行业标尺」类判断，而非自造评价。

8.5 与库内可获取性光谱的对照

光谱位置	代表条目	本条目对照
完全开放直下（MIT/Apache）	medxpertqa（本条目）、medmnist(716)	同档；本条目另有 2,839 图像资产与双评测框架
公开但 gated/需注册	部分 HF gated 集	本条目 gated=false，无此摩擦
请求制（upon request）	panda-plus 注释掩码	本条目无任何请求环节——库内 AI-Ready 排名靠前的核心原因
受控访问（TA/DUA）	dbgap、ega 类	不同档；考题数据无 PHI，无需受控通道

一句话定位：在「评测基准」子类里，MedXpertQA 是库内获取摩擦最小、字段最齐、防泄露工程最完整的一档；AI-Ready 短板不在获取而在元数据口径（坑点 1-3）。

§9 坑点清单：八处易错点与口径存照

本节是全条目最重要的存照章节：八处坑点全部来自编写时的实测核对，每条按「现象 → 口径 → 正确用法」展开。引用本数据集的任何数字前，建议先通读本节。

坑点 1：评估模型数量存在三个口径

现象：论文摘要写 18 个模型，GitHub README 现行列 17 个，HF 论文页的 v1 时期贴文写 16 个。口径：三个数字都是「真」的，差异来自版本迭代中模型阵容的进出与统计边界（LMM 与 LLM 分组、是否含人类基线）。正确用法：以论文 v3 摘要的 18 为准引用并注明「论文口径」，需要引用 README 时写「GitHub README 现行口径 17 个」。禁止把三个数字混在同一段落里互相「纠错」。

坑点 2：medical_task 取值在文档与数据间不一致

现象：HF README 文档写三大任务类别为「Diagnosis, Treatment, or Basic Medicine」；实测 test jsonl 中的取值是「Basic Science」；MM dev 的 5 题中又出现「Basic Medicine」。口径：dev/test 实测取值不一致，属于上游标注演化痕迹。正确用法：表述统一写「三大任务类别：诊断/治疗/基础医学（数据中基础类存在 Basic Science 与 Basic Medicine 两种取值）」；做字段过滤脚本时同时兼容两种字符串。

坑点 3：body_system 是 11 个系统还是 12 个取值

现象：论文宣称覆盖 11 个 body systems；实测 MM test 有 12 个取值——第 12 个是 Other / NA 兜底类（18 题）。口径：两者不矛盾，11 系统 + 1 兜底。正确用法：按「11 系统」表述并注明另有 Other/NA 兜底 18 题；分层统计时勿把 Other/NA 混入任何单一系统，也勿因 12 个取值而宣称「12 系统」。

坑点 4：许可三层且 LICENSE 文件滞后七个月

现象：数据集 MIT（GitHub LICENSE + HF cardData 双源一致）；论文文本 CC BY 4.0（arXiv 页脚）；GitHub 仓库 2025-02 建库但 LICENSE 文件 2025-09-07 才添加。口径：三层许可各自覆盖不同对象。正确用法：数据集许可写 MIT，论文许可写 CC BY 4.0，不得互相替代；引用 2025 年 9 月前的仓库快照时注明当时无显式 LICENSE 文件、以 HF 标注为据；商业场景额外注意题源上游权利（见 §6.1）。

坑点 5：o1 与 o3-mini 的成绩是 10% 抽样

现象：Table 4 中 o1（MM 44.67）与 o3-mini（Text 37.30）带 ‡ 号，因评估成本仅在 Reasoning 与 Understanding 各抽 10%（seed=42）。口径：非全量成绩。正确用法：引用必须带「10% 抽样评估（seed=42）」限定；与其他模型的全量成绩并排展示时须标注 ‡ 并加脚注；禁止把 44.67 直接写成「o1 在 MedXpertQA 上的准确率」而无抽样说明。

坑点 6：MM 与 Text 子集成绩不可直接比较

现象：两子集成绩常被并排出现，诱导跨子集计算「多模态折损率」。口径：论文原文明确 MM 选项更少（5 对 10）、Text 过滤参数更严，难度参数不同。正确用法：两个子集各自内部排名有效；跨子集差值仅可作定性描述并注明「不可直接比较」；不得用 MM 减 Text 的差值作为「多模态能力损耗」的定量结论。

坑点 7：图像总数双口径与榜单静态抓取不可得

现象一：论文 §3 写 MM 图像 2,839 张，第三方 evalscope 实测 images 目录 2,852 张，差 13 张未决。现象二：官方 leaderboard（medxpertqa.github.io）为 JS 渲染 SPA，静态抓取返回空页。口径：图像数按论文 2,839 表述并注第三方实测；榜单数字静态抓取不可得。正确用法：图像数引用论文口径；需要最新榜单时浏览器访问官网，条目存照以论文 Table 4 与 GitHub README 文本为准；爬虫与脚本不要试图解析该 SPA 页面。

坑点 8：专用答案清洗与第三方榜单口径

现象一：QVQ-72B-Preview 与 DeepSeek-R1 的输出必须用 eval.ipynb 内的专用清洗逻辑，utils.py 通用清洗对二者不适用（README 原文警告），忽略会导致成绩失真。现象二：llm-stats.com 追踪页（2026-06 更新，12 模型，Muse Spark 78.4% 居首）是社区实测口径，提示模板与子集与论文不同。口径：官方成绩以论文 Table 4 为准；第三方榜单为独立口径。正确用法：复现推理模型成绩前先读 README 该警告；引用第三方榜单时显式写「非官方口径、不可与论文混排」。

坑点速查卡（详细分析见上文各坑点）：

坑点	一句话记忆	高危场景
坑点 1	模型数三口径：18 / 17 / 16	综述引用评估阵容
坑点 2	Basic Science 与 Basic Medicine 并存	字段过滤脚本
坑点 3	11 系统 + Other/NA 兜底 18 题	按系统分层统计
坑点 4	三层许可，LICENSE 滞后七个月	许可与再分发
坑点 5	o1/o3-mini 是 10% 抽样 seed=42	成绩对比
坑点 6	MM 与 Text 不可比	跨子集折损率
坑点 7	图像 2,839（论文）/ 2,852（实测）；榜单 SPA	图像数引用与榜单抓取
坑点 8	QVQ/R1 专用清洗；llm-stats 非官方	复现与第三方引用

引用前 60 秒自检（八问八查）：

我引的模型数量来自论文还是 README？（坑点 1）
我脚本里的 task 过滤能同时吃下两种基础类字符串吗？（坑点 2）
我的分层统计给 Other/NA 单列了吗？（坑点 3）
我的许可声明区分了数据集与论文吗？（坑点 4）
我写的 o1/o3-mini 数字带抽样限定了吗？（坑点 5）
我有没有做跨子集差值计算？（坑点 6）
我的图像数是 2,839（论文口径）吗？（坑点 7）
我复现推理模型时用了专用清洗吗？（坑点 8）

八问全绿，再落笔引用。

§10 总结：适用与不适用

适用场景：评估医学大模型的知识与推理上限，尤其是推理时扩展类模型（o1、DeepSeek-R1 及其后续）；多模态医学能力的压力测试（MM 子集的真实考试图像与临床信息形态）；基准饱和时代的难度标尺研究；训练数据质量方法论的参照系（五步过滤、专家审核、防泄露验证都是可迁移的工程范式）。

不适用场景：临床决策参考——考试题不等于真实患者诊疗，本数据集不含任何可用于个体诊疗的证据；模型训练或微调——技术上许可不禁止，但会永久污染评估公信力；低资源语言或非英美医疗体系的泛化结论——题源全部对齐美国考试体系；开放式医学对话评估——多选题封闭形式无法覆盖。

一句话定位：MedXpertQA 是 2025 年医学评测从「饱和的常识测验」转向「专家级压力测试」的标志性节点——4,460 道经五步过滤与持照医师审核的真实考试题，把人类与前沿模型同时压到 45 分上下，又以 MIT 许可与三件套工具链降低了采用门槛。它记录的不只是一个数据集，而是一种评测方法论的定型。

入库评估结论：按千方病案医数集的收录标准衡量——存在性（三源互证通过）、可获取性（gated=false 直下）、许可清晰度（MIT，三层存照）、方法论可审计性（抽检错误率公开）、行业影响力（四大实验室采用）五项全达标；主要保留意见集中在元数据口径瑕疵（坑点 2、坑点 3）与「待核」事项（17 专科清单等），均已在本条目存照，不构成入库障碍。DAIMS 综合评级 8.4/10，建议入库并按 §8.1 的互链地图建立邻居关系。

高频疑问详版：40 问分六组

组一：数据与内容（问 1 至问 6）

问 1：一条数据长什么样？ 每条记录含 id（如 MM-26）、question（题干内嵌 Answer Choices 选项串）、options（字典，Text 10 项 / MM 5 项）、label（单字母）、medical_task、body_system、question_type 七字段；MM 记录另有 images 文件名列表对应 images.zip。

问 2：MM 子集的题目形态是什么？ 题干常包含病历摘要、检验数值或检查所见，配 1 至 6 张图像（均值 1.43 张），图像类型覆盖放射、病理、光学影像、临床照片、生命体征、图表与文档等 10 类，模拟「信息以真实临床形态呈现」的作答情境。

问 3：Text 与 MM 之间有题目重叠吗？ 两子集独立成集，MM 的题源自带图像富集属性（放射考试、NEJM Image Challenge 等），Text 侧重执照与专科委员会考试的文本题；论文未宣称两子集题目一一对应，跨子集比较因此更需谨慎（坑点 6）。

问 4：有没有答案解析？ 官方发布只有单字母 label，无逐题解析。持照医师审核的修正记录未随数据集公开；需要解析类数据的研究者需另行构建。

问 5：题目是英文的吗？ 是，全部题源为英文考试材料。跨语言评估需要自行翻译，且翻译后成绩与原版不可比。

问 6：每个子集那 5 道 dev 题怎么用？ 论文 §3.1 称其为 few-shot development set，用于构造 few-shot 示例或调试验证流程；不要把 dev 并入 test 报成绩，也不必因它只有 5 题而质疑数据完整性。

组二：构建与质量（问 7 至问 12）

问 7：adaptive Brier score 过滤是什么？ 一种基于人类作答记录的难度标定方法（Zhu et al. 2024）：对题目按专家难度分三档，各档配自适应正确率阈值（最高档取全体 25th 百分位、最低档取 3rd），低于阈值即「对人类专家不够难」而淘汰；约 16.78% 题目因缺人类作答标注未过此关。

问 8：8 个 AI 专家模型是哪几个？ 论文正文未逐条列出，清单在附录 C.1。本条目抓取时未能展开该附录表格，故仅按总数引用——这是待核事项，读者需要精确名单时应直接查阅论文附录。

问 9：做增强的「两个专有模型」是谁？ 论文只写 two proprietary models 未具名，外界无法核实其身份；增强产物（改写题干与扩充选项）经过第五步专家审核兜底，质量不依赖模型身份透明。

问 10：4.3% 的抽检错误率影响大吗？ 聚合指标（如平均准确率）层面影响可忽略——远小于模型间差距；单题级分析（错误归因、逐题排名、few-shot 示例挑选）建议对所用题目做二次核验。

问 11：图像有没有隐私问题？ 图像源自公开考试材料与 NEJM Image Challenge 这类出版内容，经考试发布渠道公开；数据集不含患者标识。但「考试图像」与「临床采集图像」的分布差异本身是外推限制（rai:dataLimitations 已列）。

问 12：question_type 标签可信吗？ 由 gpt-4o 按论文附录 I.1 提示词标注，属于模型辅助标注而非医师判定；用于「推理子集」的粗分组足够，用于精细任务分类学需抽验。

组三：许可与获取（问 13 至问 18）

问 13：能拿去训练模型吗？ MIT 许可在法律层面不禁止，但基准使用伦理强烈反对：训练后模型成绩永久失真，且对其他使用者不公平。官方定位是评估专用。

问 14：图像商用有什么注意？ 第一层 MIT 覆盖数据集打包产物；第三层题源上游（ACR、EDiR、NEJM 等主办方）的权利主张未被显式让渡，商业再分发图像前建议法务评估（§6.1）。

问 15：下载要注册或申请吗？ 不需要，gated=false，HF 直下；GitHub 代码同样公开可见；官方 leaderboard 浏览即可看。

问 16：HF 页面的 downloads 9,628 怎么读？ 抓取时点 2026-10-03 的累计下载数，含脚本拉取；likes 65。这两个数只反映热度不反映质量，引用时注时点。

问 17：有中文版或翻译版吗？ 官方只有英文原版；未见官方认可的中文版本，任何翻译产物都是第三方工作，成绩与原版不可比。

问 18：怎么固定数据版本？ HF revision 7e7c465a68eb2b866926bfa59c8c9d17a8daba65；load_dataset 传 revision 参数或 huggingface-cli 指定；论文对比实验务必锁定。

组四：评测与引用（问 19 至问 24）

问 19：我的模型该报哪个子集？ 多模态模型报全量（Text + MM）；纯文本 LLM 只报 Text（论文口径如此）；只报其一时注明子集范围，勿写「MedXpertQA 总分」。

问 20：few-shot 还是 zero-shot？ 官方评估用 5 题 dev 做 few-shot 示例；社区也常用 zero-shot。两者成绩有系统性差异，对比实验必须统一设置并注明。

问 21：为什么我的复现成绩和榜单不一样？ 常见原因排序：答案清洗不一致（尤其 QVQ 与 DeepSeek-R1 的专用清洗，坑点 8）、提示模板不同、few-shot 与 zero-shot 设置不同、数据 revision 漂移、MM 图像对齐方式不同。逐项排查后仍有大偏差再质疑上游（排查表见 §7.6）。

问 22：o1 的 44.67 能直接引用吗？ 能，但必须带「MM 子集、10% 抽样评估（seed=42）」双重限定（坑点 5）；论文中它是唯一超过人类基线 42.60 的模型。

问 23：llm-stats 上的 Muse Spark 78.4% 是官方的吗？ 不是。那是第三方追踪站的社区实测口径（2026-06 更新），与论文 Table 4 的官方口径不可混排（坑点 8）。

问 24：引用时写什么？ 论文引 arXiv:2501.18362（doi 10.48550/arXiv.2501.18362，ICML 2025）；数据引 HF TsinghuaC3I/MedXpertQA 并注 revision；代码引 GitHub 仓库；成绩注明子集与抽样限定。完整句式参考 §6.2。

组五：延伸与互链（问 25 至问 32）

问 25：和 Humanity’s Last Exam 是什么关系？ 同属「前沿难度压榨」浪潮：HLE（arXiv:2501.14249）面向通科极限难题，MedXpertQA 聚焦医学专科；两者共享「人类与模型都被压低」的叙事，引用时可互为佐证。

问 26：DeepSeek-R1 的成绩为什么重要？ 它是 Text 组最强 LLM（37.76），且与其非推理底座 DeepSeek-V3（24.16）的巨大差距是「推理时扩展有效」的最干净对照——同源模型，唯一变量是推理机制。

问 27：HuatuoGPT-o1 与 MedReason 是什么？ 两项医学推理链工作（arXiv:2412.19437 与 arXiv:2504.00993），常引用本基准检验推理链方法在专家级难度下的增益，是引文网络的方法侧锚点。

问 28：O1 Replication Journey 为什么引用它？ o1 复现研究（arXiv:2501.06458）需要区别于饱和基准的标尺，MedXpertQA 的 Reasoning 子集是其自然选择之一。

问 29：库内哪些条目与它构成直接对照面？ 五大多模态基准 slake(250)、vqa-rad(240)、pathvqa(260)、pmc-vqa(270)、omnimedvqa(290)——论文对其「仅考基础视觉感知」的批评正是 MM 子集的设计靶心。

问 30：想研究难度梯度怎么设计实验？ 纵轴用库内 medmcqa(111)（易）→ gmai-mmbench(562)（中）→ 本基准（难）做同模型梯次评测；横轴可加 headqa(120) 控制语言变量，加 ehrxqa(646) 控制临床场景变量。

问 31：它的成绩能说明模型「会看病」吗？ 不能直接推断：考试题与真实诊疗存在形式与分布差距，成绩只说明「在专家级考试形式下的相对强弱」，临床有效性需真实世界研究补充。

问 32：后续会更新吗？ HF 仓库 lastModified 实测 2025-07-09，模型阵容以论文 v3 与 README 现行为准；新版本动向以官方三件套为第一信源，引用时注明所用版本。

组六：误用与急救（问 33 至问 40）

问 33：发现公开材料里的数字与论文对不上怎么办？ 先查 §9 坑点与附录 F 的快照对照，确认是「多口径」还是「真错误」；本条目收录的口径差异都有存照，直接引用存照口径即可。

问 34：把 MedXpertQA 成绩和 MedQA 成绩放一张表行吗？ 可以并排，但必须标明两者难度代际不同（96% 对 40 分上下），并避免用分差做「能力倍数」类换算。

问 35：审稿人质疑我的复现成绩偏低怎么办？ 按 §7.6 排查表逐项自证：revision、清洗路径、few-shot 设置、题数校验值，四项齐了即可回应。

问 36：可以只用 Reasoning 子集发论文吗？ 可以，但标题与结论必须写明「reasoning-oriented subset」并注 gpt-4o 标注来源（§3.2），不得写成全集成绩。

问 37：图像打不开或对应错位怎么办？ 核对 images 字段文件名与解压目录的层级拼接，并校验 images.zip 字节数（§3.1）；镜像下载场景优先怀疑截断。

问 38：想给题目加中文翻译再评测行吗？ 技术可行但成绩与官方口径不可比，发布时必须声明「翻译自建版本」，且不得与原版混排排名。

问 39：发现疑似标注错误向哪里反馈？ GitHub 仓库提 issue，附题目 id（如 MM-26）与理由；官方以持照医师审核结论为准。

问 40：一年后这份条目会过期吗？ 数字类内容锚定抓取时点 2026-10-03；榜单与引用数会漂移，坑点与口径存照部分长期有效——过期的主要是「热度数字」，不是方法论与结构。

事实清单：核心数字 40 条

题目总量 4,460 = Text 2,455 + MM 2,005（HF 逐行实测与论文 Table 1 双源一致）。
MM 子集图像 2,839 张（论文 §3 口径；第三方实测 2,852，差异 13 张未决，坑点 7）。
Text split：dev 5 / test 2,450；MM split：dev 5 / test 2,000。
选项形式：Text 10 选 1、MM 5 选 1；随机基线 10% / 20%。
构建漏斗：37,543 → 4,683（Text 2,578 + MM 2,105）→ 4,460，保留率约 11.9%。
文件字节实测：Text/dev 13,465 B；Text/test 4,163,223 B；MM/dev 8,254 B；MM/test 2,017,059 B；images.zip 517,130,457 B。
HF usedStorage 520,420,025 B；revision 7e7c465a68eb2b866926bfa59c8c9d17a8daba65。
MM test question_type：Reasoning 1,446 / Understanding 554。
Text test question_type：Reasoning 1,861 / Understanding 589。
MM test medical_task：Diagnosis 1,199 / Treatment 448 / Basic Science 353。
Text test medical_task：Diagnosis 1,050 / Treatment 746 / Basic Science 654。
MM test body_system 12 取值：Skeletal 491、Cardiovascular 320、Nervous 231、Integumentary 225、Respiratory 192、Digestive 168、Reproductive 98、Lymphatic 81、Endocrine 74、Urinary 56、Muscular 46、Other/NA 18。
每题图像 1 至 6 张，均值 1.43；分辨率 323×34 至 4248×2144；图像 10 类。
人类分层过滤：adaptive Brier score，三档自适应阈值（25th / 3rd 百分位锚定）；约 16.78% 题目缺标注未过此关。
AI 过滤：8 个 AI 专家模型 × 每题 14 次采样投票。
增强后选项数：Text 10、MM 5，由两个专有模型（未具名）重写题干并扩充选项。
抽检 10%（Text 490 + MM 400 = 890 题），错误题 28 + 11 = 39，错误率约 4.3%。
防泄露：PPL 1.03×10²¹⁸（合成前）→ 1.35×10²⁴⁷（合成后），ROUGE-L 与编辑距离同测，结论泄露风险低。
人类作答分布：多数题 ≥500 条记录，最高 238k；不足 200 题缺作答数据。
人类基线 Expert (Pre-Licensed) MM：41.74 / 45.44 / 平均 42.60。
o1（MM，10% 抽样 seed=42）：46.24 / 39.66 / 平均 44.67——论文中唯一超人类基线的模型。
GPT-4o：MM 30.37；Text 42.80；跨子集总均 35.96（vanilla LMM 最强）。
DeepSeek-R1 Text 37.76（R 37.88 / U 37.35）为 LLM 组最强；o3-mini‡ 37.30。
其余代表成绩：QVQ-72B 27.06（总）、Claude-3.5-Sonnet 26.65、Gemini-1.5-Pro 26.16、DeepSeek-V3 24.16、Claude-3.5-Haiku 17.76、QwQ-32B-Preview 18.00。
推理时扩展三组对照（DeepSeek-R1 对 DeepSeek-V3 等）方向一致：推理模型增益显著。
难度反差：o1-preview 在 MedQA-USMLE 96%、MMLU Medical Genetics 99%，在本基准大幅低于此。
版本链：arXiv v1 2025-01-30 → v2 2025-02-20 → v3 2025-06-06（ICML camera-ready）。
许可：数据集 MIT；论文 CC BY 4.0；仓库 LICENSE 文件 2025-09-07 才补建（滞后约七个月）。
HF 指标（2026-10-03）：downloads 9,628 / likes 65；Google Scholar 引用约 190 次（快照 187、193 与 199）。
17 specialties 覆盖 ABMS 25 个 member board 中的 17 个；11 body systems（另有 Other/NA 兜底 18 题）。
题源六类：USMLE、COMLEX-USA、17 个专科委员会考试、ACR DXIT 与 TXIT、EDiR、NEJM Image Challenge。
作者 9 人：共同一作 Yuxin Zuo 与 Shang Qu；通讯 Ning Ding 与 Bowen Zhou；Qu、Ding、Zhou 三人同时挂上海AI实验室。
资助三项：国家科技重大专项 2023ZD0121403、中国科协青年人才托举 2023QNRC001、NSFC No. 62406165。
HF task_categories 登记为 table-question-answering、question-answering、text-generation；数据卡标签含 medical、question-answering、multimodal、reasoning、expert-level。
GitHub 评估入口：main.py（多线程推理）+ eval.ipynb（算分）；OpenCompass 集成于 2025-04-08（PR #2002）。
抓取通道存照：本条目编写经 hf-mirror.com 完成 HF 全量抓取；官方 leaderboard 为 JS SPA，静态抓取不可得。
评估设置：官方 few-shot 示例取自各子集 dev 的 5 题；few-shot 与 zero-shot 成绩有系统性差异，不可混排。
推理子集：question_type = Reasoning 的子集称 reasoning-oriented subset，用于 o1 类模型专项评估；标签为 gpt-4o 辅助标注。
人类基线限定：Expert (Pre-Licensed) 仅有 MM 行；Text 子集未设人类基线行，人机差只能在 MM 上讨论。
代码组织：TsinghuaC3I org 下发布；评估两入口 main.py 与 eval.ipynb；README 原文警告 QVQ 与 DeepSeek-R1 的专用清洗。

术语表：缩写与专有名词

术语	全称与释义
MedXpertQA	本条目数据集名；Expert-level Medical QA 的合成词
Text / MM	纯文本子集 / 多模态（Multimodal）子集
USMLE	United States Medical Licensing Examination，美国医师执照考试
COMLEX-USA	Comprehensive Osteopathic Medical Licensing Examination，整骨医学执照考试（含骨科影像特色）
ABMS	American Board of Medical Specialties，美国医学专科委员会（25 个 member board）
ACR	American College of Radiology，美国放射学会
DXIT / TXIT	ACR 的放射学诊断（Diagnostic）与治疗（Therapy）在训考试
EDiR	European Diploma in Radiology，欧洲放射委员会文凭考试
NEJM Image Challenge	新英格兰医学杂志图像挑战专栏
MCQ	Multiple-Choice Question，多选题
adaptive Brier score	基于作答记录的概率预测评分标定法（Zhu et al. 2024）
PPL	Perplexity，困惑度；防泄露评估度量之一
ROUGE-L	基于最长公共子序列的文本重叠度量
few-shot / zero-shot	提示词中携带示例 / 不携带示例的评估设置
LMM / LLM	大型多模态模型 / 大语言模型
reasoning at test time	测试时扩展推理深度（o1 类模型的核心机制）
reasoning-oriented subset	question_type = Reasoning 的题目子集
gated	HF 数据集访问控制；本数据集 gated=false 即免登录
revision	HF 数据集版本快照标识（git commit sha）
OpenCompass	上海AI实验室发起的开源评测框架（PR #2002 集成本基准）
EvalScope	阿里系开源评测框架，–datasets medxpertqa 启用
DAIMS	Discoverability / Accessibility / Interoperability / Metadata / Sustainability 五维数据就绪度评估
body system	人体系统分类（Liachovitzky 2015 体系，11 系统）
member board	ABMS 体系下的专科委员会
Expert (Pre-Licensed)	尚未取得执照的备考医学生群体，本基准人类基线来源
QVQ-72B-Preview	阿里系多模态推理模型；MM 21.76 / Text 33.55；输出需专用清洗（坑点 8）
Muse Spark	Meta Superintelligence Labs 模型；llm-stats 第三方口径 78.4% 居首（非官方）
MedGemma	Google 医学专用模型系列，1 与 1.5 版官方报告采用本基准
Lingshu	阿里 DAMO 医学模型，官方采用方之一
HuatuoGPT-o1	医学推理模型工作（arXiv:2412.19437），引文网络锚点
MedReason	医学推理链数据与方法（arXiv:2504.00993），引文网络锚点
HLE	Humanity’s Last Exam（arXiv:2501.14249），通科极限难度基准
camera-ready	会议定稿版；本条目成绩以 ICML 2025 camera-ready（v3）为准
main.py / eval.ipynb	官方评估两入口：多线程推理调度 / 算分与专用答案清洗
plausible distractor	似真干扰项；选项增强（第四步）的目标产物
Other/NA	body_system 兜底类，MM test 18 题（坑点 3）
Seed2.0 / Qwen3.5	ByteDance Seed 与 Alibaba Qwen 的旗舰模型，官方采用方
EXAONE 4.5	LG 医学相关模型，官方采用方之一
issue 反馈	标注疑问经 GitHub issue 提交，附题目 id 与理由

附录

附录 A：条目信息速查卡

项	值
条目名	MedXpertQA
url_name	medxpertqa
类型	评测基准数据集（MCQ：Text + MM 双子集）
论文	arXiv:2501.18362，ICML 2025（v3 camera-ready 2025-06-06）
团队	清华大学 + 上海人工智能实验室（TsinghuaC3I）
作者	9 人；Yuxin Zuo 与 Shang Qu 共同一作；Ning Ding 与 Bowen Zhou 通讯
规模	4,460 题（Text 2,455 + MM 2,005）+ 2,839 张图像
许可	三层：数据集 MIT / 论文 CC BY 4.0 / 题源上游未让渡
资助	2023ZD0121403；2023QNRC001；NSFC No. 62406165
抓取时点	2026-10-03
库内互链	medmcqa(111)、headqa(120)、medquad(160)、emrqa(139)、slake(250)、vqa-rad(240)、pathvqa(260)、pmc-vqa(270)、omnimedvqa(290)、ehrxqa(646)、rxqa(719)、medcalc-bench(708)、xmedbench(727)、gmai-mmbench(562)、medhop(754)、chexpert-plus(740)、word(412)、cblue(190)、medmnist(716)

附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	9	arXiv + GitHub + HF + leaderboard 四入口齐全，名称独特无撞库；扣分项：leaderboard 为 JS SPA 不可静态抓取
A 可获取性	9	gated=false 全量直下，总占用约 496 MB，MIT 许可，无注册与申请环节
I 可互操作	8	jsonl 标准 + HF datasets + OpenCompass/EvalScope 双框架官方集成；扣分项：图像为 zip 包需自行对齐文件名，无 parquet 封装
M 元数据质量	8	论文表格完备（漏斗、分布、成绩），HF 卡字段齐全；扣分项：medical_task 取值不一致（坑点 2）、specialty 无逐题字段、17 专科无逐一清单
S 可持续性	8	学术机构维护 + 四大实验室采用形成生态锁定；扣分项：LICENSE 补建滞后七个月的先例、leaderboard 单点
综合评级	8.4/10（高）	获取与互操作接近满分；元数据的口径瑕疵是主要失分点，均已在本条目存照

附录 C：逐项证据链自证

关键数字	来源	位置
4,460 / 2,455 / 2,005	论文 Table 1 + HF 四文件逐行实测	双源一致
37,543 → 4,683 → 4,460 漏斗	论文 Table 1	论文 §3
2,839 张图像 / 10 类 / 均值 1.43	论文 §3	论文正文
文件字节与 revision	HF API（经 hf-mirror 实抓）	本条目编写时实测
test 集字段分布（task/type/body_system）	四文件逐行统计	本条目编写时实测
人类基线 42.60 与 o1 44.67	论文 Table 4	论文 §4
错误率 4.3%（39/890）	论文 §3.4	论文正文
PPL 1.03×10²¹⁸ → 1.35×10²⁴⁷	论文 §5.1	论文正文
16.78% 缺标注	论文（adaptive Brier 段）	论文 §3
模型阵容与 ‡ 抽样标注	论文 §4.2 与 Table 4 脚注	论文正文
采用清单	GitHub README Benchmark Adoption	仓库实抓
MIT / CC BY 4.0 / LICENSE 滞后	GitHub LICENSE + HF cardData + arXiv 页脚 + 提交史	多源互证

附录 D：研究者检查清单（15 项）

锁版本：所有实验固定 HF revision 7e7c465a68eb2b866926bfa59c8c9d17a8daba65，并在论文中注明。
分子集报告：Text 与 MM 分开报，注明选项数（10 选 1 / 5 选 1），不做跨子集差值（坑点 6）。
抽样限定：引用 o1 或 o3-mini 成绩必须带「10% 抽样、seed=42」（坑点 5）。
口径声明：模型数量按论文摘要 18 引用并注 README 口径 17（坑点 1）。
字段兼容：过滤脚本同时接受 Basic Science 与 Basic Medicine 两种取值（坑点 2）。
兜底类处理：body_system 分层统计单列 Other/NA 18 题（坑点 3）。
专用清洗：复现 QVQ 与 DeepSeek-R1 使用 eval.ipynb 专用逻辑（坑点 8）。
设置统一：few-shot（5 题 dev）与 zero-shot 不得混排对比。
许可分层：数据声明写 MIT；论文引用按 CC BY 4.0；图像商用做上游权利评估（坑点 4）。
榜单来源：官方数字引论文 Table 4 或 GitHub README；第三方榜单（llm-stats 等）显式标注非官方口径（坑点 7、坑点 8）。
子集命名：报告里区分 MedXpertQA Text 与 MedXpertQA MM，勿简写为单一「MedXpertQA 分数」。
人类基线限定：人机差只在 MM 上讨论，Text 无人类基线行（§7.2）。
翻译自建：翻译版成绩独立成口径，不与原版混排（问 38）。
dev 用途：5 题 dev 只作 few-shot 示例，不入 test 统计（§3.1）。
引用双源：成绩引论文 Table 4，数据引 HF revision，两者缺一不可（附录 C）。

附录 E：AI-Ready 就绪度对照

检查项	状态	说明
F1 元数据唯一标识	通过	HF dataset 卡 + 论文 doi + revision 三重标识
F2 结构化格式	通过	jsonl 逐行 JSON，字段 schema 明确
F3 领域词汇引用	通过	body_system 用标准生理学体系；medical_task 对齐考试大纲
A1 可访问协议	通过	HTTPS 直链 + HF API，gated=false
A2 元数据可访问	通过	元数据与数据同址开放
I1 互操作格式	通过	jsonl + zip 图像，主流框架原生支持
I2 词汇表引用	部分通过	medical_task 取值不一致（坑点 2）需下游兼容
R1 来源溯源	通过	六类题源在论文 §3.2 明示
R2 许可明示	部分通过	MIT 明确但曾滞后七个月（坑点 4）
R3 可复现流程	通过	评估代码开源 + 双框架集成 + 官方警告齐备
AI-Ready 综合	高	五维 DAIMS 8.4/10；元数据口径瑕疵均已存照可绕行

附录 F：版本与快照对照

对象	版本/时点	说明
论文	v1 2025-01-30 / v2 2025-02-20 / v3 2025-06-06	v3 为 ICML camera-ready，本条目成绩依据
HF 数据集	createdAt 2025-02-08 / lastModified 2025-07-09	revision 7e7c465a68eb2b866926bfa59c8c9d17a8daba65
GitHub LICENSE	2025-02 建库 / 2025-09-07 补建	滞后约七个月（坑点 4）
OpenCompass 集成	2025-04-08（PR #2002）	评估框架生态起点
Google Scholar 引用	快照 187、193 与 199	建议写「约 190 次」并注时点
HF 指标	downloads 9,628 / likes 65 @ 2026-10-03	热度参考
llm-stats 第三方榜单	2026-06 更新，12 模型	非官方口径（坑点 8）

附录 G：常见误读十纠

误读「人类医学专家只有 42 分」——42.60 是备考执照的医学生在「专为其保留难题」的题集上的聚合基线，且仅 MM 子集有此行；不是执业医师的能力评分。
误读「o1 得 44.67 是全量成绩」——10% 抽样（seed=42），引用必须带限定（坑点 5）。
误读「MM 分低说明多模态能力差」——MM 与 Text 难度参数不同，跨子集差值不构成定量结论（坑点 6）。
误读「4,460 题全是新造的」——题源是真实考试与题库，增强是改写与选项扩充，且有医师审核兜底；「合成」仅指增强环节。
误读「MIT = 题源无任何权利主张」——许可三层，上游考试主办方权利未被显式让渡（坑点 4）。
误读「dev 只有 5 题是数据残缺」——few-shot development set 的刻意设计（论文 §3.1）。
误读「官方榜单可以脚本爬取」——JS 渲染 SPA，静态抓取返回空页（坑点 7）。
误读「llm-stats 的 78.4% 是官方口径」——第三方社区实测，模板与子集均不同（坑点 8）。
误读「17 个专科有逐一清单」——论文与 README 只给「17/25 member board」总数口径，逐一名单属待核事项。
误读「图像数两个口径随便用」——条目统一按论文 2,839 表述并注第三方实测 2,852（坑点 7），同一文档内混用会造成统计不一致。

附录 H：章节-事实覆盖自查表

编写时以下列对应关系保证「每个关键事实至少落位两章」，读者可按此表反向核对：

事实簇	主章节	交叉章节
规模与文件	§3.1	§0、§4.1、附录 A
漏斗与五步	§5.1、§5.2	§1 问 5、§5.3、§5.7
成绩与基线	§7.2	§1 问 7、§7.3、§7.5
许可三层	§6.1	§1 问 6、坑点 4、附录 D
采用与生态	§2.3、§8.3	§0、§8.1、§8.4
口径存照	§9	全文各坑点交叉引用

附录 I：下载与加载代码骨架

import os, json, urllib.request

os.environ.setdefault("HF_ENDPOINT", "https://hf-mirror.com")  # 受限网络用镜像；主站可达可删

BASE = "https://hf-mirror.com/datasets/TsinghuaC3I/MedXpertQA/resolve/main"
FILES = ["Text/dev.jsonl", "Text/test.jsonl", "MM/dev.jsonl", "MM/test.jsonl"]

def fetch(path, out):
    req = urllib.request.Request(BASE + "/" + path,
                                 headers={"User-Agent": "qfh-research/1.0"})
    with urllib.request.urlopen(req, timeout=120) as r, open(out, "wb") as f:
        f.write(r.read())

for p in FILES:
    fetch(p, p.replace("/", "_"))

def load(fn):
    with open(fn, encoding="utf-8") as f:
        return [json.loads(line) for line in f if line.strip()]

text_test = load("Text_test.jsonl")   # 断言 len == 2450
mm_test   = load("MM_test.jsonl")     # 断言 len == 2000

# 图像（仅 MM 需要）：fetch images.zip 后 zipfile 解压，按 images 字段文件名关联

校验点：行数 5/2,450/5/2,000；字节 13,465/4,163,223/8,254/2,017,059；images.zip 517,130,457 B。三项对上即与条目实测版本一致。

附录 J：评估复现检查单（12 项）

固定 revision 7e7c465a68eb2b866926bfa59c8c9d17a8daba65（2025-07-09）。
行数断言 4,460（附录 I 校验点）。
label 与 options 键集合全量断言（Text A-J、MM A-E）。
Text 与 MM 分开统计，不合并平均（坑点 6）。
声明随机基线：Text 10%、MM 20%。
复用官方 eval.ipynb 或 OpenCompass/EvalScope，不自写答案清洗（坑点 8）。
QVQ 与 DeepSeek-R1 走专用清洗路径。
引用 o1/o3-mini 带「10% 抽样 seed=42」限定（坑点 5）；自跑全量须声明非论文口径。
few-shot 样例只取对应子集 dev。
图像路径按 images 字段文件名拼接，勿按 id 猜测。
medical_task 分层兼容 Basic Science 与 Basic Medicine 双取值（坑点 2）。
成绩脚注标明评估日期、模型版本与子集口径。

附录 K：四 split 全分布总表（实测 2026-10-03）

split	n	Reasoning	Understanding	Diagnosis	Treatment	基础类	选项数
Text/dev	5	4	1	3	2	—	10
Text/test	2,450	1,861	589	1,050	746	Basic Science 654	10
MM/dev	5	4	1	2	2	Basic Medicine 1	5
MM/test	2,000	1,446	554	1,199	448	Basic Science 353	5

MM/test body_system：Skeletal 491（24.6%）、Cardiovascular 320、Nervous 231、Integumentary 225、Respiratory 192、Digestive 168、Reproductive 98、Lymphatic 81、Endocrine 74、Urinary 56、Muscular 46、Other / NA 18。骨骼近四分之一来自 COMLEX 骨科特色与放射来源——「全身均衡」分层实验前先对齐此分布（坑点 3 关联）。

附录 L：与库内医学 MCQ 基准对比总表

维度	MedXpertQA（本条目）	MedMCQA(111)	HeadQA(120)	MedQA 同类（库内无条目）
语言	英文	英文	西班牙语/英语	英文
考试层级	执照 + 专科委员会	印度 AIIMS/NEET-PG	西班牙 MIR	USMLE
题量	4,460	约 19.4 万	千至万级	约 1.2 万
选项数	10 / 5	4	4-5	4-5
随机基线	10% / 20%	25%	20-25%	25%
多模态	有（2,839 图）	无	无	无
人类作答背书	有（多数题 ≥500 条）	无系统公开	部分	无系统公开
防泄露机制	改写 + 扩选项 + 三指标检验	无	无	无
定位	难度顶点 / 专家级	规模最大 / 学生级	跨语言小样本	已被打穿的旧标杆

附录 M：论文对五个传统多模态基准的批评对照

基准（rid）	年份	论文批评要点（§1 归纳）	MedXpertQA MM 对应设计
VQA-Rad(240)	2018	范围窄、难度不足，只测基础视觉感知	执照级真题 + 病历形态题干
Path-VQA(260)	2020	图像标题自动生成的简单 QA 对	考试真题人工收集 + 医师审核
Slake(250)	2021	与真实临床场景脱节	题干嵌入病历与检查结果
PMC-VQA(270)	2023	缺临床相关性，忽略诊疗决策复杂度	诊断/治疗/基础三类覆盖
OmniMedVQA(290)	2024	多源拼盘、同质化简单题	17 专科 × 11 系统纵深网格

两层评测栈读法：五条传统基准筛查图文对齐底线，本条目度量距临床可用的差距——互补而非替代。

附录 N：库内互链条目分工详表（19 条）

条目（rid）	类型	与本条目的分工
medmcqa(111)	文本 MCQ	量大面广（约 19.4 万）对标难度纵深（4,460）
headqa(120)	文本 MCQ	西班牙语跨语言对照
medquad(160)	问答对	消费者级医学问答，非考试形态
emrqa(139)	问答框架	EHR 问答任务框架，无考题难度属性
slake(250)	多模态 VQA	传统感知层基准（论文点名）
vqa-rad(240)	多模态 VQA	同上（论文点名）
pathvqa(260)	多模态 VQA	同上（论文点名）
pmc-vqa(270)	多模态 VQA	同上（论文点名）
omnimedvqa(290)	多模态 VQA	同上（论文点名）
ehrxqa(646)	EHR 问答	结构化 EHR 时序推理互补
rxqa(719)	药物 QA	药物知识垂直能力
medcalc-bench(708)	计算推理	医学计算类垂直能力
xmedbench(727)	综合评测	通用医学能力横评
gmai-mmbench(562)	多模态综合	通用医疗多模态（广义科室覆盖）
medhop(754)	多跳推理	多跳阅读理解互补
chexpert-plus(740)	影像报告	影像报告结构化（非 MCQ）
word(412)	内镜数据集	影像本体（非评测）
cblue(190)	中文医疗 NLP	中文医学语言任务
medmnist(716)	影像分类	轻量影像基准（AI-Ready 同档开放度）

附录 O：多口径集中登记表

编号	事项	口径 A	口径 B	口径 C	采信建议
N1	评估模型数	18（论文摘要）	17（GitHub README）	16（HF 论文页贴文）	论文 v3 的 18；引 README 注 17
N2	基础类取值	Basic Science（test 实测）	Basic Medicine（dev 实测 + 文档）	—	过滤代码匹配双取值
N3	人体系统数	11（论文）	12 取值（实测含 Other/NA）	—	写 11 系统 + 兜底
N4	许可	MIT（数据集）	CC BY 4.0（论文文本）	题源上游未让渡	分层引用（坑点 4）
N5	引用数	187（快照 1）	199（快照 2）	193（快照 3，2026-10-04 复核）	写「约 190」并注时点
N6	MM 图像数	2,839（论文）	2,852（evalscope 第三方实测）	—	引论文口径注第三方（坑点 7）
N7	o1 成绩	MM 抽样 44.67（论文）	第三方榜单另有口径	—	只引论文 + 抽样限定

附录 P：维护计划与触发点

触发事件	维护动作
HF sha 变化（新 split/字段）	重跑附录 I 校验，更新 §3 分布与附录 K
论文 v4+ 或期刊版	核对阵容与成绩表，更新坑点 1
GitHub LICENSE/README 变更	核对许可与采用清单，更新 §6 与坑点 4
评测框架破坏性更新	复验附录 J 第 6/7 项
N6 图像数分歧获官方裁定	更新坑点 7 与附录 O
期刊版发表	增补正式出版信息与引用格式

附录 Q：成绩引用合规句式库（10 式）

「在 MedXpertQA Text 子集（十选一）上，DeepSeek-R1 全量平均 37.76%。」
「o1 在 MedXpertQA MM 子集的 10% 抽样评估（seed=42）中平均 44.67%，为论文中唯一超过人类基线的模型。」
「人类基线 Expert (Pre-Licensed)——备考美国执照考试的医学生人群——在 MM 子集平均 42.60%。」
「GPT-4o 在 MM 子集平均 30.37%（随机基线 20%）。」
「论文共评估 18 个模型（arXiv v3 摘要口径；GitHub README 现行 17 个）。」
「MM 与 Text 子集因选项数与过滤参数不同，成绩不可直接比较（论文原文声明）。」
「构建漏斗 37,543 → 4,683 → 4,460（论文 Table 1），终稿抽检错误率约 4.3%。」
「数据集为 MIT 许可（HuggingFace TsinghuaC3I/MedXpertQA，revision 7e7c465a）。」
「第三方榜单（llm-stats，2026-06）Muse Spark 78.4% 为社区实测口径，与论文不可混排。」
「本条目成绩均指多选题准确率（Acc%），不外推至临床诊疗能力。」

附录 R：生产环境与命令清单（可复现实录）

# 数据实测（hf-mirror 全链路）
curl -s https://hf-mirror.com/api/datasets/TsinghuaC3I/MedXpertQA
curl -s https://hf-mirror.com/datasets/TsinghuaC3I/MedXpertQA/raw/main/README.md
curl -sL https://hf-mirror.com/datasets/TsinghuaC3I/MedXpertQA/resolve/main/Text/test.jsonl -o Text_test.jsonl
wc -l Text_test.jsonl    # 2450
curl -sL https://hf-mirror.com/datasets/TsinghuaC3I/MedXpertQA/resolve/main/MM/test.jsonl -o MM_test.jsonl
wc -l MM_test.jsonl      # 2000

# 论文全文（ar5iv 与 export.arxiv.org 在本环境不可达）
curl -sL -A "Mozilla/5.0" https://arxiv.org/html/2501.18362v3 -o paper.html

# slug 查重（库内，只读）
bash scripts/qf_psql.sh "SELECT record_id,url_name FROM ai_ready_dataset WHERE status=1 AND url_name ILIKE '%medxpertqa%';"

沙箱可达性存照：hf-mirror.com 全通；arxiv.org /abs/ 与 /html/ 可达；huggingface.co 主站、ar5iv、export.arxiv.org 不可达；medxpertqa.github.io 为 JS SPA 空页；Semantic Scholar 429 限流（引用数改经 Google Scholar 快照双值存照）。

附录 S：中英术语对照

英文	中文	备注
expert-level	专家级	对齐执照与专科委员会考试层级
specialty board	专科委员会（考试）	ABMS 体系，覆盖 17/25
body system	人体系统	11 个 + Other/NA
reasoning-oriented subset	推理导向子集	question_type=Reasoning
distractor	干扰项	增强阶段删除低质干扰项
data leakage	数据泄露	PPL/ROUGE-L/编辑距离三指标检验
inference-time scaling	推理时扩展	o1 类测试时算力换精度范式
pre-licensed	执照考前（人群）	人类基线来源身份
gating	准入门控	HF gated=false 即免审直下
revision	数据版本号	固定 sha 保可比
board certification	专科委员会认证	ABMS member board 资质体系
few-shot development set	小样本开发集	每子集 5 题

附录 T：字段数据字典（JSONL 逐字段）

{
  "id": "MM-26",               // string，子集前缀+编号；test 内唯一
  "question": "A 70-year-old female ... Answer Choices: (A) ... (E) ...",
                               // string，题干；文末内嵌 Answer Choices 全文（与 options 冗余）
  "options": {                 // dict<string,string>，字母键 -> 选项文本
    "A": "Erythema infectiosum",
    "B": "Cutaneous larva migrans",
    "C": "Cold agglutinin disease",
    "D": "Cutis marmorata",
    "E": "Erythema ab igne"    // MM 恒 5 键（A-E）；Text 恒 10 键（A-J），全量实测一致
  },
  "label": "C",                // string，单字母正确答案；打分与 options 键精确比对
  "images": ["MM-26-a.jpeg"],  // string[]，仅 MM 有；Text 记录为缺省键而非空数组
  "medical_task": "Diagnosis", // string；Basic Science / Basic Medicine 双取值并存（坑点 2）
  "body_system": "Lymphatic",  // string；11 系统 + Other / NA（坑点 3）
  "question_type": "Reasoning" // string；gpt-4o 按 prompt 标注
}

工程注记五条：其一，question 与 options 信息冗余，构造 prompt 二选一，勿拼两份选项清单；其二，Text 记录用 .get("images", []) 防键错误；其三，label 是键不是文本，精确比较即可；其四，body_system 取值含空格斜杠（Other / NA），枚举映射注意精确串；其五，四文件均 UTF-8 无 BOM，逐行 json.loads 零失败（实测）。

尾注：来源、时点与编写声明

本条目全部事实性内容基于以下来源，抓取时点 2026-10-03：论文 arXiv:2501.18362（v3，含 Table 1/4 与 §3/§4/§5）；GitHub 仓库 TsinghuaC3I/MedXpertQA（README、LICENSE、提交史）；HuggingFace 数据集 TsinghuaC3I/MedXpertQA（API 元数据、数据卡与四文件全量逐行统计，经 hf-mirror.com 通道）；官方 leaderboard 与 llm-stats.com 分别按坑点 7、坑点 8 的口径存照。

编写口径：所有数字保留原始精度，不做四舍五入改写；论文口径与实测口径冲突时按 §9 坑点存照处理并双注；待核事项（17 specialties 逐一名单、8 个 AI 专家模型清单、图像总数 13 张差异）均已在 §9 与事实层面显式标注，后续版本获得新证据时更新。本条目由千方病案医数集编写组撰述，遵循数据集 MIT 许可与论文 CC BY 4.0 的引用要求。

编写方法声明：本条目按 AI-Ready Wikipedia 规范撰述——各章可独立引用；关键数字均带章节回链（如「十个数字记忆卡」的展开位置列）；八处坑点构成引用前的强制检查面；DAIMS 评分（附录 B）为编写组基于多源核验的编者评估，非官方声明；条目结构与 frontmatter 遵循千方病案医数集条目模板（schema_org 含 cr:RecordSet 与 rai:dataLimitations）。

条目版本记录：v1.0（2026-10-03）初版——基于论文 v3、GitHub README 与 HF 全量实测的三源核验完成；坑点八条、事实四十条、FAQ 四十问、DAIMS 8.4/10。v1.0.1（2026-10-04）agent-d-medxpertqa-v2 接管复核修订——title 按 S2 规则补齐「— 中文副标题 —」段；修正四处章节编号重复（5.6、7.5、8.4、附录 H 各出现两次，后者分别改为 5.8、7.8、8.5、附录 T）；Google Scholar 引用数增补第三快照 193（2026-10-04 复核）。后续更新规则：仅在获得官方新版本（论文 v4、数据集新 revision、README 口径变更）或新证据（17 专科清单、AI 专家模型名单、图像总数差异落定）时升版，升版须更新附录 F 快照对照并重跑坑点核验。