EHRNoteQA：基于出院小结的临床大模型评测基准

EHRNoteQA 是一套用来考核大语言模型读病历能力的临床问答基准，建立在 MIMIC-IV 的出院小结之上。它共 962 道题，每道题对应一位不同患者，合计覆盖 1,659 份出院小结。题目先由 GPT-4 草拟，再由三位临床医生逐题删改，提供富文本开放题与五选一多选两套作答格式。数据集托管在 PhysioNet，版本 1.0.1，DOI 10.13026/acga-ht95，论文发表于 NeurIPS 2024 数据集与基准专题。

它要补的缺口很具体。此前的临床问答集大多只看单份笔记、只覆盖有限主题，题目还常沿用固定模板，模型答对未必等于能读懂病历。EHRNoteQA 让一道题横跨同一位患者的多份出院小结，并把干扰项改成必须回到原文才能分辨的选项。作者报告，模型在这套题上的得分与临床医生人工打分的相关性，高于在若干既有基准上的得分。

第一次接触这套数据，建议先读规格表与主题分布两节，确认它覆盖的文书类型和时间跨度是否匹配你的场景；再看作答格式一节，决定用多选还是开放题口径。需要留意的是，数据须经 PhysioNet 认证访问并签署使用协议，不能匿名下载，检索时也要分清题目数量、患者数量与笔记数量这三个不同的计数对象。

§1 它是什么

1.1 一句话定义与边界

EHRNoteQA 是一个评测基准，不是一份原始临床语料。它不采集新病人、不做新的去标识，也不改动 MIMIC-IV 的原始文本；它做的事情是在既有去标识出院小结之上，构造一批带标准答案的临床问题，并为这些问题配上可复现的评分方法。因此它的价值在于「怎么问」和「怎么判」，而不在于「有多少数据量」。

边界也因此清楚：它评估的是模型读懂文书并据以作答的能力，不评估模型能否生成文书、能否做诊断决策、能否与结构化检验值对齐。任何把 EHRNoteQA 分数直接当作「临床可用性」结论的引用，都超出了作者原意。

把这句话再推一步：出院小结是医师在患者离院时写给下一位接诊者的文书，它的功能是让接手的人在三五分钟内明白「这个人因为什么来、做了什么、走的时候什么状态、回去后要注意什么」。这四个问题恰好就是 EHRNoteQA 题目分布最集中的地方——治疗、病因、评估、主要问题。反过来说，出院小结里不写的东西，比如护理记录里的每班生命体征、影像原始报告里的征象描述、检验值的逐次变化，这套基准也就考不到。想测模型能不能从连续监测数据里读出趋势，用这套题会得出误导性的结论。

还有一层容易被忽略的区别：问答与信息抽取不是一回事。抽取任务的输出是结构化槽位，错一个槽位就是错；问答任务的输出是一段话，其中可能包含正确答案也可能包含噪声。EHRNoteQA 采用问答形态，是为了贴近医生向助手提问的方式，但这也意味着评分不得不依赖判定模型去读一段自由文本，而不是逐字段比对。评分方式的选择反过来限制了它能测什么——它更适合比较不同模型的相对高低，不适合用来断言某模型在某个字段上的准确率。

1.2 出处与身份标识

项	内容	证据强度
全称	EHRNoteQA: An LLM Benchmark for Real-World Clinical Practice Using Discharge Summaries	A（官方页与论文一致）
数据集托管	PhysioNet，项目名 ehr-notes-qa-llms	A
当前版本	v1.0.1，发布于 2024-06-26；首版 v1.0.0 发布于 2024-04-03	A
本版本 DOI	10.13026/acga-ht95	A
最新版 DOI	10.13026/mjgm-x360	A
论文	arXiv:2402.16040，v5 修订于 2024-11-11；NeurIPS 2024 Datasets and Benchmarks Track	A
代码仓	github.com/ji-youn-kim/EHRNoteQA	B（官方页给出链接，未逐一核验仓库内容）
署名团队	Sunjun Kweon、Jiyoun Kim、Heeyoung Kwak、Dongchul Cha、Hangyul Yoon、Kwanghyun Kim、Jeewon Yang、Seunghyun Won、Edward Choi	A

项目名与论文简称不一致，是检索时第一道坎：PhysioNet 的项目名 ehr-notes-qa-llms 是「EHR note QA for LLMs」的连写，按论文名 EHRNoteQA 在 PhysioNet 站内搜索不一定能直接命中。同样的坑在文献检索里还有第二种：不少二次引用把这份数据写成「出院小结问答数据集」，读起来像是原始语料库，实际它是带标准答案的题目集。搜到结果后先看它是「数据集」还是「基准」，能省掉一轮误读。

版本上还有一处需要留心。v1.0.0 发布于 2024 年 4 月，v1.0.1 发布于同年 6 月，两次相隔不到三个月，说明首版发布后做过一次较快的内容修正。官方页未逐条列出两版之间改了什么，因此若手上同时有两条不同来源的引用指向「EHRNoteQA」，先对齐版本号再比较数字，是必要的核对动作。

1.3 与母数据集的关系

源数据是 MIMIC-IV-Note v2.2（DOI 10.13026/1n74-ne17），即贝斯以色列女执事医疗中心（Beth Israel Deaconess Medical Center，BIDMC）2008 至 2019 年间去标识化的出院小结。论文给出的母库规模是 331,794 份出院小结、145,915 位患者，平均每位患者 2.3 份。EHRNoteQA 从中抽出的 962 位患者，论文称覆盖了 MIMIC-IV 约 70% 的患者（按论文对 Level 1 与 Level 2 两组的分层描述）。

这层血缘决定了三件事：其一，使用 EHRNoteQA 必须同时遵守 MIMIC-IV 的使用条款与引用要求，而不能只引 EHRNoteQA；其二，BIDMC 的单中心书写风格会原样带进题目；其三，MIMIC-IV 的时间跨度是 2008 至 2019，题目反映的是那个时期的临床表述与文书规范。

论文称两级合计覆盖 MIMIC-IV 约七成患者。这句话要配合抽样方式一起读：MIMIC-IV 的患者按累积出院小结长度被切成若干段，EHRNoteQA 的 Level 1 从其中一段抽样、Level 2 从更长的一段抽样，被切出去的那几段患者不在基准范围内。这解释了为什么题目不是均匀撒在全库上——它是按篇幅分层抽样的结果。

这条抽样逻辑还有一个衍生影响：多次入院的患者，其出院小结之间存在时间上的前后承接关系。作者在每份笔记前注入患者 ID、入院 ID 与记录时间，正是为了让模型能分清「这是第一次住院的小结，那是第二次住院的小结」。临床医生读病历时会自然建立这条时间线，模型不会——除非输入里显式给了线索。把这一点理解透，才能明白为什么同一批题在加了元数据与不加元数据的情形下表现可能不同。

§2 数据构成

2.1 规格表

维度	数值	字段可靠性
问答对	962	官方页与论文摘要一致
患者数	962（一题一人）	同上
出院小结总数	1,659	官方页与论文表格一致
初始采样患者	一千（Level 1 抽 550、Level 2 抽 450）	论文正文
初始题数	一千	论文正文
删题数	38	论文正文
改题数	206	论文正文
改答案数	338	论文正文
改干扰项数	966（干扰项池 3,842）	论文正文；3,842 由 962 × 4 推得
选项数	5（A–E，一正四误）	官方页字段表
主题数	10 类（论文摘要表述为 8 类，见表 3 实为 10 类）	论文表格；摘要口径冲突见 §6
评测模型数	27 个	论文摘要
主文件	EHRNoteQA.jsonl，962 行	官方页
源数据时间	2008–2019	官方页

前四项数字需要在脑中分开：962 是题数，也是患者数；笔记数是这些题覆盖的全部出院小结份数；一千则是初始采样规模。三个数各自对应流程的不同阶段，混用会让后续所有推算出错。

2.2 字段字典

字段	含义	取值	可靠性
question	临床问题文本	自由文本	A（官方字段表）
choice_A 至 choice_E	五个候选答案	自由文本	A
answer	正确答案	A / B / C / D / E	A
category	难度层级	Level1 / Level2	A
num_notes	该患者就医的出院小结份数	1 / 2 / 3	A
patient_id	患者标识	对应 MIMIC-IV 的 subject_id	A
clinician	审阅该题的医生	a / b / c	A

字段是薄的：一道题只有问题、选项、答案与几个标签，没有「出处句子」「证据位置」这类溯源字段。这意味着使用者无法从数据本身查证某道题的答案原文落在哪一段，只能自行回到对应患者的出院小结里比对。做误差分析时这是明显的限制。

字段设计里还有一处值得注意：clinician 只记录审阅医生是谁，不记录这位医生改了题的哪一部分。论文给了全局的修订统计——多少题被删、多少题被改、多少答案被修正、多少干扰项被替换——但没有给到逐题粒度的「这道题是否被改过」。想做「医生改过的题与医生未改过的题，模型表现是否有差异」这类分析，仅凭发布字段做不到，必须回到论文的汇总统计或联系作者索取。这不算设计缺陷，但它划定了这套数据能支持的研究问题边界。

另一个薄处是 answer 字段存的是字母而非文本。开放题口径下，模型自由作答，评分时需要把参考答案的字母还原成选项文本才能当作参照答案；多选题口径下，答案键直接可用。使用两套口径时，这层转换要在预处理里显式处理，否则会出现「参考答案是『C』、模型答了一段话」的对照失败。

2.2b 一行是什么样子

把一道题拆开看，数据结构大致是：

patient_id:  <MIMIC-IV subject_id>
category:    Level1 | Level2
num_notes:   1 | 2 | 3
clinician:   a | b | c
question:    <临床问题，自由文本>
choice_A..E: <五个候选答案>
answer:      A | B | C | D | E

一行不带任何文本原文。要答题，必须另行从 MIMIC-IV-Note 取回该患者的全部出院小结并按 charttime 排序拼接。这也是这套数据「体量小、门槛高」的具体体现：文件本身只有 962 行，真正的输入是靠患者 ID 去母库里拼出来的。

2.3 层级划分

作者按 2024 年主流模型的上下文长度把题目分成两级：

层级	累积笔记长度	笔记份数构成	患者数
Level 1	≤ 3,000 tokens	1 份 264 人、2 份 265 人	529
Level 2	3,000–7,000 tokens	1 份 145 人、2 份 144 人、3 份 144 人	433

划分依据是当时多数开源模型只支持 4,000 tokens、部分支持 8,000 tokens，作者为提示词与输出预留约一千 tokens 的缓冲。这个设计在今天看有两个后果：一是两级之间的难度差主要来自篇幅而非临床推理复杂度，不能把 Level 2 得分低简单解释为「更难推理」；二是长上下文模型普及后，3,000 与 7,000 这两个门槛已经不再对应模型的实际上限，分层本身的区分度在下降。

把两级摊开看，样本的分布并不对称。Level 1 里有 264 位患者只有一份笔记、265 位有两份，几乎各占一半；Level 2 里三份笔记的患者 144 位，占比约三分之一。也就是说，跨三次入院取信息这类题全部落在 Level 2，Level 1 最多只跨两次。若研究问题聚焦「模型能否在多次住院之间建立时间线」，可用的样本只有 Level 2 中那一小群患者，而不是整个基准。

还有一个反直觉的地方：Level 2 的上限放在今天看非常低。实际使用中，若模型上下文远大于此，Level 2 的题对它而言并不构成「长上下文挑战」，反而更接近普通的多段文本阅读。这意味着同一套题在不同代际模型上的分数变化，混杂了「模型能力提升」与「这套题不再能测出长上下文差异」两个因素，跨年份比较时需要说明这一点。

2.4 主题分布

主题	示例问题	占比
Treatment（治疗）	患者左侧乳腺蜂窝织炎接受了什么治疗？	64%
Etiology（病因）	入院时肌酐为何显著升高？	20%
Assessment（评估）	二尖瓣修复是否成功完成？	19%
Problem（问题）	患者的主要问题是什么？	19%
Test Results（检查结果）	CT 扫描有哪些异常？	14%
Sign/Symptom（体征症状）	心肌梗死的首发症状是什么？	12%
History（病史）	急性阑尾炎前有无手术史？	12%
Plan（计划）	左锁骨下动脉狭窄的后续方案？	5%
Vitals（生命体征）	第二次住院期间血压范围？	3%
Instruction（医嘱指导）	膝关节置换后如何指导负重？	3%

一题可归入多个主题，故合计超过 100%。分布明显向「治疗」倾斜，而问「生命体征范围」或「医嘱指导」的题极少。若研究目标是考察模型对身体状态数值的读取能力，这套题的样本量并不充足。

主题表的读法有两处要小心。第一，这些比例是作者人工归类后统计的，论文没有给出归类的操作定义与标注者间一致性，因此「这道题算 Treatment 还是算 Plan」的判断可能因人而异。第二，比例用的是多标签口径，64% 的治疗类题目里可能同时包含病因或评估成分，按比例反推绝对题数会失真。

从题型构成看，这套基准的取向很清楚：它主要是事实性回忆加定位，而不是推理。治疗、病因、评估、主要问题四类加起来覆盖了绝大多数题目，这些问题的共同点是「答案在文书里有明确表述，模型需要找到它」。真正需要跨信息做推论的问题——比如「根据两次住院的用药变化，判断治疗方案是否在调整」——在主题表里没有单独类别，属于未被系统覆盖的部分。用它来宣称模型「具备临床推理能力」时，这是一处需要主动声明的边界。

2.5 两个作答格式

同一批题提供两种形态：

• 多选（multi-choice）：五个选项，一正四误，答案键为字母。
• 开放（open-ended）：只给问题与对应的出院小结，模型自由作答，参考答案为医生修订后的完整答案。

两套格式共用同一批患者与笔记，因此可以在同一批题上比较「模型能否在给定选项中识别正确答案」与「模型能否在没有选项时自行组织出答案」。两者的差距，是这套基准最有信息量的观察点之一。官方文档未披露两套格式的逐题对应关系是否完全一致，仅说明同一批问答对同时以两种格式提供。

两套格式对模型的压力点不同。多选题的难点在排除：五个选项都在原文语境下看似成立，模型必须找到否定其余四项的那处细节。开放题的难点在组织：没有选项做锚点，模型得先定位到相关段落，再自行概括，容易答得不完整或加上原文没有的推断。同一道题上，一个模型可能多选答对而开放答错，这种组合恰恰说明它擅长识别而不擅长复述，是单一口径看不出来的信息。

从评测工程的角度看，两套格式的成本也不同。多选题的评分只需要一次判定调用，输入短、结果稳定；开放题的判定输入包含整份出院小结，长且噪声多，判定器更容易受模型回答篇幅影响——回答越长，越可能碰巧覆盖到参考答案的要点。因此比较开放题分数时，除准确率外还应同时报告回答长度分布，否则不同模型之间的差异可能来自篇幅策略而非知识水平。

§3 怎么拿到

3.1 访问级别

EHRNoteQA 在 PhysioNet 上标注为 Database Credentialed Access（认证访问）。这不是「注册即可下载」的开放数据集，也不是「填个表即发」的简化流程。完整条件如下：

环节	要求
平台账号	PhysioNet 注册用户
必修培训	CITI「Data or Specimens Only Research」课程证书
数据使用协议	PhysioNet Credentialed Health Data Use Agreement 1.5.0
审批	由 PhysioNet 审核通过后方可取得文件
继承义务	因派生自 MIMIC-IV-Note v2.2，须同时遵守父项目条款并一并引用
地理限制	官方页在部分地区显示「数据因法律或政策限制在当前地区不可用」

版权与许可方面，数据集采用 PhysioNet Credentialed Health Data License 1.5.0；论文本体依 arXiv 页面标注为 CC BY 4.0。两者是分开的，论文可以自由阅读与引用，数据本身则受认证访问约束。

需要说清楚的是：这套数据不提供公开直链，也不存在「先下下来再说」的路径。任何声称能直接给出 EHRNoteQA.jsonl 下载链接的第三方镜像，来源都不可信。

访问门槛带来的实际后果，是复现成本被推高。一个团队要跑通这套基准，得先走完培训、协议与审批，才能拿到 962 行的题目文件，之后还要再去母库取回对应患者的出院小结。两道门槛叠加，使得「看到论文结论、随手验证一下」这种轻量使用几乎不可能。这也是为什么围绕这套基准的第三方复现报告不多——不是因为它难跑，而是因为入场太慢。

从合规角度还有一点常被低估：即使拿到了 EHRNoteQA，也不等于拿到了 MIMIC-IV-Note 的全部内容。EHRNoteQA 只给了患者 ID，实际文本要从母库取。若某个团队只申请了 EHRNoteQA 而没申请母库访问，会卡在取文本这一步。两项权限要一起确认，否则会在数据准备阶段才发现缺件。

此外，数据使用协议对结果发布也有约束。PhysioNet 的认证数据通常禁止发布可直接反推个体的内容，模型输出、错误样例、论文附录里的原文摘录都可能触碰这一条。公开报告评测结果时，引用题目与答案要保持克制，用脱敏后的改写例而非原文照抄，是更稳妥的做法。

3.2 版本链

版本	发布时间	说明
v1.0.0	2024-04-03	首版
v1.0.1	2024-06-26	当前查阅版本

两个 DOI 并存：10.13026/acga-ht95 指向 v1.0.1，10.13026/mjgm-x360 指向最新版本。引用时须写明版本号，否则无法判断引的是哪一份。

3.3 拿到之后的第一步

文件是单个 JSONL，每行一道题。合理的首个动作不是立刻跑模型，而是做三件事：

1. 按 num_notes 分组统计，确认层级构成与论文表 2 是否一致，判断手上的版本有没有被裁剪。
2. 抽 10 到 20 道题，回到对应患者的出院小结里找答案原文，确认自己掌握了「跨多份笔记」的检索方式。
3. 按 clinician 字段分组看题目，观察三位医生的出题风格是否有系统差异；若有，做误差分析时要按医生分层。

这三步之外，还有一项容易被跳过但影响很大的准备：把判定模型的选择固定下来。因为多选题与开放题都要靠一个模型去判对错，判定器换了，历史分数就不能直接比。建议在项目一开始就写明判定所用模型、版本、提示模板与温度，并冻结下来，后续所有实验沿用同一套。如果必须更换判定器，应当同时用新旧两套判定器跑一批重叠样本，报告两者的一致率，作为分数可比的依据。

最后一项准备是记录运行环境。这套题的可比性来自「同一批题、同一套判定」，任何一环变动都会让分数解释变复杂。模型名称里常带版本后缀，同一名称在不同时间的服务端行为也可能不同；把调用日期一并记录下来，是日后回看结果时唯一可靠的锚点。

§4 质量与已知问题

4.1 构题流水线与修订量

题目不是直接从医生那里问出来的，而是四步走：

1. 采样：从 MIMIC-IV 随机抽一千位患者，Level 1 与 Level 2 分别抽 550 与 450 位。
2. 生成：GPT-4（0613 版本）两阶段提示，先生成「临床上有意义、医生真会问」的问题，再生成一个正确答案与四个干扰项。温度为 1，其余超参默认，经 Azure 的 HIPAA 合规平台调用。
3. 删题：三位临床医生各分 333 至 334 题，剔除临床价值不足者，删 38 题。
4. 改题、改答案、改干扰项：改写 206 道问题、修正 338 个答案、替换 966 个干扰项。

修订量的分布值得细看。962 道题里 206 道被改写，也就是约五分之一的问题措辞被医生动过；338 个答案被改，超过三分之一；3,842 个干扰项里换了 966 个，约四分之一。这说明模型的初稿在「临床相关性」上大体可用，但在「干扰项是否合理」上明显不足，医生的工作量集中在把一眼可判错的选项改成必须回原文才能分辨的选项。

审阅用了 Streamlit 展示题目与笔记、Google Sheets 收集修改，每位医生每 10 天处理 50 题，全程约两个月。生成整批题的模型调用成本约三千美元，折算下来每道题不到三美元。

这套流水线里最贵的一步不是生成，而是修订。生成一千道题的成本以千美元计，而三位临床医生两个月的工作量，按临床专家的时间成本折算远高于此。作者把成本记录写进论文，实际上是在提示后来者：做同类基准的瓶颈不在模型调用，而在医生审阅的排期与质量控制。想复刻一套不同机构、不同文书的版本，预算应当主要留给医生，而不是留给 API。

流水线还有一个隐含的设计选择：一题对一位患者。题目不跨患者，只跨同一位患者的多份笔记。这样做的好处是答案有明确边界——所有证据都在这一小叠文书里；代价是无法考察模型在多个患者之间做鉴别或比较的能力。若评测目标是「能不能从一堆病历里找出符合某条件的患者」，这套题帮不上忙。

4.2 质量保证的三条线

第一条线是医生逐题把关。 删题环节直接以「临床医生通常会不会这么问」为标准，这是把「模板感」挡在门外的主要手段。

作者在论文里对既有基准的批评，正好解释了为什么需要这条线。他们指出，早期的临床问答集要么只看单份笔记，要么只覆盖某个既有标注任务限定的主题，还有一类数据集里绝大多数题目沿用了上一代基准的模板句。模板句的特征是句式固定、变量位填充——同一句「患者的 X 是什么」换上不同的 X 就能批量生产。这类题在训练时可能有用，拿来评测则会让模型学到句式而非内容。EHRNoteQA 的应对方式不是自己设计模板，而是让模型在真实文书上提问、再由医生按「会不会真问」筛掉不自然的，等于用临床医生的判断力做去模板化。

第二条线是干扰项的合理化。 多选基准最常见的失效方式是选项本身泄题：错误选项错得太明显，模型不必读病历也能排除。作者的做法是把这类选项改为「基于出院小结的合理干扰项」，即错误项在原文语境下看似成立、但被某处细节否定。这是这套基准在设计上最有分量的一步。

为什么这一步重要，可以用一个具体的思考实验说明。假如题目问「患者第二次住院期间血压范围是多少」，而五个选项里四个明显离谱，那么一个完全没读病历、只按常识猜的模型也有相当机会答对。把四个干扰项改成「都在合理区间内、但只有一项与该次住院的记录吻合」，模型就必须真的找到对应那段记录。修订量的数字支持这个判断：近四分之一的干扰项被替换，说明模型初稿里这类「一眼可判错」的选项是普遍现象，而不是个别疏漏。

不过这条线也有它的上限。合理干扰项依赖医生对原文的熟悉，而医生各自分到三百多道题，逐题回查原文的成本有限。数据里没有「干扰项与原文的词汇重叠度」这类可复核的指标，外部使用者无法独立检验干扰项是否真的「合理」到需要读全文才能排除。这是一处只能信作者、不能自证的环节。

第三条线是评分方法的效度检验。 作者的评测不采用概率法，而用 GPT-4 判定模型输出对错，并把 GPT-4 的判定与临床医生的判定做过一致性比对，Cohen’s κ 在 0.757 至 0.880 之间，医生之间的一致性区间则是 0.808 至 0.903。多选题判定方法本身经过人工核验，准确率 98%。

为什么不用概率法，值得展开。概率法的做法是看模型在五个选项各自的输出概率，取最高者。它的问题在于把「生成」问题误当成「分类」问题：一个会推理的模型可能写出大段依据后再给出字母，此时字母所在位置的局部概率并不代表它真正的判断；反之，一个只会猜的模型也可能因为选项排列而出现概率尖峰。作者改用「让判定模型读完整回答再判对错」，本质上是承认模型的正确性体现在整段输出里，而不在某个 token 的概率上。

这套做法自身也引入了新的依赖：判定质量取决于判定模型。作者用人工核验过它在多选场景下的准确率，也用医生一致性检验过它在开放题场景下的可靠性，这是负责任的处理。但一致性检验回答的是「判定器与医生像不像」，不是「判定器一定对」——两者仍可能在同一处出错，只是错误方向一致。用这套分数做结论时，把「分数由判定器给出」这层信息一并交代，比只报数字更诚实。

4.3 假设—支持—反对

假设	支持	反对
这套题比既有基准更接近真实临床提问	题目由真实出院小结驱动，医生按「会不会真问」删题；与医生人工评分的相关性 Spearman ρ 0.78、Kendall τ 0.62，高于对比基准	相关性验证用的仍是 MIMIC 派生数据，且部分验证材料来自 MIMIC-III，作者本人称这是不可避免的妥协
跨多份笔记的题能测出长上下文能力	Level 1 与 Level 2 都含 1 至 3 次入院，题目可跨笔记取信息	层级按 token 长度切分，长度与推理难度没有分离，得分差不能直接归因于长上下文
医生修订消除了模板化	删 38 题、改 206 题，修订覆盖面广	底稿仍由 GPT-4 生成，医生是在模型草稿上改而非从零出题；模型自身的提问习惯可能以更隐蔽的方式保留下来
分数能预测模型在临床中的表现	与医生人工评分的相关性较高，且优于多个既有基准	单一机构、单一文书类型，2008 至 2019 的时间跨度，跨机构泛化性未经验证

四行里最需要谨慎引用的是第一行。相关性高只说明「这套题上的排序与医生打分的排序大体一致」，不说明排序的原因相同。医生给模型打分时看的是回答的整体合理性，这套题看的是特定问题的对错；两者在高分区重合，在低分区可能分叉——一个模型可能因为措辞得体而被医生打高分，却在具体事实上答错。反过来也可能。把相关性当作等价，是过度解读。

第三行的争议最有价值。模板化是否被真正消除，取决于一个外部研究者无法直接验证的假设：医生改动题目时，是否改变了模型草稿的提问视角。若医生只是润色措辞、保留原问法，那么模型自身的提问偏好仍完整保留在最终题目里。论文披露的是修订数量，不是修订性质，因此这一行只能标为「部分支持」。

第四行涉及所有基准的通病。单一机构意味着模型可以学到这家医院的书写惯例，而这种惯例在其他机构未必成立；2008 至 2019 的时间跨度意味着题目里的术语、缩写、治疗常规都带年代印记。这两点叠加，使得「在 EHRNoteQA 上表现好」与「在今天的医院里表现好」之间隔着一层没有测量的距离。

4.4 已知局限

官方文档与论文明确写出的局限有三条：跨数据集泛化性未知，因为公开可用的 EHR 语料目前只有 MIMIC 系列，在 MIMIC 上的表现不一定直接对齐其他机构；当前版本按当时的上下文长度切分，未来计划随更长上下文模型扩展到更多入院次数；当前只覆盖出院小结，未纳入放射报告、病程记录等其他文书。

此外还有几处文档未点明但可从设计推出的局限：

• 单中心书写风格。全部文本来自 BIDMC 一家医疗中心，该院医生的缩写习惯、章节顺序、套话结构会系统性地出现在题与答案里。模型可能学会的是「这家医院怎么写出院小结」，而不是「临床记录怎么读」。
• 出院小结本身是二手文本。它是出院时回顾撰写的摘要，不是住院期间的实时记录；信息在撰写时已被压缩与筛选。用它做出的题，考的是模型对摘要的读取，与实时病历阅读理解之间还有一层距离。
• 关键词捷径未被系统排查。论文未报告「去掉关键句后模型是否仍能答对」这类对照实验，也没有报告干扰项与原文的词汇重叠度。因此无法从文档层面排除模型靠词面匹配而非推理答对的可能。
• 题目难度没有分层标注。数据里只有 Level 1 与 Level 2 的篇幅标签，没有「需要几步推理」「需要跨几份笔记定位」这类难度标签。

把这些局限合起来看，它们不是互相独立的四条，而是同一条链上的不同环节。单中心带来书写风格偏倚；单文书类型带来信息面偏窄；出院小结的二手性质带来信息压缩；关键词捷径的可能则让上述三者的影响被进一步放大——如果模型本来就能靠词面匹配答对，那么它学到的可能只是这家医院的用词习惯。这条链的末端结论是：这套基准适合做同一模型族内部的相对比较，不适合做跨机构的绝对能力断言。

作者对跨机构问题的态度是坦诚的。论文明确写了，之所以用 MIMIC-III 体系内的材料来做相关性验证，是因为公开可用、可做研究的 EHR 语料目前只有 MIMIC 系列；他们同时承认，在 MIMIC 上的表现不一定直接对齐其他机构的出院小结。这句话的分量在于：它把「这套基准还不能回答的问题」写进了论文本身，而不是留给读者去发现。引用时保留这句限定，比删掉它更接近作者原意。

§5 能做什么

5.1 任务清单

用途	具体做法	注意事项
模型选型	在同一批 962 题上跑候选模型，比较多选与开放两种口径	两者的分数不可混用；须报告层级拆分
长上下文评测	只看 Level 2，观察模型在数千 tokens 量级输入下的稳定性	该层级与「推理更难」不等价
检索增强对比	对比「直接塞全文」与「先检索再答」两种策略	数据未提供证据句标注，检索评估需自建标注
误差分析	按主题分布分解错误率，定位模型薄弱环节	Treatment 类占 64%，其他主题样本量不均衡
判分方法研究	复现 GPT-4 判定，与医生判定比对	判定器的版本会影响可比性
提示词工程	在开放题口径上比较不同提示模板	多选题存在选项顺序敏感问题，需固定顺序

六项用途里，前两项最常被用到，也最容易被做错。做模型选型时，常见的错误是把所有题的分数平均成一个数，然后按高低排序。这样做会掩盖结构差异：一个模型可能强于治疗类问题而弱于检查结果类，平均下来分数相近，但适用场景完全不同。按主题与层级同时拆开报，才能看出这种差异。做长上下文评测时，常见错误是把 Level 2 的分数当作「长上下文能力」的度量，而忽略 Level 2 本身的篇幅上限并不高，测出来的更多是「多段文本阅读」而非真正的长文档处理。

后四项的用途更偏研究。检索增强对比这一项尤其值得做，因为出院小结的篇幅使得「全文塞入」与「先检索后答」两种策略的成本差距悬殊；如果检索策略能在大幅降低输入长度的同时保持分数，对实际部署的意义远大于一个模型排名。判分方法研究则是这套基准的附带价值：它把 LLM-as-judge 的效度问题摆到了台面上，任何想用模型批量判分的团队都能从中借鉴验证方法。

5.2 最小可执行示例

一个可跑通的最小流程，不需要改动数据结构：

1. 取一条记录：{patient_id, question, choice_A..E, answer, num_notes}
2. 按 patient_id 到 MIMIC-IV-Note 中取出该患者全部出院小结，按 charttime 排序
3. 在每份笔记前加上 subject_id / hadm_id / charttime 三行元数据（与作者预处理一致）
4. 拼接成输入，附问题；多选题附五个选项，开放题不附
5. 收集模型输出
6. 多选：把「模型输出 + 五选项 + 正确答案」交给判定模型，得 correct/incorrect
   开放：把「出院小结 + 问题 + 参考答案 + 模型输出」交给判定模型
7. 按 category 与 num_notes 分组汇总

第 3 步容易被忽略。作者在每份笔记前注入患者 ID、入院 ID 与记录时间，目的是让模型能区分同一患者的不同次入院；如果不做这一步，跨多次入院的题会因为笔记边界不清而无法作答，得分会被系统性压低。

5.3 结果怎么读

读数之前先问一个问题：这次跑出来的分数，要用来支撑什么结论。若结论是「模型 A 比模型 B 强」，只需要两套题的分数差距足够大且在同一判定器下产生；若结论是「模型 A 达到了临床可用水平」，则需要外部效度证据，而这份证据不在数据里，只能来自另一项与医生联评的研究。把这两个目标混在一起，是这类基准最常见的误用。

具体到报告规范，有四个字段建议一并写出，缺一项就会让解释空间变大：

字段	为什么必须写
版本号	两个补丁版本之间若有内容修订，绝对分数不可比
作答格式	多选与开放题的通过率不在同一量纲上
层级拆分	合并报会掩盖长文本处理能力的差异
判定模型与版本	判定器换代会让分数漂移

• 不要跨版本比较绝对分数。v1.0.0 与 v1.0.1 之间若有内容修订，分数不可直接对比；引用时须写明版本。
• 多选与开放题分开报。两者差距本身是结论的一部分：差距小说明模型确实在读文本，差距大则提示多选可能被选项线索影响。
• 按 Level 拆开报。层级对应的是输入长度，合并报会掩盖长文本处理能力的差异。
• 与医生人工评分的相关性是外部效度证据，不是内部结论。它说明这套题与临床医生的判断方向一致，不说明模型在真实临床中可用。

§6 常见误读与引用陷阱

常见说法	实际口径	证据位置
「962 份出院小结」	962 是题数也是患者数；出院小结总数另计，见计数口径对照卡	官方页规模段与论文表 1
「一千位患者的数据集」	一千是初始采样与初始题数；删 38 题后为 962	论文构题流水线
「题目由临床医生撰写」	底稿由 GPT-4 生成，医生删改	论文摘要与构题流水线
「覆盖八个主题」	论文摘要写 eight topics，表 3 与官方页实列 10 类	摘要与表 3 冲突，按表写
「多选准确率用概率法计算」	不用概率法，交 GPT-4 判定	论文评测方法节
「可以直接从 GitHub 下载」	数据须 PhysioNet 认证访问；代码仓只放代码	官方页访问级别
「这是 MIMIC-IV-Note 的一个子集」	是建在 MIMIC-IV-Note 之上的新基准，有独立 DOI 与独立论文	两者 DOI 不同
「分数越高说明模型临床可用」	只能说明在单中心出院小结问答上的表现	论文局限节

技术陷阱一：患者数与笔记数的换算。 若按「患者数 × 母库人均笔记数」估算笔记总量，得到的数会明显高于实际。原因是 EHRNoteQA 只取每位患者 1 至 3 次入院，且层级划分本身就在控制累积长度，不是全量入院。

技术陷阱二：Level 门槛的两套单位。 论文正文用 token 区间，官方页也沿用同一口径，但官方页同时用「每位患者笔记份数」描述层级构成。两种描述不是同一维度，按笔记份数反推 token 长度会出错。

技术陷阱三：patient_id 不是行号。 该字段对应 MIMIC-IV 的 subject_id，量级在数万到数十万之间，不是 1 到 962。做关联时必须用 subject_id 而不是「第几条」。

技术陷阱四：判定模型的版本漂移。 作者的 GPT-4 判定方法在 2024 年验证过一致性，但判定模型本身在更新。用不同年份的判定器复现，得到的分数未必可比，报告时应写明判定所用模型与版本。

技术陷阱五：论文版本差异。 arXiv 版本从 v1 到 v5 篇幅大幅缩减（PDF 体积从 8,319 KB 降到 988 KB），不同版本对同一流程的描述详略不同。引用表格数字时应写明 arXiv 版本号，或直接引 NeurIPS 2024 会议版。

技术陷阱六：双 DOI 混用。 10.13026/acga-ht95 是 v1.0.1 的 DOI，10.13026/mjgm-x360 是最新版本 DOI。引用时若不写版本，无法判断所引内容对应哪一版。

§7 在生态中的位置

7.1 与同类基准的分工

EHRNoteQA 在临床问答基准谱系里的位置，可以用「输入是什么、题型是什么、答案怎么判」三个维度看清：

基准	输入	题型	判分方式	与 EHRNoteQA 的关系
emrQA	单份临床笔记	抽取式问答	跨度匹配	主题受限于既有标注任务；EHRNoteQA 作者指出其模板化问题
MedQA	医学考试题	单选	答案比对	考医学知识，不考读病历
PubMedQA	文献摘要	是/否/不确定	答案比对	考文献理解，不涉患者文书
MedNLI/MEDIQA 系列	笔记或对话	推理/摘要	依任务而定	任务类型不同，不做问答
EHRSQL	结构化表	文本转查询	执行结果比对	考结构化查询，不考自由文本阅读
ArchEHR-QA	临床笔记	证据落地问答	事实性与相关性双轴	同为笔记问答，但要求逐句引用证据
EHRNoteQA	多份出院小结	开放 + 五选一	GPT-4 判定 + 医生比对	强调跨笔记与临床真实提问

这张表的核心区分不在规模，而在「是否要求模型回到原文定位」。EHRNoteQA 与 ArchEHR-QA 都建在 MIMIC 系列之上，前者考「答得对不对」，后者考「答得出处对不对」，两者互补而不重叠。

7.2 与母数据及派生项目的关系

MIMIC 系列的条目在本库中已有多条：MIMIC-IV 主库、MIMIC-IV-Note、MIMIC-III。EHRNoteQA 站在 MIMIC-IV-Note 之上，属于「用母数据造基准」这一支，与 EHRSHOT（少样本评测）、EHR-ReasonCon（笔记与结构化表的一致性核验）同属 MIMIC 生态下的评测类衍生品，但三者考察的能力各不相同。

需要提醒的是，MIMIC 生态的衍生品普遍继承两层限制：一是单中心，二是时间段固定在 2008 至 2019。任何跨衍生品的结论对比，都要先确认两者的患者采样是否有重叠。

这张谱系图还揭示了一个容易被忽视的事实：临床问答基准之间的差异，大多不在数据量，而在「答案的形式」。抽取式问答的答案是笔记里的一段原文，评价靠跨度匹配，优点是客观、缺点是只能覆盖原文明确写出的信息；五选一的答案是字母，评价靠比对，优点是稳定、缺点是选项本身可能泄题；生成的答案是自由文本，评价靠判定，优点是贴近真实使用、缺点是把客观性让渡给了判定器。三种形式各有代价，没有一种能够同时满足「客观」「开放」「贴近临床」。EHRNoteQA 选的是后两种的组合，这决定了它天生更适合做相对比较而非绝对裁决。

与它最接近的邻居是 ArchEHR-QA。两者都建在 MIMIC 系列之上、都以临床医生参与标注、都要求模型读笔记答题。差别在于，ArchEHR-QA 的问题是真实患者通过门户提出的，答案要求逐句引用笔记中的证据；EHRNoteQA 的问题多由模型草拟、医生筛选，答案只给对错不要求引用。前者更接近「可追溯的临床问答」，后者更接近「临床考试」。需要可解释性的场景选前者，需要规模化打分选后者。

7.3 适用与不适用

适合：需要给临床大模型做第一轮筛选的团队；研究长上下文临床文本读取的研究者；做判分方法（LLM-as-judge）效度研究的团队；需要一套有医生背书、可复现的临床问答题目的评测方。

不适合：想直接拿来做训练数据的团队（数据须认证访问，且规模只有九百余道题，训练价值有限）；研究影像、检验值、结构化时序的团队；需要多中心、多语言覆盖的团队；把分数当作临床部署依据的决策方。

还有两类团队值得单独提醒。一类是做中文临床 NLP 的：这套基准全部是英文出院小结，题目与选项也是英文，直接迁移到中文场景会遇到术语、缩写与文书结构的双重不匹配，至少需要一个本地化的对照基准才能形成有效结论。另一类是做小模型或端侧部署的：这套题的输入是多份完整出院小结拼接而成，对上下文长度的要求摆在明面上，参数量很小的模型往往连输入都装不下，分数偏低未必说明它不能用，而是任务本身对这类模型并不友好。

对医院信息部门来说，这套基准的实用价值在文档层面而非分数层面。它的构题流程、修订统计与评分方法，可以直接借来做内部评测集的设计模板：先定文书范围，再让模型出题，最后由临床医生删改，最重要的是把干扰项改到必须回原文才能排除。这套方法论不依赖 MIMIC，任何一家有出院小结电子化的医院都能照着做一版——前提是能凑齐足够资历的临床医生做删改，这一步没有捷径。

§8 总结

EHRNoteQA 把「临床问答评测」从模板题拉回到真实文书上：题数、患者数与笔记数分别对应三个不同的计数对象，本文已在规格表与误读表中逐一交代。它的三次修订（删 38 题、改 206 题、改 966 个干扰项）说明一件事：模型的初稿能覆盖临床相关的问题面，但对「什么样的错误选项才算合理」缺乏判断，这部分必须由医生补。

它的价值与局限同源。价值在于跨多份小结的提问设计与合理干扰项，这让它比单笔记、模板化的问答集更接近医生的实际提问方式；局限在于单中心、单文书类型与固定时间段，这让它的分数只能说明「在这家医院的出院小结上表现如何」。

使用时记住三句话：962 是题数不是笔记数；多选与开放题必须分开报；认证访问是硬门槛，不存在绕过的公开直链。

§9 附：关键数字速查与检查清单

9.1 引用前检查清单

• [ ] 写清了版本号（v1.0.0 或 v1.0.1）与对应 DOI
• [ ] 区分了题数、患者数、笔记数三个计数对象
• [ ] 写明所用的作答格式（多选或开放）
• [ ] 按 Level 1 与 Level 2 拆分报告
• [ ] 标注了判定所用模型与版本
• [ ] 一并引用了 MIMIC-IV-Note 父项目
• [ ] 未把分数直接表述为临床可用性结论

9.2 缩写表

缩写	全称	含义
EHR	Electronic Health Record	电子健康记录
LLM	Large Language Model	大语言模型
DUA	Data Use Agreement	数据使用协议
CITI	Collaborative Institutional Training Initiative	研究伦理与数据培训项目
MCQ	Multiple-Choice Question	多选题
BIDMC	Beth Israel Deaconess Medical Center	贝斯以色列女执事医疗中心
KAIST	Korea Advanced Institute of Science and Technology	韩国科学技术院

9.3 计数口径对照卡

这张卡片用于在写作、汇报、复现记录中快速对齐三个数字，避免混用。

问的是	答的是	对应阶段
有多少道题	962	医生删题之后的最终规模
有多少位患者	962	与题一一对应，一题一人
有多少份出院小结	一千六百五十九	被这些题覆盖的笔记总量，含同一患者多次入院
最初打算做多少	一千	采样患者数与初始题数，删题前

这三组数字的排列顺序恰好对应流程的时间顺序：先定采样规模，再生成题目，删题后定稿，最后统计覆盖的笔记数。任何一份二手材料若只给出其中一两个数字，都应当回原表补齐再引用。

9.4 复现记录模板

项	填写内容
数据集版本与 DOI
取得日期
作答格式	多选 / 开放
输入拼接方式	是否注入 subject_id、hadm_id、charttime
提示模板	版本或文本摘要
判定模型与版本
分层结果	Level 1 / Level 2 分开
主题分解结果	按十类或合并类
异常记录	解析失败、超长输入、空输出

模板的最后一行常被省略，却是复现时最难补回的信息。超长输入被截断、模型输出格式不合规导致判定失败、个别题在母库中找不到对应笔记——这些情况会静默地拉低或抬高分数，事后只能从原始日志里挖。记录得早，比事后回溯便宜得多。

§10 附：DAIMS 评估

DAIMS（Data and AI Model Scorecard）从数据与模型两个侧面给数据集打分，用于判断「这份数据能不能支撑它所声称的用途」。

维度	评分	依据
来源可溯	A	母数据为 MIMIC-IV-Note v2.2，有独立 DOI 与版本链；构题流程在论文中逐步描述
规模充分性	B	962 题足够做模型横向比较，但按主题拆分后部分类别样本不足百题
标注质量	B	三位临床医生逐题删改，修订量有据可查；但未报告标注者间一致性，也没有难度分层
复用门槛	C	需认证访问、CITI 培训与 DUA，复现成本高
评测效度	B	与医生评分相关性高于对比基准；但相关性验证仍在 MIMIC 体系内，跨机构效度未测
偏差披露	B	论文明确披露单中心与单文书类型局限；主题偏斜与关键词捷径风险未系统评估
文档完整度	A	官方页给出字段表、版本、许可、引用格式；论文给出完整构题流程与成本
长期维护	B	当前仅两个补丁版本，作者表示随长上下文模型扩展，但尚无新版发布

总体判断：作为评测基准，它的构造透明度与医生背书程度足以支撑模型横向比较；作为训练数据或临床部署依据，它的单中心与单文书局限构成硬约束。

§11 附：未覆盖内容

以下内容在官方页与论文中均未披露，任何引用都不应替作者补齐：

• 三位临床医生各自的专业背景、职称与所在机构
• 题目按难度（而非篇幅）的分层标注
• 每道题的证据句位置或原文出处标注
• 两个作答格式之间的逐题一致性说明
• 模型在 27 个评测对象上的完整逐项分数（论文表格未在本次核验范围内完整取回，故本文不引用任何单一模型的准确率）
• 患者采样是否存在与 MIMIC-IV 其他衍生集的潜在重叠

编辑说明

核验时间：2026-10-18。

核验方式与来源：

1. PhysioNet 官方项目页 https://physionet.org/content/ehr-notes-qa-llms/1.0.1/ —— 版本、DOI、字段表、许可与访问级别、规模数字。
2. arXiv:2402.16040 摘要页 —— 标题、作者、会议归属、962 题与 27 模型、相关性结论。
3. arXiv:2402.16040v5 全文 —— 构题流水线、修订量、层级划分、主题表、评测方法、局限节。

双口径冲突存照：

• 主题数：论文摘要写「eight diverse topics」，论文 Table 3 与官方页实列 10 类。本文按 10 类写，并在 §6 列入误读表。
• 作者名拼写：PhysioNet 写 Kwang Hyun Kim，arXiv 写 Kwanghyun Kim，为同一人。
• DOI：本版本 10.13026/acga-ht95 与最新版 10.13026/mjgm-x360 并存，两者均指向同一项目。
• Level 2 表述：论文 Table 2 各行为 145、144、144，合计 433；官方页将 433 称为「实例」而非「患者」，指同一批记录。

未取回内容：论文 Table 4（27 个模型 × 2 格式 × 2 层级的完整分数）未在本次核验中完整取得，故正文不引用任何单一模型的准确率数字。如需引用具体分数，应另行取回该表并注明 arXiv 版本。

下次复核：关注 PhysioNet 是否发布 v1.1 及以上版本（作者曾表示将随长上下文模型扩展），以及是否补充跨机构验证结果。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• medagentbench — 共享标签：医学问答与基准 / 电子健康记录 / 医疗NLP / 临床电子病历 / 评测基准
• ehrsql — 共享标签：电子健康记录 / 医疗NLP / 临床电子病历 / 医学问答 / 评测基准
• archehr-qa-bionlp-task-2025 — 共享标签：医学问答与基准 / 电子健康记录 / 医疗NLP / 临床电子病历 / 医学问答
• bedside-bench — 共享标签：医学问答与基准 / 电子健康记录 / 医疗NLP / 医学问答 / 评测基准
• emrqa — 共享标签：电子健康记录 / 医疗NLP / 临床电子病历 / 医学问答
• cliniq — 共享标签：医学问答与基准 / 电子健康记录 / 医疗NLP / 临床电子病历
• mimic-patient-json — 共享标签：电子健康记录 / 临床电子病历 / 医学问答 / 评测基准
• synsum — 共享标签：医学问答与基准 / 电子健康记录 / 医疗NLP / 临床电子病历 / 评测基准
• healthsearchqa — 共享标签：医学问答与基准 / 医疗NLP / 医学问答 / 评测基准
• claimify — 共享标签：医学问答与基准 / 医疗NLP / 医学问答 / 评测基准

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。