信息速览
INFOBOX — ER-REASON 一屏速览
维度 内容 本质 急诊室（ER）临床文本/推理型 LLM 评测基准（非影像、非信号） 机构 UCSF 急诊医学系 + UC Berkeley（AlaaLab）；合作 Duke / U Alberta / BIDMC 数据源 单一大型学术医疗中心 ER（UCSF），2022-03-01 至 2024-03-31 规模 3,437 患者 / 3,984 次就诊 / 25,174 份笔记（≈7 份/就诊） 笔记类型 ED Provider / Discharge Summary / Progress / H&P / Consult / Imaging / Echo / ECG 主诉 395 个唯一主诉；最高频腹痛、气促、胸痛 任务 分诊级（ESI）· 最终诊断（ICD-10/CCSR）· 处置 · SCT 序列化信念更新 SCT 标注 194 例题 / 787 条目 / 2,555 条标注（3 名急诊医师：2 独立 + 1 裁决） 专家理由 72 份 physician-authored rationales（Rule_Out/Decision_Factors/Treatment_Plan） 新指标 DxUpdate（线性加权 κ）· DxTrajectory / FinalDx（Spearman ρ） 关键结果 最终诊断 ICD-10 最高仅 39.91%（GPT-5.2 Thinking）；推理模型在 SCT 上未必优于非推理模型 获取 凭证访问（PhysioNet DUA + CITI 培训 + 研究审核） 许可 PhysioNet Contributor Review Health Data License 1.5.0 版本 v1.0.0（2025-10-23）；DOI 10.13026/55s7-3c27 库内互链 mimic-iv-note(47)、deidentified-medical-text(980)、mednli(648)、mimic-iv-ed(116)
ER-REASON 是"把大模型从医学执照考试里拽回急诊科真实病历"的一次尝试。此前的 LLM 医疗评测大多依赖 USMLE 式选择题和精心编写的病例片段，模型分数漂亮，却在真实临床前瞻研究中表现平平。ER-REASON 用一家大型学术医疗中心两年零一个月（2022 年 3 月至 2024 年 3 月）的真实急诊病历——3,437 名患者、3,984 次就诊、25,174 份去标识化纵向笔记——把评测锚定在真实文档碎片的噪声与不确定性上，并引入脚本一致性测试（Script Concordance Test, SCT）来考察模型能否像急诊医师那样"随着新证据出现而正确更新诊断信念"，而不只是给出最终答案。
导语读法三则：
- 只想知道这是什么：看 §1 十问十答与 INFOBOX——重点记住"3,437 患者 / 3,984 次就诊"两个数别搞反（坑 1）。
- 关心临床推理评测怎么做：直奔 §4 任务与 §5 的 SCT 设计与新指标（DxUpdate）——这是本数据集区别于一切"选择题基准"的核心。
- 要复现或下数据：直奔 §6 获取与许可——它是凭证访问，不是公开直链；先备好 DUA、CITI 培训与研究申请（§6）。
§0 导读：这个数据集解决什么问题
大语言模型在医学执照考试（USMLE 类）上早已超过及格线，甚至逼近或超过人类考生。但这套评测有一个结构性缺陷：它考的是"记住多少知识"，用的是高度精选的病例片段和单选题格式。真实临床完全不是这样——信息碎片化、嘈杂、按时间分散在电子健康记录（Electronic Health Record, EHR）的各种笔记里；医生给出的也不只是一个答案，而是一条可追溯的推理链：考虑了哪些鉴别诊断、排除了哪些、为什么。更微妙的是，多项前瞻研究显示，医生在获得 GPT-4 辅助后，诊断推理并未显著优于使用常规资源的对照组。"考试分数高"与"真实临床有用"之间的鸿沟，正是 ER-REASON 想填的那条裂缝。
急诊室（Emergency Room, ER）是测量这条鸿沟的理想场所，原因有三。第一，急诊医师必须在信息不完整、时间压力大的条件下，对高度异质的患者表现做出快速且后果重大的决策——这正是大模型可能帮上忙、也最容易翻车的地方。第二，急诊决策遵循结构化工作流：分诊（triage）、评估、治疗、处置，各阶段相互依赖。第三，与许多临床场景不同，急诊医师的笔记往往明确写出推理依据（哪些鉴别诊断被排除、为什么），因为急诊采取"最坏优先（worst-first）"策略——先排除危及生命的可能，再谈全面照护，且必须向下游接手医生交代清楚思路。
ER-REASON 的做法可以概括为"三件套"：
- 一份大规模临床语料：25,174 份去标识化、纵向、多就诊的临床笔记，覆盖急诊就诊全流程；
- 一套临床决策评测任务：分诊级（acuity/ESI）、最终诊断（ICD-10 与 CCSR）、最终处置（disposition）；
- 一套 SCT 式推理评测：194 例真实病例派生的序列化信念更新题，配 2,555 条急诊医师标注，衡量模型在证据累积过程中"诊断信念更新的方向与幅度"是否与医师一致。
§0 读法三则：
- 本条目是"数据集 + 基准 + 评测方法论文"三合一：数据是骨架，SCT 与 DxUpdate 指标是灵魂，实验结果是对当前前沿模型的判词（§4、§5、§7）。
- 全文硬数字以 PhysioNet v1.0.0 页面 + arXiv:2505.22919v3 三源互证为准；凡两处口径冲突处（HCC vs CCSR、患者数 vs 就诊数、72 份 vs 2,555 条）均在正文与 §9 逐条存照。
- 检索时务必用官方名 ER-REASON（PhysioNet 标题）或 ER-Reason（论文标题）；"er-reason"仅是本库 slug，不是任何官方数据集名。
§1 数据集速览：十问十答
Q1：ER-REASON 到底是什么？
一个急诊室临床推理评测基准。它提供 25,174 份来自真实急诊病历的去标识化临床笔记，以及围绕这些笔记设计的分诊、诊断、处置与推理任务，用来考察大语言模型在真实急诊场景下的临床推理能力。它不是影像数据集，也不是生理信号数据集——原始材料全是文本型临床笔记。
Q2：数据来自哪里、什么时候？
来自美国一所大型学术医疗中心（论文与页面均指向 UCSF，University of California, San Francisco 急诊科）的急诊患者病历，时间窗为 2022 年 3 月 1 日至 2024 年 3 月 31 日。全部笔记由 UCSF Information Commons 团队按 HIPAA Safe Harbor 与 Expert Determination 双重方法去标识。
Q3："3,437"和"3,984"分别是什么？
3,437 是患者数，3,984 是急诊就诊（encounter）次数。部分患者在研究期内有多次就诊，因此就诊数大于患者数。笔记总数为 25,174 份，平均每次就诊约 7 份。二手中文源常把 3,984 误写成患者数——这是最常见的误读（坑 1）。
Q4：一份就诊记录里有什么笔记类型？
8 类：急诊医师笔记（ED Provider Notes）、出院小结（Discharge Summaries）、病程记录（Progress Notes）、病史与体格检查（H&P）、会诊记录（Consults）、影像报告（Imaging Reports）、超声心动图报告（Echocardiography Reports）、心电图报告（ECG Reports）。社交工作笔记等类型为加强隐私被排除。
Q5：为什么叫"纵向、多就诊"？
对每位急诊患者，数据集不仅收录本次就诊的急诊医师笔记，还收录其既往住院就诊的历史笔记（出院小结、病程、H&P、影像、心电、超声、会诊），从而刻画患者随多次就诊演进的病情轨迹。官方宣称这是首个公开的急诊患者纵向、多就诊临床笔记数据集。
Q6：任务有几类？
两大类。一是临床决策任务：分诊级评估（输出 ESI 1–5）、最终诊断（ICD-10 精确匹配与 CCSR 类别）、最终处置（10 个选项）。二是SCT 推理任务：围绕 194 例真实病例的序列化信念更新题，考察模型随证据累积的行为。
Q7：什么是 SCT（脚本一致性测试）？
SCT（Script Concordance Test）源自医学教育，用于在不确定性下评估临床推理：给定一个临床情境、一个假设、一条新证据，问"临床医生对该假设的信念应该如何变化"，考生在 -2（更不可能）到 +2（更可能） 的五点量表上作答，对照专家组评分。ER-REASON 把它改造为计算基准，且要求模型同时对五个竞争性鉴别诊断做信念更新。
Q8：什么是 DxUpdate？
ER-REASON 新提出的指标，用线性加权 Cohen’s κ 衡量模型与医师在时间步级别的信念更新一致性：权重随五点量表的序数距离线性增长（如 +2 vs +1 的惩罚小于 +2 vs -2 的方向反转）。以各时间步 κ 的均值报告。
Q9：怎么拿到数据？
凭证访问（credentialed access）——需注册 PhysioNet 凭证用户、签署 Data Use Agreement（DUA）、完成 CITI “Data or Specimens Only Research” 培训，且个人研究需经贡献者审核。没有公开直链。
Q10：能用来做什么、不能做什么？
可做：LLM 急诊笔记摘要与多就诊推理基准、临床决策工作流研究、从序列笔记预测诊断/治疗/处置的模型训练。不可做：临床决策用途、任何可能重识别患者的场景。数据仅供研究。
§1.11 相关标识与检索词
官方标识：
- 数据集名（PhysioNet）：ER-REASON: A Benchmark Dataset for LLM-Based Clinical Reasoning in the Emergency Room
- 数据集名（论文）：ER-Reason: A Benchmark Dataset for LLM Clinical Reasoning in the Emergency Room（v3 无 “Based”）
- 库内 slug：
er-reason（本库命名，非官方名） - DOI：
10.13026/55s7-3c27（v1.0.0） - RRID（平台级）：
SCR_007345（PhysioNet） - arXiv：
2505.22919 - GitHub：
AlaaLab/ER-Reason
推荐检索词组合：
| 目的 | 检索词 |
|---|---|
| 精确定位数据集 | "ER-REASON" + PhysioNet |
| 定位论文 | ER-Reason + clinical reasoning + emergency room + arXiv |
| 定位 SCT 方法 | ER-Reason + Script Concordance Test |
| 定位代码 | AlaaLab/ER-Reason |
| 找同类基准 | emergency department + LLM benchmark + clinical notes |
易混淆项（勿用）：
- 不要用 “ER-REASON” 去搜影像数据集——它不含影像（影像报告只是笔记类型之一，是文本报告而非 DICOM 影像）；
- 不要把它与 MIMIC-ED 混为一谈——后者是结构化急诊 EHR；
- “er-reason” 小写仅是本库 slug；官方写法是 ER-REASON / ER-Reason。
§1.12 名称里的三个"坑"速记
在进入正文细节前，先用三句话记住本条目最易错的三点（后文 §10 展开）：
- 规模：“3,437 患者 / 3,984 就诊 / 25,174 笔记”——不是"3,984 患者"。
- 诊断口径：论文最新版用 CCSR（530 类），PhysioNet 页面残留 HCC 写法——以论文为准。
- 标注别混算：72 份专家推理理由（数据列）与 2,555 条 SCT 标注（194 例题）是两批。
§2 数据构成与规格
2.1 三个核心尺度
ER-REASON 的规模由三个互相关联的数字刻画，务必分清（坑 1）：
| 尺度 | 数值 | 口径说明 |
|---|---|---|
| 患者 | 3,437 | 研究期内到 UCSF 急诊科就诊的成人患者 |
| 就诊（encounter） | 3,984 | 患者到急诊的就诊次数，多人多次 |
| 临床笔记 | 25,174 | 全部去标识化纵向笔记，平均约 7 份/就诊 |
三个数字的来源一致：PhysioNet v1.0.0 内容页、arXiv:2505.22919 摘要、arXiv 正文 §2.1 均给出 3,437 / 3,984（就诊）/ 25,174。二手中文概览（如 alphaXiv 中文页）曾把 3,984 写成"3,984 名患者"——正确口径是 3,984 次就诊、3,437 名患者。
2.2 笔记类型与选取规则
数据集每份就诊涵盖 8 类笔记：
- ED Provider Notes（急诊医师笔记）——本次就诊的急诊记录，是核心输入；
- Discharge Summaries（出院小结）；
- Progress Notes（病程记录）；
- History & Physical（H&P）Notes（病史与体格检查）；
- Consults（会诊记录）；
- Imaging Reports（影像报告）；
- Echocardiography / ECG Reports（超声心动图与心电图报告）；
- 配对的各类历史笔记（来自既往就诊）。
选取规则：对每个纳入的就诊，取该就诊出院日期之前、每一笔记类型最近的一份。社交工作笔记及其他类型被排除以加强隐私保护。
就诊级纳入标准：必须同时至少存在 1 份出院小结和 1 份急诊医师笔记，否则该就诊不入库。
2.3 数据字典（er_reason.csv 列结构）
官方页面给出完整列结构。每行 er_reason.csv 代表一次患者就诊。为便于检索，此处按功能归组：
标识与主键
patientdurablekey：患者唯一标识；encounterkey：本次急诊就诊的唯一标识；- 各类笔记的
*_Key：分别链接到历史笔记（Discharge_Summary_Note_Key、Progress_Note_Key、HP_Note_Key、Echo_Key、Imaging_Key、Consult_Key、ECG_Key）与本次就诊的ED_Provider_Notes_Key。
临床与人口学字段
primarychiefcomplaintname：标准化主诉；primaryeddiagnosisname：本次急诊就诊结束时的急诊诊断；sex、firstrace、preferredlanguage、highestlevelofeducation、maritalstatus、Age：人口学信息（年龄由出生日期与离院日期计算）。
笔记文本字段（历史标记为 “Historical”，本次为 “Current Visit”）
- 历史：
Discharge_Summary_Text、Progress_Note_Text、HP_Note_Text、Echo_Text、Imaging_Text、Consult_Text、ECG_Text； - 本次：
ED_Provider_Notes_Text（本次急诊医师笔记全文）； One_Sentence_Extracted：从本次急诊医师笔记抽取的一句话病例摘要。
工作流字段
note_count：该患者在本数据集中的笔记数（最少 2：急诊 + 出院小结）；acuitylevel：分诊时分配的 ESI（Emergency Severity Index） 等级；eddisposition：离开急诊时的处置（如 discharged / admitted / transferred）；ArrivalYearKey、DepartureYearKeyValue、DepartureYearKey、DispositionYearKeyValue、birthYear：仅保留年份的时点字段。
专家推理列（72 份 rationale 的落点）
Rule_Out：医师针对主诉、人口学与一句话摘要给出的鉴别诊断清单（就诊前心智模型）；Decision_Factors：医师用于收窄鉴别诊断的因素；Treatment_Plan：基于病史与体格检查，医师选定的治疗计划。
2.4 主诉分布
数据集含 395 个唯一主诉（在已收治患者中）。最高频的三个是：
- 腹痛（abdominal pain）
- 气促（shortness of breath）
- 胸痛（chest pain）
这三者都是急诊最常见、也是"最坏优先"策略下最需要警惕的入口症状——胸痛要排除急性冠脉综合征与肺栓塞，气促要排除心衰与肺栓塞，腹痛要排除急腹症。主诉的标准化答案存储在 primarychiefcomplaintname 字段。
2.5 年度字段的 1970 占位陷阱
官方特别提示：部分日期相关字段（如 ArrivalYearKey、DepartureYearKey）可能出现 1970。这不是真实事件年份，而是缺失/不可用日期的默认占位值（常见于 Unix epoch fallback）。使用者在做时间分析时必须把 1970 当作缺失值处理，否则会得出荒谬的"1970 年就诊"统计。
2.6 与 SOAP 等标准格式的差异
标准门诊/住院笔记常遵循 SOAP 格式（Subjective 主观、Objective 客观、Assessment 评估、Plan 计划）。ER-REASON 明确强调：急诊笔记的多样与非结构化格式本身构成额外复杂度——正是这种真实世界的杂乱，使它在衡量"真实临床推理"上比结构化题库更贴近现实。这也是它与库内 MIMIC 系列（结构化 ICU/EHR 数据）在定位上的关键分野。
§3 采集与去标识：数据怎么造出来的
3.1 患者与就诊选取
- 人群：所有 18–85 岁在时间窗内入住 UCSF 急诊科的成人患者；
- 排除：主诉诊断未明确的就诊（即
PrimaryEdDiagnosisName = *Unspecified的排除）； - 时间窗：2022-03-01 至 2024-03-31。
3.2 笔记筛选与就诊级纳入
对每个纳入就诊，取出院日期前每一类型最近一份笔记（8 类，见 §2.2）。就诊只有在同时具备至少 1 份出院小结与 1 份急诊医师笔记时才被纳入最终数据集。部分患者在研究期内有多次就诊，因此数据集天然是多就诊、纵向结构。
3.3 人口学与临床字段
每位患者收录：性别、种族、就诊时年龄（由出生日期与离院日期计算）、首选语言、最高教育程度、婚姻状况。同时收录主诉、入院/出院信息（仅保留年份），日期做移位处理以保护隐私。
3.4 去标识：HIPAA 双重方法
所有笔记的去标识由 UCSF Information Commons 团队执行，同时采用两种 HIPAA 认可方法：
- Safe Harbor（安全港）：移除或掩蔽标准 18 类标识符；
- Expert Determination（专家裁定）：额外采用，以支持日期移位（date-shifting）——这也是本数据集能保留"年"级时点信息但仍保护隐私的原因。
官方声明：无预处理（除去标识外）；数据共享经机构合规团队批准。
3.5 专家推理理由（SCT 之外的 72 份）
为支持临床推理评测，数据集包含 72 份由急诊医学住院医师与主治医师撰写的专家推理理由。参与者在一款定制应用中遵循结构化工作流，逐步记录推理：排除逻辑（rule-out logic）、相关医学因素、治疗计划。官方明确：IRB 批准、参与者获补偿。
口径提示：这 72 份"专家撰写理由"（PhysioNet 页面口径，落点在
Rule_Out/Decision_Factors/Treatment_Plan列）与论文中的 194 例 SCT 题 / 787 条目 / 2,555 条标注是两批不同粒度的标注产物，切勿混为一谈（坑 3）。
3.6 伦理与隐私边界
- 采集与去标识由 UCSF Information Commons 执行，共享经机构合规团队批准；
- SCT 标注获 IRB 批准，参与者获补偿；
- 官方使用限制：仅供研究，不得用于临床决策；
- 即使已去标识，不得用于任何可能尝试重识别患者的场景；
- 社交工作笔记等类型被排除，部分原因正是加强隐私——代价是削弱了社会决定因素（social determinants）相关推理的可得性。
§2.7 数据字典逐列全表
为便于检索与自动化抽取，此处给出 er_reason.csv 逐列速查（共约 40 列，按功能分组；列名保持原始拼写）：
A. 标识与主键
| 列名 | 含义 |
|---|---|
patientdurablekey |
患者唯一标识 |
encounterkey |
本次急诊就诊的唯一标识（关联主键） |
Discharge_Summary_Note_Key |
链接历史出院小结的唯一标识 |
Progress_Note_Key |
链接历史病程记录的唯一标识 |
HP_Note_Key |
链接历史病史与体格检查笔记的唯一标识 |
Echo_Key |
链接历史超声心动图笔记的唯一标识 |
Imaging_Key |
链接历史影像笔记的唯一标识 |
Consult_Key |
链接历史会诊笔记的唯一标识 |
ED_Provider_Notes_Key |
本次就诊急诊医师笔记的唯一标识 |
ECG_Key |
链接历史心电图笔记的唯一标识 |
B. 临床与人口学
| 列名 | 含义 |
|---|---|
primarychiefcomplaintname |
患者到急诊时的主诉（标准化存储） |
primaryeddiagnosisname |
本次急诊就诊结束时急诊医师给出的诊断 |
sex |
患者性别 |
firstrace |
患者种族 |
preferredlanguage |
患者首选语言 |
highestlevelofeducation |
患者最高教育程度 |
maritalstatus |
患者婚姻状况 |
Age |
患者年龄 |
C. 笔记文本
| 列名 | 含义 |
|---|---|
Discharge_Summary_Text |
历史：既往就诊出院小结文本 |
Progress_Note_Text |
历史：既往就诊病程记录文本 |
HP_Note_Text |
历史：既往就诊病史与体格检查笔记 |
Echo_Text |
历史：既往就诊超声心动图结果与解读 |
Imaging_Text |
历史：既往就诊影像报告与发现 |
Consult_Text |
历史：既往就诊专科会诊笔记 |
ECG_Text |
历史：既往就诊心电图结果与解读 |
ED_Provider_Notes_Text |
本次就诊：急诊医师笔记（核心输入） |
One_Sentence_Extracted |
从本次急诊医师笔记抽取的一句话摘要 |
D. 工作流
| 列名 | 含义 |
|---|---|
note_count |
该患者在本数据集中的笔记数（最少 2：急诊 + 出院小结） |
acuitylevel |
到院分诊时分配的 ESI（急诊严重度指数）等级 |
eddisposition |
离开急诊时的处置（如 discharged / admitted / transferred） |
E. 年度时点（仅保留年份，1970 = 缺失）
| 列名 | 含义 |
|---|---|
ArrivalYearKey |
本次就诊到院年份 |
DepartureYearKeyValue |
本次就诊离院年份（值） |
DepartureYearKey |
本次就诊离院年份（键格式） |
DispositionYearKeyValue |
处置分配年份 |
birthYear |
出生年份 |
Discharge_Summary_Year |
历史出院小结创建年份 |
Progress_Note_Year |
历史病程记录创建年份 |
HP_Note_Year |
历史病史与体格检查笔记创建年份 |
Echo_Year |
历史超声心动图执行年份 |
Imaging_Year |
历史影像执行年份 |
Consult_Year |
历史会诊完成年份 |
ED_Provider_Notes_Year |
本次急诊医师笔记创建年份 |
ECG_Year |
历史心电图执行年份 |
F. 专家推理
| 列名 | 含义 |
|---|---|
Rule_Out |
医师针对主诉、人口学与一句话摘要给出的鉴别诊断清单（就诊前心智模型） |
Decision_Factors |
医师用于收窄鉴别诊断的因素 |
Treatment_Plan |
基于病史与体格检查，医师选定的治疗计划 |
字段用法提示：
Rule_Out/Decision_Factors/Treatment_Plan三列即 §3.5 所述 72 份专家推理理由的落点；primarychiefcomplaintname为标准化主诉；acuitylevel与eddisposition分别是分诊与处置任务的目标变量。
§2.8 数据结构示例（臆构示例，非真实数据）
为帮助理解"一次就诊一行"的形态，下表给出一行记录的结构示意（字段名真实、取值虚构，仅示形态）：
| 字段 | 示例形态 |
|---|---|
patientdurablekey |
P_XXXXXX |
encounterkey |
E_XXXXXX |
primarychiefcomplaintname |
Chest pain |
primaryeddiagnosisname |
某个已指定诊断 |
sex / firstrace |
已类别化编码 |
Age |
例如 40–80 区间内的整数 |
note_count |
≥2 的整数 |
acuitylevel |
1–5（ESI） |
eddisposition |
Discharge / Admit / … |
ED_Provider_Notes_Text |
本次急诊笔记全文（去标识） |
One_Sentence_Extracted |
一句话摘要 |
Rule_Out |
鉴别清单 |
Decision_Factors |
收窄因素 |
Treatment_Plan |
治疗计划 |
真实的完整笔记文本与取值需通过凭证访问获取；本条目不复现任何真实患者内容。
§2.9 覆盖与偏倚
- 单中心偏倚：全部数据来自一所大型学术医疗中心（UCSF）急诊科，患者构成、诊疗路径、文档习惯具机构特异性，跨机构泛化性未经验证；
- 年龄筛选：仅 18–85 岁成人，儿科与超高龄被排除；
- 诊断明确性筛选：仅纳入
PrimaryEdDiagnosisName ≠ Unspecified的就诊，排除了就诊时诊断未明的病例——这类"疑难未决"病例恰恰可能是推理评测最有价值的部分，此处构成选择偏倚； - 笔记类型筛选：排除社交工作笔记等，削弱社会决定因素维度；
- 时间偏倚：时间窗 2022-03 至 2024-03，覆盖 COVID-19 后阶段，急诊就诊模式可能受大流行余波影响；
- 去标识代价：日期移位虽保护隐私，但破坏了绝对时间对齐（跨患者的真实时间间隔不可恢复），限制时序因果分析。
§2.10 与"标准格式"的对比
| 维度 | SOAP 标准格式 | ER-REASON 真实笔记 |
|---|---|---|
| 结构 | Subjective/Objective/Assessment/Plan 四段规整 | 高度异构、多类型、非模板化 |
| 来源 | 常为教学/程式化书写 | 真实临床文档，含省略、缩写、噪声 |
| 难度 | 便于模型解析 | 增加推理任务复杂度（作者明确强调） |
| 覆盖 | 单次就诊 | 纵向、多就诊轨迹 |
作者指出，正是这种非结构化的多样笔记，使 ER-REASON 比程式化题库更贴近真实临床复杂度。
§4 任务设计：两条评测主线
ER-REASON 的评测分两条互补主线（arXiv §2.3）：一条看"决策结果对不对"（临床决策任务），一条看"推理过程对不对"（SCT 推理任务）。两条线共同覆盖急诊工作流全程。
4.1 临床决策任务（Clinical Decision Tasks）
三个任务分别对应急诊工作流的不同阶段，评估的是"标准准确率"式结果：
任务一：分诊级评估（Acuity Scoring）
- 阶段：分诊入院（triage intake），完整诊断检查尚未展开之前的快速优先级判定；
- 输出：ESI（Emergency Severity Index） 等级，1（最危急）至 5（非急）；
- 评测：模型输出的 ESI 与医师记录的 ESI 比对（准确率）。
任务二：最终诊断（Final Diagnosis）
- 阶段：急诊工作流末端，通常与处置计划同时确定；
- 两级评测：
- ICD-10 精确匹配（exact match）：要求模型预测精确的计费编码，最严格；
- CCSR 类别准确率：把预测映射到 Clinical Classifications Software Refined（CCSR） 的 530 个临床上有意义类别之一，考察模型即便编码不完全精确，是否落在正确的临床类别里。
- 口径提示：PhysioNet 页面 §评估曾写 “ICD-10 and Hierarchical Condition Category (HCC) accuracy”，但更新的 arXiv v3 正文明确改用 CCSR（530 类）。本条目以论文最新口径（CCSR）为准，页面 HCC 表述在 §9 存照（坑 2）。
任务三：最终处置（Final Disposition）
- 阶段：急诊工作流末端；
- 输出空间：10 个选项——
Discharge、Admit、Observation、Transfer to Another Facility、AMA（违背医嘱离院）、OR Admit（直接入手术室）、LWBS after Triage（分诊后未等到即离开）、Send to L&D（送产房）、Expired（死亡）、Eloped（擅自离院）； - 评测：模型处置决策与医师记录比对。
4.2 SCT 推理任务（SCT-Reasoning Tasks）
工作流的中段——EHR 复阅、初步评估、治疗选择——才是临床推理最关键的环节。ER-REASON 没有用自由文本生成来评估这些阶段，而是用 SCT 式评测把"推理"操作化为序列化的信念更新。
题目怎么造的：每个病例由一位急诊医学主治医师撰写，给出一个临床情境与 3–5 个从患者笔记派生的鉴别诊断。每一步引入的新证据可以是新化验结果、影像发现或更新的体格检查，它们会使某个诊断在五点量表（-2 到 +2）上的可能性上升或下降。任务本质是"排除法推理（rule-out reasoning）直至得出最终诊断"。
评分怎么来的：除题目作者外，另两名急诊医师独立标注每一步诊断过程，分歧由第三名裁决，产生共识分数作为所有 SCT 指标的真值（ground truth）。
标注规模：194 个病例共采集 787 个 SCT 条目标注 + 194 个最终鉴别诊断列表标注 = 总计 2,555 条标注。
4.3 四个实验条件
为把"医学知识"与"临床推理能力"分开，SCT 任务设定了四个条件：
- CK（临床知识基线，Clinical Knowledge）：给定一句话病例摘要、主诉、所有时间步的全部证据，以及 5 个候选诊断，让模型选正确诊断——结构类似标准选择题，但建立在嘈杂的真实临床数据上；
- ZS（Zero-shot）：每个时间步给模型病例、候选诊断集与一条新证据，要求同时给出（a）该证据对每个诊断可能性的序数评分，以及（b）相对其他候选的排序列表；
- SO（Single Oracle，单次参考答案）：在 ZS 基础上额外给出该时间步的医师理由（如"心动过速是非特异体征，也可能反映发热或脱水"）；
- FO（Full Oracle，全部参考答案）：给出截至时间步 t 的所有医师理由。
SO/FO 的医师理由不引入新临床信息，只解释"为何某证据应/不应改变鉴别诊断"——用于测试模型从人类引导中获益多少。
4.4 SCT 知识背景
SCT 由 Charlin 等（2000）在医学教育中提出，用于在不确定性下评估临床推理：给定情境 + 假设 + 新证据，问信念应如何变化，考生在五点量表作答，对照专家组评分。它的独特价值是捕捉选择题无法衡量的能力：面对模糊或意外信息时恰当更新信念。
McCoy 等（2025）已将 SCT 改造为 LLM 计算基准，在 10 个医学数据集的 750 道题上评测四个前沿模型，发现模型一致低于专家临床医生，但其评测一次只考察一个假设。ER-REASON 的扩展在于：要求模型同时对五个竞争假设做信念更新，且基于真实急诊患者数据、由三名急诊医师前瞻性标注。由于所需专业性与标注负担，ER-REASON 仅用三名急诊医师（而非传统 SCT 的大专家组）。
§5 评测指标体系：DxUpdate 与它的同伴
ER-REASON 针对"序列化信念更新"这一核心考察点，设计了一组新指标。理解它们是把本数据集用在正确位置的关键。
5.1 DxUpdate：时间步级信念更新一致性
DxUpdate 衡量模型与医师在每一个时间步上信念更新的方向与幅度是否一致，用线性加权 Cohen’s κ 计算：
$$\kappa_w = 1 - \frac{\sum_{i,j} w_{ij},O_{ij}}{\sum_{i,j} w_{ij},E_{ij}}, \qquad w_{ij} = \frac{|i-j|}{4}$$
其中 $O_{ij}$、$E_{ij}$ 分别是医师评分 i 与模型评分 j 的观测计数与期望计数。权重随五点量表（-2 到 +2）上的序数距离线性增长：一步之差的惩罚（如 +2 vs +1）按比例小于方向反转的错误（如 +2 vs -2）。作者选择线性而非二次权重，是为在所有误差幅度上保持成比例的惩罚。DxUpdate 报告为各时间步 κ 的均值。
为什么这个设计重要：它区分"小幅度偏差"与"方向搞反"。一个把"高度怀疑"误判为"中度怀疑"的模型，与一个把"高度怀疑"误判为"高度排除"的模型，临床风险天差地别——线性加权正好把后者罚得更重。
5.2 DxTrajectory 与 FinalDx：完整鉴别诊疗的排序
DxUpdate 只看单条更新的质量；它不回答"这些更新最终形成了正确的鉴别诊断排序吗"。为此引入两个基于 Spearman 秩相关的指标，比较医师排序 $\mathbf{r}=(r(D_1),\dots,r(D_k))$ 与模型排序 $\hat{\mathbf{r}}=(\hat{r}(D_1),\dots,\hat{r}(D_k))$：
- DxTrajectory：所有"就诊–时间步"对的 ρ 均值，衡量模型的信念更新随时间的鉴别诊疗排序是否正确；
- FinalDx：每个就诊最后一步的 ρ 均值，衡量"给定全部证据后，对该病例的诊断准确度"。
5.3 跨阶段一致性分析
除逐阶段评测外，ER-REASON 还引入两个跨阶段分析，检验模型输出能否形成连贯的临床叙事：
- Intra-case coherence（病例内一致性）：在 SCT 病例集内，模型的信念更新是否与其自身的鉴别诊断排序一致（内部自洽性）；
- Workflow accuracy（工作流准确率）：在全队列上，模型能否同时正确预测患者的分诊级、最终诊断与最终处置。
这两个分析操作化了 ER-REASON 的一个核心假设：孤立地评测单个任务，不足以发现模型推理中临床上危险的失败。
5.4 其他指标
- 摘要任务：ROUGE / F1；
- 诊断：ICD-10 精确匹配准确率、CCSR 类别准确率；
- 临床概念召回：基于 UMLS（Unified Medical Language System）概念唯一标识符（CUI） 的临床概念召回（PhysioNet 页面口径；论文最新版以 CCSR 为主，见坑 2）。
5.5 指标速查表
| 指标 | 度量对象 | 统计量 | 取值含义 |
|---|---|---|---|
| DxUpdate | 每时间步信念更新 | 线性加权 Cohen’s κ（均值） | 越高=更新方向/幅度越贴近医师 |
| DxTrajectory | 时间序列上鉴别排序 | Mean Spearman ρ | 越高=信念更新产生正确排序 |
| FinalDx | 末步最终诊断排序 | Mean Spearman ρ | 越高=终末诊断越准 |
| Intra-case coherence | 模型自洽性 | 非零更新与排序方向一致比例 | 越高=内部一致 |
| Workflow accuracy | 跨阶段联合正确 | 准确率（分诊级∩诊断∩处置） | 越高=端到端越靠谱 |
| Acuity / Final Diag. / Disp. | 单任务结果 | 准确率（Wilson 95% CI） | 标准决策准确率 |
| CK baseline | 纯知识 | Top-1 准确率 | 分离"知识"与"推理" |
§5.6 SCT 评测工作流的逐步拆解
把 ER-REASON 的 SCT 评测想象成一场"逐步揭盲"的诊断演练，一次典型病例的时间轴如下（流程示意，非真实病例）：
时间步 0（分诊入口）：模型拿到主诉（如"胸痛"）、人口学（年龄、性别等）与 Triage Intake 阶段的信息，需要（a）预测 ESI 分诊级；（b）对五个初始鉴别假设（如急性冠脉综合征、肺栓塞、主动脉夹层、气胸、食管痉挛）给出初始可能性排序。
时间步 1（新证据 1）：引入一条新证据（如首次心电图或肌钙蛋白）。SCT 要求模型对每个鉴别假设回答"这条证据让我更相信还是更不信"，在 -2 到 +2 上打分；同时更新相对排序。此处即产生一个 DxUpdate 观测（模型打分 vs 医师共识打分，线性加权 κ）。
时间步 2…t（证据累积）：重复上述过程。每一步既是 DxUpdate 的一个样本，也贡献轨迹上的一次排序（用于 DxTrajectory）。
末步（最终诊断）：模型给出最终鉴别排序（用于 FinalDx），并分配 ICD-10/CCSR 诊断。
关键设计点：
- 序列性：每个 SCT 条目不是独立的，而是测试"随着下一阶段新证据出现，模型是否修订信念"，模拟 Ledley & Lusted（1959）的迭代诊断检验循环（收集证据 → 修订鉴别 → 决定下一步检验 → 直到最终诊断）；
- 真实性：条目派生自真实临床文档，而非既有教育 SCT 数据集；
- 工作流锚定：条目间的证据累积对应具体临床决策点（分诊入口、急诊医师评估、入院），而非抽象的信念更新；
- 多假设：要求同时对五个竞争假设更新（相比 McCoy et al. 一次一个假设的版本是显著扩展）。
这套设计的目标是提高建构效度（construct validity）——让基准测量的"临床推理"更接近医师真实的推理过程。
§5.7 DxUpdate 的数学细节与解读
DxUpdate 用线性加权 Cohen’s κ（见 §5.1 公式）度量"时间步级信念更新一致性"。其解读要点：
- κ 的取值范围在理论上可达负数（低于随机一致），但实践中通常落在 0–1；越高表示模型与医师共识越一致；
- 权重 w_ij = |i-j|/4：五点量表满距为 4（从 -2 到 +2），故权重范围为 0（完全一致）到 1（完全反向，如 -2 vs +2）；
- 线性 vs 二次：作者明确选线性，理由是"在所有误差幅度上保持成比例惩罚"——二次权重会放大大幅误差的惩罚，作者认为对本任务不合适；
- 为什么不只报准确率：信念更新是有序的（-2 到 +2），用无序的分类准确率会丢失"差一格"与"差四格"的区别，加权 κ 正好保留序数信息。
与 DxTrajectory 的分工：DxUpdate 管"每一步更新对不对"，DxTrajectory 管"整条轨迹的排序对不对"。一个模型可能每步更新都接近医师（高 DxUpdate），但累积下来排序仍错（低 DxTrajectory）——两者不必同步，这正是区分"局部合理"与"全局正确"的价值。
§5.8 关于 ground truth 的诚实披露
作者在方法学上做了少见的诚实披露：
- 两名急诊医师独立标注每一步诊断过程，第三名裁决分歧；
- 医师-医师一致性：精确一致仅 52.6%，Spearman ρ = 0.766（最终诊断）；
- 作者把这一水平作为模型表现的参照系：“模型-医师一致性至少应与医师-医师一致性一样强”；
- 论文对照 Brodeur 等（2026）用两名独立医师标注的做法，并额外引入第三名仲裁者；同时指出本研究的医师一致性（52.6%）与可比研究（54% 一致、κ=0.51）相当，且本任务" arguably simpler"（只需在多个决策点评估 5 个竞争假设）。
含义：这条披露提醒使用者，ER-REASON 的 ground truth 不是绝对真理，而是"专家共识"；模型若在最终诊断上与医师一致率接近 52.6%，其实已达到"接近人类医师间水平"——解读模型分数时必须带上这个参照系，否则容易把"低于 100%“误读为"模型很差”。
§4.5 任务规格总表
为便于实现，把五个任务的关键规格列成一张表（"SCT"列表示该任务在论文中的实现条件）：
| 任务 | 工作流阶段 | 输入 | 输出 | 指标 | 条件 |
|---|---|---|---|---|---|
| 分诊级（Acuity） | 分诊入院 | 初始临床笔记/呈现 | ESI 1–5 | 准确率 | ZS |
| 最终诊断（ICD-10） | 工作流末端 | 全部可用临床信息 | 精确 ICD-10 码 | 精确匹配准确率 | ZS |
| 最终诊断（CCSR） | 工作流末端 | 全部可用临床信息 | 530 类之一 | 类别准确率 | ZS |
| 最终处置（Disposition） | 工作流末端 | 临床呈现与病史 | 10 选项之一 | 准确率 | ZS |
| SCT 信念更新 | EHR 复阅/初评/治疗 | 病例 + 候选诊断 + 逐条新证据 | 每假设 -2~+2 打分 + 排序 | DxUpdate κ | ZS/SO/FO |
| SCT 轨迹 | 同上，跨时间步 | 同上（累积） | 排序轨迹 | DxTrajectory ρ | ZS/SO/FO |
| SCT 终诊 | 末步 | 全部累积证据 | 最终排序 | FinalDx ρ | ZS/SO/FO |
| CK 基线 | 诊断对照 | 全部证据 + 5 候选 | 选 1 | Top-1 准确率 | CK |
| 跨阶段工作流 | 全流程 | 全队列 | ESI ∩ 诊断 ∩ 处置 | 联合准确率 | — |
实现要点：
- 分诊、诊断、处置为单步零样本任务，输出空间不同（序数 / 编码 / 类别）；
- SCT 系列为多步序列任务，核心是"每步信念更新 + 排序"；
- CK 基线故意把 SCT 题目降维成选择题，用于分离"知识"与"推理"——这是理解 SO/FO 增益的关键对照。
§4.6 处置选项的临床含义
"最终处置"任务的 10 个选项并非等距，理解它们有助于解读结果：
| 选项 | 含义 | 临床解读 |
|---|---|---|
Discharge |
出院 | 病情稳定，可回家随访 |
Admit |
收住院 | 需住院治疗 |
Observation |
留观 | 介于出院与住院之间，需进一步观察 |
Transfer to Another Facility |
转院 | 需更高层级/专科机构 |
AMA |
违背医嘱离院（Against Medical Advice） | 患者自行决定离院 |
OR Admit |
直接入手术室 | 需急诊手术 |
LWBS after Triage |
分诊后未等到即离开（Left Without Being Seen） | 患者放弃就诊 |
Send to L&D |
送产房（Labor & Delivery） | 产科路径 |
Expired |
死亡 | 抢救无效 |
Eloped |
擅自离院 | 未经许可离开 |
为何这个任务"看起来"容易：处置选项虽然 10 个，但分布高度不均衡（出院 vs 收住院占绝大多数），因此准确率可达 71.49%。但罕见选项（如 Expired、Eloped）的预测对安全至关重要——高准确率可能掩盖对罕见高危结果的漏判。
§4.7 为什么用 SCT 而不是自由文本生成
一个自然的疑问：为什么评估中段推理不用"让模型写推理"再人工评分，而要用 SCT？作者给出的理由隐含在多处设计说明中：
- 可扩展性：自由文本推理评分需要昂贵的人力标注，无法跟上模型迭代；
- 可量化：SCT 把推理压缩为有序评分 + 排序，天然适合统计（加权 κ、Spearman ρ）；
- 可比性：与既有 SCT 教育/计算传统（Charlin 2000；McCoy 2025）可比；
- 多假设性：要求同时更新五个竞争假设，比单假设测试更贴近真实鉴别诊断；
- 真实性：条目派生自真实文档，而非编写 vignette。
代价是：SCT 无法捕捉自由文本推理的丰富性，且依赖医师共识作为真值——这正是 §5.8 那 52.6% 一致性披露的背景。
§4.8 任务之间的相互依赖
作者的核心论点之一是：孤立评测单个任务会漏掉临床危险的失败。任务间存在真实的依赖链：
- 分诊级（ESI）影响后续处置的合理性；
- 中段 SCT 的信念更新质量决定末步 FinalDx 的准确性（误差累积，§7.5）；
- 末步诊断与处置又相互约束（如"高急诊度却出院"是危险的不协调）。
因此 ER-REASON 引入 Workflow accuracy（分诊级 ∩ 诊断 ∩ 处置联合正确），专门测量"端到端是否形成连贯临床叙事"。结果（§7.6）显示低急诊度病例联合准确率仅约三分之一，正是这种"任务耦合视角"才能暴露的脆弱。
§5.9 指标选择的争议与边界
作者对指标选择给出了明确的理由，但也留下了边界讨论：
- 为何 DxUpdate 用 κ 而非相关系数：κ 校正了随机一致（chance agreement），而纯准确率会把"模型与医师都倾向保守"这种偶然一致算作成功；
- 为何 DxTrajectory 用 Spearman 而非 Pearson：鉴别诊断排序是秩变量，Pearson 会假设线性且对异常值敏感；
- κ 与 ρ 不可互换：DxUpdate 衡量"单步更新"，DxTrajectory 衡量"整链排序"，两者在实验中确实出现不一致（如 Claude 4.5 Thinking 的 DxUpdate 尚可但 DxTrajectory 最低之一），说明它们捕捉不同侧面；
- Internal coherence 的解读陷阱：高一致性不等于高正确性——一个总是自信地做错方向更新的模型，也可能内部"自洽"；它衡量的是自洽而非正确。
这些边界提醒我们：任何单指标都无法代表"临床推理能力"，必须多指标交叉解读（本条目 §7.7 的逐模型画像正是这么做的）。
§6 获取与许可：凭证访问的门怎么进
ER-REASON 属于 AI-Ready 光谱中"凭证访问（Credentialed Access）"一档——数据真实存在、方案公开、结构清晰，但下载有门槛。理解这套门槛对任何想复现的人都是第一关。
6.1 访问等级与四道门
官方（PhysioNet v1.0.0 页面 Access 段）明确规定：只有签署 DUA 的凭证用户才能访问文件；此外，用户的研究还需经贡献者逐一审核。 具体需要四件事：
- PhysioNet 凭证账户：注册并通过身份核验成为 credentialed user；
- 签署 DUA：PhysioNet Contributor Review Health Data Use Agreement 1.5.0；
- 完成培训：CITI “Data or Specimens Only Research” 培训证书；
- 研究审核：个人研究计划提交贡献者审核（“individual studies reviewed by the contributor”）。
6.2 许可与 DUA
- License：PhysioNet Contributor Review Health Data License 1.5.0；
- Data Use Agreement：PhysioNet Contributor Review Health Data Use Agreement 1.5.0。
这是 PhysioNet 面向"贡献者审核"类受限数据的一套标准许可与使用协议，不是 CC 系列开放许可。数据不可自由再分发，使用受 DUA 条款约束。
6.3 区域限制提示（访问时点存照）
抓取时点（2026-10-09），本代理从所在区域访问 PhysioNet 页面时，Files 段显示：
Data Not Available — Data is not available in your region due to legal or policy restrictions.
这不是数据集不存在，而是当前访问区域受法律或政策限制无法下载文件。数据本体、DOI、版本、许可均在页面上有效可查。区域限制是检索者需自行核实的情况——换到允许的区域/网络环境或走正规凭证流程后才可能取到文件。
6.4 版本链与 DOI
| 版本 | 发布日 | DOI | 状态 |
|---|---|---|---|
| 1.0.0 | 2025-10-23 | 10.13026/55s7-3c27 | 稳定版（stable release） |
| latest（指向最新） | — | 10.13026/jrvj-k081 | — |
官方说明 v1.0.0 是稳定发布版，遵循语义化版本（semantic versioning），schema 与结构预计不再变化，代表项目最终版本。
6.5 Project Views（抓取时点）
PhysioNet 页面显示 Project Views：当前版本 127 / 全部版本 127（2026-10-09 抓取）。该数字是页面访问量，可作生态热度参考，不是下载量或引用量。
6.6 获取路径速查
| 项 | 值 |
|---|---|
| 发布平台 | PhysioNet（RRID:SCR_007345） |
| 页面 | https://physionet.org/content/er-reason/ |
| v1.0.0 | https://physionet.org/content/er-reason/1.0.0/ |
| 代码 | https://github.com/AlaaLab/ER-Reason |
| 访问等级 | Credentialed（凭证） |
| 许可 | PhysioNet Contributor Review Health Data License 1.5.0 |
| DUA | PhysioNet Contributor Review Health Data Use Agreement 1.5.0 |
| 培训 | CITI Data or Specimens Only Research |
| 区域限制 | 抓取时点本区域不可下载（政策限制，非数据缺失） |
§7 实验结果：前沿模型的成绩单
论文（arXiv:2505.22919v3）评测了 8 个 LLM，横跨推理与非推理、开源与闭源：
- 推理模型：DeepSeek-R1、o4-mini、Gemini 2.5 Flash Thinking、GPT-5.2 Thinking、Claude 4.5 Thinking、Phi-4；
- 非推理模型：GPT-5.2、Claude Sonnet 4.5。
临床决策任务用 zero-shot（ZS）；SCT 任务用 ZS/SO/FO 三条件，并额外做了 step-back prompting 变体（结果在论文附录 A.2）。
7.1 临床决策任务结果（Table 1，zero-shot 准确率）
| 模型 | 分诊级（ESI） | 最终诊断（ICD-10） | 最终诊断（CCSR） | 最终处置 |
|---|---|---|---|---|
| DeepSeek-R1 | 61.36 | 29.59 | 31.72 | 68.66 |
| o4-mini | 61.04 | 35.44 | 36.74 | 69.63 |
| Gemini 2.5 Flash | 60.27 | 29.99 | 34.49 | 66.62 |
| GPT-5.2 Thinking | 62.50 | 39.91 | 45.09 | 71.49 |
| Claude Sonnet 4.5 Thinking | 59.70 | 35.69 | 41.66 | 67.17 |
| Phi-4 | 43.12 | 19.28 | 21.55 | 57.52 |
| GPT-5.2 | 63.15 | 37.73 | 43.25 | 64.76 |
| Claude Sonnet 4.5 | 62.08 | 34.76 | 40.65 | 68.27 |
（单位 %，95% Wilson 置信区间见论文 Table 1。）
读数要点：
- 最终诊断是最难的任务：最好的 zero-shot ICD-10 精确匹配仅 39.91%（GPT-5.2 Thinking）——所有模型在真实临床条件下超过一半时间预测错误；
- CCSR 类别准确率显著更高：GPT-5.2 Thinking 达 45.09%，说明大模型"在正确临床领域推理"的频率高于精确编码准确率所显示的，但仍远未达到可靠诊断水平；
- 这一较低绝对值与更广的发现一致：例如前沿模型在 HealthBench Hard（1,000 段真实健康对话的精选子集）上仅 32% 准确率；
- 分诊级任务相对最易（最高 63.15%），处置次之（最高 71.49%）——因为二者输出空间受限。
7.2 SCT 推理结果（Table 2）
| 模型 | DxUpdate κ (ZS) | DxUpdate κ (SO) | DxUpdate κ (FO) | DxTrajectory ρ (ZS) | ρ (SO) | ρ (FO) |
|---|---|---|---|---|---|---|
| DeepSeek-R1 | 0.672 | 0.795 | 0.783 | 0.613 | 0.770 | 0.801 |
| o4-mini | 0.691 | 0.809 | 0.807 | 0.609 | 0.786 | 0.793 |
| Gemini 2.5 Flash | 0.657 | 0.762 | 0.747 | 0.613 | 0.738 | 0.782 |
| GPT-5.2 Thinking | 0.676 | 0.796 | 0.785 | 0.638 | 0.769 | 0.801 |
| Claude 4.5 Thinking | 0.652 | 0.756 | 0.742 | 0.591 | 0.719 | 0.780 |
| Phi-4 | 0.538 | 0.719 | 0.691 | 0.525 | 0.703 | 0.741 |
| GPT-5.2 | 0.677 | 0.795 | 0.789 | 0.646 | 0.780 | 0.813 |
| Claude Sonnet 4.5 | 0.662 | 0.771 | 0.758 | 0.636 | 0.743 | 0.792 |
读数要点：
- 从 ZS 到 SO/FO DxUpdate 与 DxTrajectory 显著改善，且 DxTrajectory 增益更大更稳定——说明对完整鉴别列表排序比给单步更新打序数分更受益于推理脚手架；
- ZS 与 oracle 条件的差距提示：瓶颈可能在于模型如何构建和更新临床信念，而非能否获取医学知识。
7.3 最终诊断在 SCT 上的表现（Table 3）
含临床知识基线 CK 与 ZS/SO/FO，报告 Top-1 准确率与 Spearman ρ：
| 模型 | CK Acc. | ZS Acc.（ρ） | SO Acc.（ρ） | FO Acc.（ρ） |
|---|---|---|---|---|
| DeepSeek-R1 | 56.2 | 62.4（0.562） | 75.8（0.738） | 81.4（0.814） |
| o4-mini | 58.8 | 65.5（0.610） | 80.4（0.775） | 77.3（0.789） |
| Gemini 2.5 Flash | 53.6 | 68.0（0.601） | 76.3（0.703） | 79.9（0.796） |
| GPT-5.2 Thinking | 61.9 | 70.1（0.627） | 85.6（0.791） | 88.1（0.841） |
| Claude 4.5 Thinking | 62.4 | 64.2（0.573） | 78.9（0.705） | 83.5（0.795） |
| Phi-4 | 53.1 | 49.5（0.443） | 70.6（0.677） | 77.3（0.742） |
| GPT-5.2 | 61.3 | 69.6（0.634） | 82.5（0.781） | 85.1（0.842） |
| Claude Sonnet 4.5 | 61.3 | 63.4（0.602） | 79.9（0.720） | 85.1（0.803） |
读数要点：从 ZS→SO→FO，Top-1 准确率与 ρ 一致提升；SO→FO 的持续改善说明医师理由随证据累积提供复利式收益。作者也提醒：oracle 理由可能部分通过提示显著性（把模型注意力引向最相关鉴别）而非纯改善推理结构来提升成绩，该效应在竞争假设更少的病例中可能更明显。
7.4 推理模型没有优势（关键负面发现）
这是本研究最反直觉的结论之一：
- 推理模型在序列 SCT 任务上并未优于非推理模型；
- 推理时的思维链（chain-of-thought）未带来序列信念更新上的收益：GPT-5.2 Thinking 与 GPT-5.2 在两个指标上无显著差异（DxUpdate p=0.455；DxTrajectory p=0.192）；
- Claude 4.5 Thinking 在 DxTrajectory 上显著劣于其基座 Claude Sonnet 4.5（Δρ=0.044，95% CI 0.022–0.064，p<0.001）。
作者指出，这与近期"在固定答案键的序列临床案例上推理模型显著占优"的研究形成对比，并质疑推理模型的表面优势能否在结构化教科书问题之外成立——尤其是在真实临床判断所需的序列化、基于证据的推理中。
7.5 误差累积与内部一致性
- 误差累积：随证据在时间步上累积，所有模型的 top-1 诊断准确率下降，作者归因于早期时间步鉴别排序失准导致的错误传播；
- 内部一致性（Table 4，194 例 SCT 病例，n=787）：多数模型保持高一致性——GPT-5.2 达 100.0%（N=354），Gemini 2.5 Flash 99.7%（N=318）、o4-mini 99.5%（N=429）；
- 反直觉模式：Claude 4.5 Thinking（N=737）与 Phi-4（N=672）做出非零更新最多，却是内部最不一致的（87.4% / 91.8%）；
- 结论：做出最多方向性断言的模型，反而内部最不一致——Claude 4.5 Thinking 的非零更新数几乎是其基座 Claude Sonnet 4.5（N=418）的两倍，一致性却更低，“扩展思维链可能增加方向性承诺而不带来相应的一致性提升”。
7.6 跨阶段工作流准确率（Table 5）
在 n=3,285（2,258 高急诊度 + 1,027 低急诊度；排除 699 个不协调/非入出院/未指定急诊度的案例）上，考察"预测处置与诊断联合正确"的比例：
- 高急诊度（ESI 1–2 + 入院的 ESI 3）：最高 DeepSeek-R1 73.03%（71.16–74.82）；
- 低急诊度（ESI 4–5 + 出院的 ESI 3）：最高 33.98%（31.15–36.93）。
这条分析的意义在于：端到端地把分诊、诊断、处置串起来看，模型在低急诊度病例上的联合准确率暴跌到约三分之一——单任务的高分掩盖了工作流层面的脆弱。
§8 生态与影响：它站在哪张地图上
8.1 在 LLM 医疗基准谱系中的位置
论文的 Related Work（§3）清楚勾勒了 ER-REASON 的坐标：
- 早期：医学执照考试选择题 QA——MedQA（Jin 2021）、PubMedQA（Jin 2019），测的是事实召回与基础知识；
- 转向真实数据：EHRSHOT（结构化 EHR 预测）、MedHelm（2026，9 个前沿模型 × 37 个医疗用例）、MedArena（多轮对话评测与模型对垒）；
- 转向临床推理：DiReCT（从临床笔记评估诊断推理，但疾病范围有限、缺多假设序列结构）、Dr. Bench（6 任务 × 10 公开数据集，但非工作流落地）、MedCaseReasoning（从已发表病例报告抽取推理链，但不检验信念更新）；
- 序列诊断：Nori 等（2025）开始把序列诊断操作化为迭代过程，但多数方法仍只评最终诊断准确率。
ER-REASON 的差异化宣称：
- 明确把"临床推理"定义为可构造的多假设序列信念更新，而非模糊概念；
- 覆盖急诊全工作流的相互依赖任务，而非孤立任务；
- 基于真实临床文档，而非程式化 vignette；
- 是首个公开的急诊患者纵向、多就诊临床笔记数据集（作者宣称）；
- 25K 纵向笔记是面向推理评测的最大公开多文档急诊患者轨迹资源（作者宣称）。
8.2 现实驱动力
论文把本基准的必要性锚定在一个紧迫现实上：面向消费者的健康聊天机器人已被 OpenAI、Anthropic 等大规模部署，而前瞻性人工评估虽必要却太慢，跟不上模型迭代。论文举例：Brodeur 等（2026，Science）评估的 o1-preview，在发表时已被后续模型取代。自动化、能忠实衡量临床推理的基准，是让评测跟上部署节奏的可扩展手段。
8.3 关联资源
- 论文：arXiv:2505.22919（v3，11 May 2026，cs.CL）；
- 代码：GitHub
AlaaLab/ER-Reason； - 数据集：PhysioNet
er-reasonv1.0.0； - 机构：UCSF 急诊医学系、UC Berkeley、AlaaLab（Ahmed Alaa 组）。
8.4 库内可互链谱系
| 库内条目 | rid | 关系 |
|---|---|---|
| mimic-iv-note | 47 | 同类临床文本 NLP 基准（MIMIC-IV 笔记）——最直接互链 |
| deidentified-medical-text | 980 | 去标识医疗文本，方法学互链 |
| mednli | 648 | 临床自然语言推理基准，推理评测互链 |
| mimic-iv-ed | 116 / 567 | MIMIC-IV 急诊科数据（结构化 EHR，非笔记）——急诊域对照 |
| mimic-iv-clinical-database | 4 | MIMIC-IV EHR 本体 |
| mimiciv | 592 | MIMIC-IV 综合条目 |
区分要点：ER-REASON 与 MIMIC-IV-Note 都含临床笔记，但 ER-REASON 的独特价值是急诊纵向多就诊轨迹 + SCT 序列化推理评测；MIMIC 系列源自 BIDMC/MIT，ER-REASON 源自 UCSF——机构、时间窗、任务体系均不同，切勿混引。
§7.7 逐模型画像
把八款模型放在一起看，可以给出如下画像（基于 Table 1–4）：
GPT-5.2 Thinking（全场最强，但推理优势有限）
- 最终诊断 ICD-10（39.91%）与 CCSR（45.09%）双榜第一；
- 最终处置 71.49%，也是最高；
- 分诊级 62.50%，略低于非推理的 GPT-5.2（63.15%）；
- SCT：DxUpdate 0.676、DxTrajectory 0.638、FO 诊断 88.1%（ρ=0.841）最强；
- 但与非推理的 GPT-5.2 在 DxUpdate/DxTrajectory 上无显著差异（p=0.455 / 0.192）——"Thinking"头衔未换来决定性优势。
GPT-5.2（非推理，最稳的另一种强）
- 分诊级 63.15% 第一；DxTrajectory ZS 0.646 第一；FO DxTrajectory 0.813 第一；
- 内部一致性 100.0%（N=354），全场唯一满分——做出方向性断言时几乎从不自相矛盾；
- 是与 Thinking 版对照"思维链到底带来什么"的关键基线。
Claude Sonnet 4.5（非推理）与 Claude 4.5 Thinking（推理）
- Sonnet 4.5：分诊级 62.08%，DxUpdate 0.662，一致性 97.1%（N=418）；
- 4.5 Thinking：分诊 59.70%，DxTrajectory ZS 0.591 全场最低之一，一致性最低 87.4%（N=737）；
- 关键发现：4.5 Thinking 的非零更新数（N=737）几乎是 Sonnet 4.5（N=418）的两倍，一致性却更低——"扩展思维链增加方向性承诺而不增加一致性"的活标本；且在 DxTrajectory 上显著劣于基座（Δρ=0.044，p<0.001）。
o4-mini（SCT 更新最强）
- DxUpdate ZS 0.691 全场第一；一致性 99.5%（N=429）；
- 但最终诊断 ICD-10 仅 35.44%——“会更新信念"不等于"诊断准”，两指标分离的又一例证。
DeepSeek-R1（开源推理，工作流第一）
- 跨阶段高急诊度工作流准确率 73.03% 第一；
- 最终诊断 ICD-10 仅 29.59%（偏低）；
- 说明"端到端联合正确"与"单点精确匹配"受不同因素驱动。
Gemini 2.5 Flash Thinking
- 各任务中游；一致性 99.7%（N=318），非零更新最少之一（倾向保守/弃权）。
Phi-4（小开源模型，全场垫底）
- 所有任务最低：分诊 43.12%、ICD-10 19.28%、CCSR 21.55%、处置 57.52%；
- SCT：DxUpdate 0.538、DxTrajectory 0.525、FO 诊断 77.3%（ρ=0.742）——仍从 oracle 中获益，但起点最低；
- 一致性 91.8%（N=672）——做了大量非零更新却不够自洽。
画像总结：没有一款模型在所有维度领先；"最强"取决于任务。更值得注意的是三处悖论——(1) 推理模型不优于非推理；(2) 会更新信念 ≠ 诊断准；(3) 断言最多的模型最不自洽。这三点共同支撑了论文"现有评测不足以发现危险失败"的论点。
§7.8 结果对实践的启示
- 不要迷信"更大/更强/会思考"：在真实序列临床推理上，思维链不是万灵药；选型应基于目标任务的实测，而非型号直觉。
- 分阶段评估任务：单任务高分可能掩盖工作流层面的脆弱（低急诊度联合准确率仅约 1/3），部署决策支持系统前必须做端到端测试。
- oracle 上限提示方向：SO/FO 条件的显著提升说明，提供推理脚手架/提示显著性可能比单纯换更强模型更有效——但作者也警告这可能部分来自"提示显著性"而非真正的推理改善。
- 警惕误差累积：随证据累积准确率下降，提示需要中间步骤的校准机制，而非只优化最终输出。
§8.5 生态影响与合作网络
- AlaaLab（Ahmed Alaa 组，UC Berkeley + UCSF）是代码与项目的主办方，GitHub
AlaaLab/ER-Reason； - 合作横跨 UCSF（急诊医学 + 临床信息学）、UC Berkeley（NLP，David Bamman 组）、Duke、University of Alberta、BIDMC——一份典型的"临床 + 计算"跨界成果；
- 作者名单中的 Adam Rodman（BIDMC）、Travis Zack（UCSF）、Liam McCoy（U Alberta） 均为临床 AI/推理评测领域的活跃研究者，说明本项目与更广的"LLM 临床推理评测"社区脉络相连（如 McCoy 等的 SCT 计算基准、Brodeur 等的 NEJM 研究）；
- PhysioNet 托管意味着它进入了一个有长期维护承诺的公共数据平台生态（RRID:SCR_007345），有利于可发现性与可持续性。
§8.6 定位小结（相对于同类基准）
| 基准/资源 | 领域 | 数据类型 | 核心考察 | 与本数据集差异 |
|---|---|---|---|---|
| MedQA / PubMedQA | 通用医学 | 选择题 QA | 知识召回 | 无工作流、无真实文档 |
| EHRSHOT | 结构化 EHR | 结构化时序 | 预测任务 | 无笔记文本、无推理过程 |
| MedHelm（2026） | 通用医疗用例 | 混合 | 9 模型 × 37 用例 | 广度优先，非急诊工作流深度 |
| DiReCT | 诊断推理 | 临床笔记 | 诊断推理 | 疾病范围有限、缺多假设序列 |
| MedCaseReasoning | 病例报告 | 文本 | 推理链是否提及正确理由 | 不检验信念更新 |
| ER-REASON | 急诊 | 纵向多就诊笔记 | 序列化多假设信念更新（SCT） | 工作流全程 + 真实文档 + 3 医师标注 |
| MIMIC-IV-Note（库内 47） | ICU/住院 | 去标识笔记 | 数据供给 | 非评测基准、非急诊纵向轨迹 |
§9 与库内条目的关系与口径对照
9.1 库内互链建议
ER-REASON 在本库（千方病案医数集）中属于医疗NLP / 医学问答与基准交叉地带。推荐互链：
- mimic-iv-note（rid 47）：同为临床笔记 NLP 资源。差异：MIMIC-IV-Note 是 ICU/住院笔记的去标识文本库（偏"数据供给"），ER-REASON 是急诊纵向轨迹 + 推理评测基准（偏"能力度量"）。
- deidentified-medical-text（rid 980）：同为去标识医疗文本，方法学（HIPAA Safe Harbor / Expert Determination）可对照。
- mednli（rid 648）：临床自然语言推理，属"推理类"任务，与 SCT 信念更新形成任务谱对照。
- mimic-iv-ed（rid 116 / 567）：同为急诊域，但为结构化 EHR 数据（生命体征、用药等），与 ER-REASON 的非结构化笔记互补。
9.2 三组关键口径对照（务必分清）
对照一：患者数 vs 就诊数
| 口径 | 数值 | 出处 |
|---|---|---|
| 患者数 | 3,437 | PhysioNet 页 + arXiv 摘要 + 正文 §2.1（三源一致） |
| 就诊数 | 3,984 | arXiv §2.1（ER encounters / hospital encounters） |
| 笔记数 | 25,174 | 三源一致 |
误读警示：二手中文概览把 3,984 写成"患者数"是高频错误。正确口径见上表（坑 1）。
对照二：HCC vs CCSR
| 口径 | 表述 | 出处 |
|---|---|---|
| 页面口径 | “ICD-10 and Hierarchical Condition Category (HCC) accuracy” | PhysioNet 页面 §评估 |
| 论文最新口径 | “ICD-10 exact match + CCSR（530 类）” | arXiv v3 §2.3 |
处理：以**论文最新 v3（CCSR）**为准记录，页面 HCC 表述作为存照（坑 2）。
对照三：72 份 vs 2,555 条标注
| 口径 | 数值 | 性质 |
|---|---|---|
| 专家推理理由 | 72 份 | 数据字典 Rule_Out/Decision_Factors/Treatment_Plan 列 |
| SCT 标注 | 194 例 / 787 条目 / 2,555 条 | 独立 SCT 评测标注集（3 名医师） |
处理：二者是不同批次、不同粒度的标注产物，不构成矛盾也不可相加（坑 3）。
§10 避坑清单：七个已踩过的坑
坑 1："3,984"是就诊数，不是患者数。ER-REASON 有 3,437 名患者、3,984 次 ER 就诊。多个二手中文源（含 alphaXiv 概览）把 3,984 当作患者数，属高频误读。写论文、做引用时务必用"3,437 patients across 3,984 encounters"的原始表述。
坑 2：HCC 与 CCSR 双口径。PhysioNet 页面 §评估仍写 “Hierarchical Condition Category (HCC)”，但 arXiv v3 正文明确改用 CCSR（530 类）。以论文最新版为准记 CCSR；引用诊断指标时注明口径与时点。
坑 3：72 份 expert rationales ≠ 2,555 条 SCT 标注。前者是数据字典里的专家推理列（Rule_Out 等），后者是 194 例 SCT 主题的评测标注（787 条目 + 194 列表）。二者批次与粒度都不同，不能混为"标注总量"。
坑 4：论文标题的 “Based” 差异。PhysioNet 页面标题为 “…LLM-Based Clinical Reasoning…”，arXiv v3 标题去掉了 “Based”。检索与著录时两版都能命中，但正式引用应注明版本。
坑 5：区域限制 ≠ 数据不存在。抓取时点 PhysioNet Files 段显示 “Data is not available in your region due to legal or policy restrictions.”——这是访问区域政策限制，数据集、DOI、许可均有效存在。别把区域限制误判为"数据下架/不存在"。
坑 6：1970 是缺失值的占位符。年度字段中的 1970 不表示真实年份，而是缺失/不可用日期的默认占位（Unix epoch fallback）。做时间分析前必须把它清洗为缺失，否则"1970 年就诊"这类统计会完全失真。
坑 7：推理模型未必更强。本数据集的一个核心（且反直觉）结论是：在序列 SCT 任务上，推理模型并不优于非推理模型，思维链未带来序列信念更新收益（GPT-5.2 Thinking vs GPT-5.2 无显著差异；Claude 4.5 Thinking 在 DxTrajectory 上显著劣于基座）。别假设"带 Thinking/更长思维链=更高分"。
§11 总结：一份"回到病历"的判词
ER-REASON 的价值不在于数字大，而在于把评测的坐标挪回了真实临床。它用一所大型学术医疗中心两年零一个月的急诊病历（3,437 名患者、3,984 次就诊、25,174 份去标识化笔记），把"LLM 会不会临床推理"这个问题拆成了两条可测量的线：一条看决策结果（分诊级、诊断、处置），一条看推理过程（SCT 序列化信念更新），并配上一组专门度量"信念更新方向与幅度"的指标（DxUpdate / DxTrajectory / FinalDx）。
它给出的判词是清醒的：
- 最终诊断 ICD-10 精确匹配最高仅 39.91%——所有模型在真实条件下过半出错；
- 推理模型在序列信念更新上未必更强，思维链可能增加方向性断言却不增加内部一致性；
- 误差随证据累积而放大，端到端工作流在低急诊度病例上联合准确率跌至约三分之一；
- 医师-医师在最终诊断上也只有 52.6% 精确一致——提示这份 ground truth 本身承载着人类判断的固有变异。
对研究者的实操建议：若关心"LLM 的临床推理是否可信"，本数据集提供了比选择题更严苛的考场；但使用时切记三组双口径（患者/就诊数、HCC/CCSR、72/2,555）与七个坑，并在引用任何数字时注明版本（v1.0.0 / arXiv v3）与抓取时点。
附录 A：核心事实速查表
| 项目 | 数值 | 来源 |
|---|---|---|
| 官方全称 | ER-REASON: A Benchmark Dataset for LLM-Based Clinical Reasoning in the ER | PhysioNet |
| 患者 | 3,437 | 三源互证 |
| 就诊 | 3,984 | arXiv §2.1 |
| 笔记 | 25,174（≈7/就诊） | 三源互证 |
| 笔记类型 | 8 类 | 页面 + 论文 |
| 唯一主诉 | 395 | 页面 + 论文 §2.1 |
| 患者年龄 | 18–85 | 页面 Methods |
| 时间窗 | 2022-03-01 至 2024-03-31 | 页面 + 论文 |
| SCT 病例 | 194 | 论文 §2.2 |
| SCT 条目 | 787 | 论文 §2.2 |
| SCT 标注 | 2,555 | 论文摘要 + §2.2 |
| 专家理由 | 72 | 页面 |
| 机构 | UCSF + UC Berkeley | 页面 + 论文 |
| 去标识 | HIPAA Safe Harbor + Expert Determination | 页面 |
| 版本 | v1.0.0（2025-10-23） | 页面 |
| DOI | 10.13026/55s7-3c27（v1.0.0） | 页面 |
| 许可 | PhysioNet Contributor Review Health Data License 1.5.0 | 页面 |
| 访问 | Credentialed（DUA + CITI + 审核） | 页面 |
| 评测模型 | 8 个 | 论文 §4.1 |
| 最优 ICD-10 | 39.91%（GPT-5.2 Thinking） | 论文 Table 1 |
| 最优 CCSR | 45.09%（GPT-5.2 Thinking） | 论文 Table 1 |
| 最优 FO 诊断 | 88.1%（GPT-5.2 Thinking） | 论文 Table 3 |
附录 B：DAIMS 评估全表
DAIMS（Data and Analytics Interoperability Maturity… 数据资产成熟度评估五维）：
| 维度 | 评分（满分 10） | 说明 |
|---|---|---|
| D 数据质量 | 8 | 双 HIPAA 方法去标识、真值经三医师共识；扣分于单中心、年份降精度、1970 占位与 52.6% 医师间变异 |
| A 可获取性 | 4 | 凭证访问四道门（账户 + DUA + CITI + 审核），非公开直链；抓取时点区域受限 |
| I 互操作性 | 7 | CSV 结构化 + 完整数据字典 + 8 类笔记文本；无统一 FHIR/OMOP 映射 |
| M 元数据质量 | 8 | 页面列结构完备、论文方法详实；扣分于 HCC/CCSR 与 72/2,555 两处口径漂移 |
| S 可持续性 | 8 | PhysioNet 托管 + DOI + 语义化版本 v1.0.0（stable）；机构合规长期维护 |
综合定位："高质量、可复现、但门槛高"的凭证访问型基准——学术价值高（任务设计与标注严谨），获取摩擦大（需走完整凭证流程）。
附录 C：引用与使用建议
引用本数据集（官方 BibTeX，v1.0.0）：
@article{PhysioNet-er-reason-1.0.0,
author = {Molina, Mel and Mehandru, Nikita and Golchini, Niloufar and Alaa, Ahmed},
title = {{ER-REASON: A Benchmark Dataset for LLM-Based Clinical Reasoning in the Emergency Room}},
journal = {{PhysioNet}},
year = {2025},
month = oct,
note = {Version 1.0.0},
doi = {10.13026/55s7-3c27},
url = {https://doi.org/10.13026/55s7-3c27}
}
引用方法论文：Mehandru N, Golchini N, Garg N, LeSaint KT, Nash CJ, Ramachandran A, Zack T, McCoy LG, Rodman A, Bamman D, Molina M, Alaa A. ER-Reason: A Benchmark Dataset for LLM Clinical Reasoning in the Emergency Room. arXiv:2505.22919.
使用清单：
- 口径声明：引用规模数字时注明"3,437 患者 / 3,984 就诊"（坑 1）；诊断指标注明 HCC 还是 CCSR（坑 2）。
- 版本声明：注明数据版本（v1.0.0）与论文版本（arXiv v3）。
- 时点声明：引用页面元素（Project Views、区域限制）注明抓取日期（2026-10-09）。
- 伦理声明：明确"仅供研究、非临床决策、不重识别"。
- 不要合并计数：72 份专家理由与 2,555 条 SCT 标注分列（坑 3）。
附录 D：术语对照
| 中文 | 英文（首现） | 说明 |
|---|---|---|
| 急诊室 | Emergency Room (ER) | 本数据集场景 |
| 电子健康记录 | Electronic Health Record (EHR) | 笔记来源系统 |
| 急诊严重度指数 | Emergency Severity Index (ESI) | 分诊 1–5 级 |
| 脚本一致性测试 | Script Concordance Test (SCT) | 信念更新评测范式 |
| 线性加权 Cohen’s κ | linear weighted Cohen’s κ | DxUpdate 统计量 |
| 临床分类软件精炼版 | Clinical Classifications Software Refined (CCSR) | 530 类诊断类别 |
| 统一医学语言系统 | Unified Medical Language System (UMLS) | 概念唯一标识 CUI |
| 去标识 | de-identification | HIPAA Safe Harbor + Expert Determination |
| 数据使用协议 | Data Use Agreement (DUA) | 凭证访问前提 |
| 凭证访问 | credentialed access | 本数据集访问等级 |
附录 E：常见问答（检索长尾）
Q：ER-REASON 是影像数据集吗？
不是。全部原始材料为文本型临床笔记（8 类）。它是临床 NLP / LLM 推理基准。
Q：它和 MIMIC-IV-Note 有什么区别？
MIMIC-IV-Note 是 MIMIC-IV 的去标识笔记库（源自 BIDMC/MIT，ICU/住院为主）；ER-REASON 是急诊纵向多就诊轨迹 + SCT 推理评测基准（源自 UCSF）。前者偏数据供给，后者偏能力度量。
Q：它是公开下载的吗？
不是公开直链。凭证访问：需 PhysioNet 凭证账户 + 签 DUA + CITI 培训 + 研究审核（§6）。
Q：2026-10-09 抓取时为什么看不到文件？
因为访问区域受法律/政策限制（页面 Files 段提示），非数据缺失（坑 5）。
Q：为什么最终诊断准确率这么低？
因为任务是开放式的真实临床文档（非选择题），且 ICD-10 精确匹配要求精确计费编码；CCSR 类别准确率虽更高（45.09%），仍远低于可靠诊断水平（§7.1）。
Q：为什么叫"纵向、多就诊"？
因为除本次急诊医师笔记外，还收录患者既往住院就诊的历史笔记（出院小结、病程、H&P、影像、心电、超声、会诊），刻画跨就诊轨迹（§2.2、Q5）。
Q：SCT 的 -2 到 +2 是什么？
五点有序量表：-2 = 更不可能（much less likely）到 +2 = 更可能（much more likely），衡量新证据对某诊断假设信念的影响（§4.4、§5.1）。
抓取时点声明：本条目所有页面事实（版本、Project Views、区域限制、数据字典）与论文数字，均以 2026-10-09 抓取的 PhysioNet v1.0.0 页面与 arXiv:2505.22919v3 为准。ER-REASON 是持续演进项目，后续版本可能更新规模与任务口径；引用前请核对最新版本。
核心来源：PhysioNet
er-reasonv1.0.0（https://physionet.org/content/er-reason/1.0.0/）；arXiv:2505.22919v3；GitHubAlaaLab/ER-Reason。
附录 F：获取数据的实操流程（凭证访问）
由于 ER-REASON 是凭证访问，以下是通用的 PhysioNet 受限数据获取流程（据页面 Access 段归纳；具体表单以 PhysioNet 当时界面为准）：
- 注册 PhysioNet 账户并申请凭证（credentialed）状态，提交身份与机构信息等待核验；
- 完成 CITI “Data or Specimens Only Research” 培训，获得并上传结业证明；
- 签署 DUA：PhysioNet Contributor Review Health Data Use Agreement 1.5.0；
- 提交研究计划供贡献者审核（页面明确"users must have individual studies reviewed by the contributor"）；
- 审核通过后，在允许的网络区域下载文件（注意抓取时点本区域受政策限制，见坑 5）；
- 使用中遵守许可 1.5.0 与研究用途限制（非临床决策、不重识别）。
注意：第 5 步的"区域限制"是访问环境问题，不是账户问题；若在受限区域，即使完成 1–4 步也无法下载，需更换允许的网络环境。
附录 G：复现清单（做评测的人怎么用）
若要用 ER-REASON 复现论文评测，建议按以下清单推进：
- 拿到数据：走附录 F 流程；
- 理解 schema：对照 §2.3 / §2.7 的列结构，特别是 8 类笔记文本列与
*_Key的链接关系； - 搭评测集：
- 分诊任务：输入历史+当前信息，输出 ESI 1–5；
- 诊断任务：输出 ICD-10 码与 CCSR 类别；
- 处置任务：从 10 个处置选项中选；
- SCT 任务：需拿到 194 例题与医师共识标注（注意这部分可能在受限子集内，见遗留疑点 2）；
- 实现指标：DxUpdate（线性加权 κ）、DxTrajectory/FinalDx（Spearman ρ）、Intra-case coherence；
- 跑 baseline：先做 CK 基线（给全部证据做选择题），再看 ZS/SO/FO 的差距；
- 报告口径：注明版本、指标口径（CCSR vs HCC）、以及医师-医师一致性参照系（52.6% / ρ=0.766）。
附录 H：时间线
| 时间 | 事件 |
|---|---|
| 2022-03-01 | 数据时间窗起点（UCSF 急诊就诊） |
| 2024-03-31 | 数据时间窗终点 |
| 2025-05（约） | arXiv v1 预印本发布 |
| 2025-10-23 | PhysioNet 发布 ER-REASON v1.0.0（稳定版） |
| 2026-05-11 | arXiv v3（cs.CL）更新 |
| 2026-10-09 | 本条目抓取与成稿时点 |
附录 I：来源台账（Source Ledger）
| # | 来源 | URL | 抓取/访问 | 用途 |
|---|---|---|---|---|
| 1 | PhysioNet 内容页 | https://physionet.org/content/er-reason/ | 2026-10-09（HTTP 200） | 名称/作者/规模/方法/数据字典/许可/访问/版本 |
| 2 | PhysioNet v1.0.0 | https://physionet.org/content/er-reason/1.0.0/ | 2026-10-09（引用） | 版本 DOI、访问等级 |
| 3 | arXiv 摘要 | https://arxiv.org/abs/2505.22919 | 2026-10-09（HTTP 200） | 作者、摘要、2,555 标注 |
| 4 | arXiv HTML v3 全文 | https://arxiv.org/html/2505.22919v3 | 2026-10-09（HTTP 200） | 任务设计、指标、Table 1–5 结果 |
| 5 | WebSearch（1 次） | — | 2026-10-09 | 论文定位与三源互证 |
| 6 | GitHub | https://github.com/AlaaLab/ER-Reason | 论文/页面引用 | 代码入口 |
网络预算使用：WebSearch 1 次（≤3）、WebFetch 2 次（1 次空返回 + 1 次 arXiv 空返回，实际有效抓取走 curl；≤6），失败重试 0 次（WebFetch 空返回后改走 curl，未 loop 重试）。均在上限内。
附录 J：待核疑点登记
| # | 疑点 | 现状 | 后续动作 |
|---|---|---|---|
| 1 | 文件结构/大小/散列 | 因区域限制未下载 | 凭证访问后核对 |
| 2 | 72 份理由是否落入公开数据、与 SCT 194 例题关系 | 两处口径不足对齐 | 凭证获取后核 |
| 3 | SCT 194 例题与 3,984 就诊的派生关系 | 论文未明示比例 | 论文附录/代码核 |
| 4 | 正式期刊发表状态 | 预印本持续更新（v3） | 关注 DOI 更新 |
| 5 | HCC vs CCSR 的页面-论文不一致是否已修订 | 抓取时点不一致 | 后续版本核对 |
附录 K：一页纸结论
ER-REASON 是什么：UCSF 急诊科真实病历（3,437 患者 / 3,984 就诊 / 25,174 笔记）构建的 LLM 临床推理基准，含 8 类纵向笔记、194 例 SCT 序列化信念更新题、2,555 条急诊医师标注。
它为什么重要：把评测从"选择题/知识召回"拉回"真实急诊工作流 + 推理过程"，用 DxUpdate 等指标度量"信念更新的方向与幅度"。
它告诉我们什么：真实条件下最终诊断 ICD-10 最高仅 39.91%；推理模型在序列推理上未必更强；误差随证据累积放大；医师间一致性本身也只有 52.6%。
怎么用：走凭证访问（DUA + CITI + 审核）；引用时记住三组双口径与七个坑；注明版本与时点。
一句话：想评测"LLM 会不会像急诊医师那样推理"，这是目前最贴近真实的一个考场；但它门槛高、ground truth 含人类变异，别把它的分数当绝对真理。
§9.3 互链的写作建议
若在本库其他条目中引用 ER-REASON，建议如下措辞：
- 在 mimic-iv-note(47) 条目中：“与 ER-REASON（急诊纵向多就诊笔记 + SCT 推理评测）形成’笔记数据供给 vs 推理能力度量’的互补对照”；
- 在 deidentified-medical-text(980) 条目中：“ER-REASON 采用 HIPAA Safe Harbor + Expert Determination 双重去标识，可与本条目的去标识方法学互参”；
- 在 mednli(648) 条目中：“ER-REASON 的 SCT 序列化信念更新是临床推理评测的另一条路线（NLI 式蕴含 vs SCT 式有序信念更新）”；
- 在 mimic-iv-ed(116/567) 条目中：“MIMIC-IV-ED 为结构化急诊 EHR，ER-REASON 为非结构化急诊笔记，二者同为急诊域但数据类型互补”。
反向锚点：ER-REASON 的互链点已在 frontmatter 的 relatedLink 中登记（mimic-iv-note/47、deidentified-medical-text/980、mednli/648、mimic-iv-ed/116），正文不再重复说明文字以避免 YAML 事故（R012 教训）。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：
- mednli — 共享标签：医学问答与基准 / 医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- tcm-sd — 共享标签：医学问答与基准 / 医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- mietic — 共享标签：医学问答与基准 / 医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- synsum — 共享标签：医学问答与基准 / 医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- blue-benchmark — 共享标签：医学问答与基准 / 医疗NLP / 临床文本 / 评测基准
- care-bench — 共享标签：医学问答与基准 / 医疗NLP / 临床文本 / 评测基准
- aci-bench — 共享标签：医学问答与基准 / 医疗NLP / 临床文本 / 电子健康记录
- primock57 — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- trec-ct-2021 — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- mimic-ext-synnotes — 共享标签：医学问答与基准 / 医疗NLP / 临床文本 / 电子健康记录
导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。
