INFOBOX
| 数据集名称 | EHRSHOT |
| 英文全称 | EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models |
| 别名 / 简称 | EHRSHOT Benchmark、EHRSHOT Dataset |
| 疾病分类 | 多疾病覆盖。核心映射：BA00 原发性高血压 / 5C80 高脂血症 / 2C10 胰腺恶性肿瘤 / DA95 乳糜泻 / 4A40 系统性红斑狼疮 / BA41 急性心肌梗死 / 3B64 血小板减少症 / 5C76 高钾血症 / 5A41 低血糖症 / 5C72 低钠血症 / 3A00 贫血 + 运营结局（住院时长/再入院/ICU 转科）+ CheXpert 14 类胸部 X 光发现 |
| SNOMED CT | 38341003 Hypertensive disorder / 267521005 Hyperlipidemia / 372142002 Pancreatic carcinoma / 396331005 Celiac disease / 55464009 Systemic lupus erythematosus / 57054005 Acute myocardial infarction / 302215000 Thrombocytopenia / 14106009 Hyperkalemia / 302866003 Hypoglycemia / 89627008 Hyponatremia / 271737000 Anemia |
| 数据模态 | 结构化 EHR（诊断编码、手术编码、实验室检验、药物处方、生命体征）——仅结构化数据，不含临床文本和影像 |
| AI 任务类型 | 少样本分类（二分类 + 多分类 + 多标签）、时序预测、表示学习评估、基础模型微调 |
| 样本总数 | 6,739 名患者 / 41,661,637 条临床事件 / 921,499 次就诊 |
| 数据大小 | ~2 GB（压缩 CSV）/ ~4 GB（FEMR extract） |
| 数据格式 | CSV（原始）/ FEMR extract（预处理）/ MEDS（标准化）/ OMOP tables（全量表导出） |
| 许可证 | Stanford University Research Data Use Agreement（非商业研究用途，需在线签署） |
| 访问级别 | 注册后开放（在线签署 DUA 后通过 Redivis 获取） |
| DUO 标签 | HMB, NPUNCU |
| 语言 | 英文（结构化编码：ICD-10-CM / LOINC / CPT / RxNorm / SNOMED） |
| 首发日期 | 2023-07-05（arXiv 预印本）/ 2023-12（NeurIPS 2023 Datasets and Benchmarks Track 接收） |
| 最后更新 | 2026-03（v3.2 发布，新增 MEDS 兼容格式 + OMOP 全量表导出） |
| 发布机构 | Stanford University Shah Lab（Center for Biomedical Informatics Research，Nigam H. Shah 团队） |
| 官方主页 | https://ehrshot.stanford.edu |
| 下载地址 | https://ehrshot.stanford.edu（通过 Redivis 平台分发，需签署 DUA） |
| DOI | 10.48550/arXiv.2307.02028 |
| 引用次数 | 130+（Semantic Scholar + Google Scholar 综合统计，截至 2026-07） |
| AI 就绪度评分 | ⭐⭐⭐⭐（4/5）— 官方 train/val/test 划分 + FEMR 完整预处理 Pipeline + 含 141M 参数预训练模型权重 + OMOP-CDM 标准化；扣分项：单中心来源、仅含结构化数据（无临床文本/影像）、需签署 DUA |
| 页面状态 | published |
§0 E-E-A-T 信任声明与免责声明
医学审核者：[千方病案医学编辑部]交叉审核：§2 医学背景（ICD-11 映射、15 项临床任务定义、金标准描述）、§7 偏倚分析。
数据工程审核者：[千方病案医学编辑部]交叉审核：§4 DAIMS 数据字典、§5 数据划分策略、§6 FEMR 预处理 Pipeline 和坑点。
审核日期：2026-07-28
医疗免责声明：本页面提供的医学信息仅供研究和教育目的，不构成医疗建议、诊断或治疗方案。数据集的医学描述基于公开发表的文献，未经逐一临床验证。任何基于该数据集训练的 AI 模型在应用于临床决策前，必须经过独立的临床验证和监管审批。
技术免责声明：本页面的代码示例、预处理建议和基准性能数据基于公开资料整理，不保证在特定环境下的准确性和适用性。使用者应自行验证代码安全性和数据预处理流程的正确性。千方病案医数集不对因使用本页面信息而导致的任何直接或间接损失承担责任。
数据使用合规：使用本页面描述的数据集前，请务必阅读并遵守数据集原始许可协议。EHRSHOT 要求签署 Stanford University Research Data Use Agreement。DUO 标签仅供参考，具体使用限制以数据集官方协议为准。
§1 数据集概览
§1.0 30 秒速览
EHRSHOT 是斯坦福大学 Shah Lab 于 2023 年 NeurIPS 发布的纵向电子健康记录（EHR）基础模型评估基准。它包含 6,739 名患者从斯坦福医学中心全部科室（不限于 ICU）提取的脱敏结构化数据——总计 41.6M 条临床事件和 921k 次就诊，人均事件数和就诊数分别是 MIMIC-IV 的 2.3 倍和 95 倍。
它的独特价值在于三项首次：首次发布覆盖全科室（含门诊）的纵向 EHR 基准、首次公开发布编码 EHR 基础模型（CLMBR-T-base，141M 参数）的完整权重、首次定义 15 个覆盖运营结局→实验室值→新发诊断→影像发现的少样本预测任务。这些使 EHRSHOT 成为检验"基础模型在医疗 EHR 数据上到底有多少增益"的黄金标尺。
你可以用它来：评估你的 EHR 基础模型在 15 项少样本任务上的性能、复现 CLMBR-T-base 的预训练与微调 Pipeline、或在 OMOP-CDM 标准化框架下对比不同 EHR 编码策略的效果。
§1.1 摘要
EHRSHOT 是第一个系统性填补"非 ICU 纵向 EHR 基础模型评估"空白的公开基准。此前几乎所有公开 EHR 数据集（MIMIC-III/IV、eICU、HiRID、AmsterdamUMCdb）都限定了 ICU 或 ED 就诊场景，无法捕获患者的完整健康轨迹。EHRSHOT 直接从 Stanford Medicine 的企业级 EHR 数据仓库中提取 6,739 名患者全科室的结构化数据，经 FEMR（Framework for Electronic Medical Records）管道预处理为 OMOP-CDM 兼容格式，并定义 15 项少样本分类任务——每项任务包含规范的 train/val/test 划分和预计算特征。此外，作者公开了在 2.57M 患者 EHR 数据上预训练的 141M 参数 CLMBR-T-base 模型权重，使社区无需从头预训练即可复现和超越基线。
§1.2 为什么重要
技术创新维度：EHRSHOT 是首批"数据集 + 模型权重 + 预处理代码 + 评估脚本"四位一体发布的 EHR 基准。此前大多数临床基础模型（GatorTron、ClinicalBERT）仅适用于非结构化文本，无法处理 EHR 中丰富的结构化编码数据。CLMBR-T-base 采用自回归下一编码预测（next-code prediction）训练目标，以分钟级分辨率建模患者时间线，是编码 EHR 基础模型的先驱。
生态推动维度：EHRSHOT 的 OMOP-CDM 标准化——覆盖超过 100 个医疗系统的国际共享标准——使得从单一机构到多中心的模型迁移成为可能。其 15 项任务覆盖从即时运营结局到一年期远期诊断的四类场景，为少样本学习提供真实临床低发病率的测试场（如胰腺癌阳性率仅 ~2.8%、乳糜泻阳性率仅 ~1.6%）。
可复现性维度：EHRSHOT 预定义的规范 train/val/test 划分解决了此前 EHR 研究中"各自定义划分、无法直接比较"的核心痛点。配合 Redivis 统一分发和 Conda 环境脚本，可在数小时内完成完整基准运行。
§1.3 横向对比
| 数据集 | 患者数 | 就诊数 | 事件数 | ICU 限制 | 纵向全科室 | 含预训练模型 | 任务数 |
|---|---|---|---|---|---|---|---|
| EHRSHOT | 6,739 | 921,499 | 41.6M | 无 | 是 | 是（141M 参数） | 15 |
| MIMIC-IV | 364,627 | 546,028 | ~450M | 仅 ICU/ED 患者 | 否 | 否 | 无预定义 |
| eICU-CRD | 200,859 | 200,859 | ~100M | 仅 ICU | 否 | 否 | 无预定义 |
| HiRID | 33,905 | 33,905 | ~200M | 仅 ICU | 否 | 否 | 6 |
| AmsterdamUMCdb | 23,106 | 23,106 | ~100M | 仅 ICU | 否 | 否 | 无预定义 |
| CPRD | 4M+ | 数十 M | — | 无 | 是 | 否 | 2 |
| UK Biobank | 500,000 | — | — | 无 | 部分 | 否 | 无预定义 |
§1.4 版本演进时间轴
| 时间 | 事件 |
|---|---|
| 2023-07 | arXiv 预印本发布（v1），EHRSHOT 数据集 + CLMBR-T-base 模型首次公开 |
| 2023-11 | v2 修订版（增加实验细节和附录） |
| 2023-12 | NeurIPS 2023 Datasets and Benchmarks Track 接收，v3 终版发布 |
| 2024-06 | EHRSHOT 数据集正式对外发布（Redivis 平台，v3.0） |
| 2025-03 | v3.1 发布：新增 MEDS 标准格式支持 |
| 2026-03 | v3.2 发布：新增 OMOP 全量表导出、MEDS 兼容格式完善 |
§1.5 典型应用场景
- EHR 基础模型少样本评估：在 CLMBR-T-base 基线之上评估自研模型在 15 项任务上的 k-shot（k=1/2/4/8/16/32/64/128/All）性能
- 编码 EHR 表示学习研究：比较不同编码策略（计数特征 vs Transformer vs LLM 嵌入）在低标签场景下的样本效率
- 时序临床预测模型开发：利用规范化的 FEMR 预处理管道，将自研时序预测架构（如 Mamba/Hyena）应用于真实 EHR 数据
- 跨机构泛化性研究：利用 OMOP-CDM 兼容格式，评估模型在 Stanford 到其他机构的迁移能力
§2 医学背景
§2.1 ICD-11 编码
| 维度 | 详情 |
|---|---|
| ICD-11 编码 | 多编码覆盖。运营结局类：QB20/QB21（住院时长/再入院）；实验室检查异常：3B64（血小板减少症）、5C76（高钾血症）、5A41（低血糖症）、5C72（低钠血症）、3A00（贫血）；新发诊断预测：BA00（原发性高血压）、5C80（高脂血症）、2C10（胰腺恶性肿瘤）、DA95（乳糜泻）、4A40（系统性红斑狼疮）、BA41（急性心肌梗死）；影像发现：CheXpert 14 类（肺不张/心脏肥大/胸腔积液等，CA40-CA4Z 呼吸系统疾病系列） |
§2.2 临床任务定义
EHRSHOT 的 15 项任务不是随机选取的，而是模拟了真实 EHR 场景下四类典型的临床预测需求：
运营结局（Operational Outcomes）：入院时即刻预测住院时长（≥7 天）、出院时预测 30 天内再入院、入院时预测是否需要转入 ICU——这些直接影响医院的资源配置和床位管理。
实验值预测（Anticipating Lab Test Results）：在下一次实验室检验结果记录之前，预测结果的异常范围（正常/轻度/中度/重度）——模拟临床医生在医嘱开具时即预判实验室走向的能力。
新发诊断预测（Assignment of New Diagnoses）：出院后一年内新发六种疾病的概率——涵盖常见慢性病（高血压、高脂血症）和罕见高危害疾病（胰腺癌、乳糜泻、狼疮、急性心梗），其中胰腺癌和乳糜泻阳性率仅 ~2-3%，天然适用于少样本学习测评。
影像发现预测（Anticipating Chest X-Ray Findings）：在放射报告生成前 24 小时，预测 14 类 CheXpert 标签——模拟临床决策支持中的影像预判场景。
§2.3 患者人群特征
| 维度 | 特征 |
|---|---|
| 数据来源 | Stanford Medicine（1 所学术医学中心），加利福尼亚州 |
| 采集时间 | 2008-2023（~15 年跨度） |
| 年龄分布 | 均值 59.3 ± 17.9 岁（18-89 岁，含 18 和 89 边界） |
| 性别比例 | 女性 3,441（51.0%），男性 3,298（48.9%） |
| 种族分布 | 白人 3,736（55.4%），亚裔 1,043（15.5%），未知 1,563（23.2%），黑人 298（4.4%），太平洋岛民 74（1.1%），美洲印第安人 25（0.4%） |
| 族裔分布 | 西班牙裔 1,038（15.4%），非西班牙裔 5,701（84.6%） |
| 就医类型 | 全部科室（含门诊、住院、急诊、手术）——不限定 ICU/ED |
§2.4 金标准 / 参考标准
| 数据划分 | 标注方式 | 标注者 | 金标准性质 |
|---|---|---|---|
| Train（~3,500 患者） | 基于 EHR 结构化编码的自动规则提取（如 ICD-10 诊断码、LOINC 实验室结果范围、CPT 手术码） | 机器自动 + 临床逻辑校验 | 编码级金标准 |
| Valid（~1,500 患者） | 同 Train | 同 Train | 编码级金标准 |
| Test（~1,700 患者） | 同 Train（保持盲态） | 同 Train | 编码级金标准 |
§3 数据集规格
§3.0 版本抉择矩阵
| 你的需求 | 推荐版本 | 大小 | 理由 |
|---|---|---|---|
| 快速复现论文基线 | EHRSHOT Original（Redivis） | ~2 GB | 含 FEMR extract + 预计算特征 + benchmark labels，可直接运行 run_all.sh |
| 使用 MEDS 标准管道 | EHRSHOT MEDS | ~2 GB | MEDS（Medical Event Data Standard）兼容格式，兼容 meds_reader 高性能读取 |
| 自行做 OMOP 数据分析 | EHRSHOT OMOP | ~4 GB | 含完整 OMOP-CDM 表（person/visit_occurrence/condition_occurrence/drug_exposure 等），可做自有特征工程 |
| 预训练自有 EHR 模型 | 不适用 | — | EHRSHOT 仅为评估基准（6,739 患者），预训练使用的 2.57M 患者源队列未公开发布 |
§3.1 模态详细说明
EHRSHOT 仅包含结构化编码数据——不含自由文本临床笔记、不含医学影像。具体涵盖：
- 诊断编码：ICD-10-CM 编码（含慢性病、急性事件、合并症）
- 手术编码：CPT（Current Procedural Terminology）编码
- 实验室检验：LOINC（Logical Observation Identifiers Names and Codes）编码，含数值结果
- 药物处方：RxNorm 编码，含处方时间和剂量
- 生命体征：血压、心率、体温、呼吸频率、血氧饱和度等结构化数值
- 人口学信息：年龄、性别、种族、族裔（已脱敏）
§3.2 按子集拆分样本数
| 子集 | 患者数 | 就诊数 | 临床事件数 |
|---|---|---|---|
| Train | ~3,500 | ~480,000 | ~22M |
| Valid | ~1,500 | ~200,000 | ~9M |
| Test | ~1,700 | ~240,000 | ~10.6M |
| 合计 | 6,739 | 921,499 | 41,661,637 |
§3.3 数据格式详细说明
| 文件类型 | 格式 | 内容 |
|---|---|---|
| FEMR extract | CSV / Parquet | 患者级事件时间线，每条为 (patient_id, timestamp, code, numeric_value) |
| Benchmark labels | CSV | 15 项任务各��的标签文件（patient_id + label + split） |
| Few-shot samples | CSV | 预生成的 k-shot 训练样本索引（k=1,2,4,8,16,32,64,128） |
| Preprocessed features | NumPy / HDF5 | CLMBR 嵌入向量 + 计数特征矩阵 |
| Model weights | PyTorch checkpoint | CLMBR-T-base 141M 参数权重（HuggingFace 托管） |
| Splits | CSV | patient_id → train/val/test 映射 |
§3.4 存储大小
| 版本 | 压缩后 | 解压后 |
|---|---|---|
| EHRSHOT Original（Redivis） | ~2 GB | ~3 GB |
| EHRSHOT MEDS | ~2 GB | ~3 GB |
| EHRSHOT OMOP | ~3 GB | ~5 GB |
§3.5 标注方式
EHRSHOT 的所有标签均通过基于临床知识的自动化规则从 EHR 编码中提取：
- 运营结局：从 EHR 的入院/出院时间戳和转科记录中直接计算（LOS≥7天 = 1，30天内再入院 = 1，住院期间转入ICU = 1）
- 实验值：从 LOINC 编码的实验室结果中提取，按临床阈值分级（如血小板：正常 ≥150×10⁹/L / 轻度 100-149 / 中度 50-99 / 重度 <50）
- 新发诊断：从 ICD-10 编码中检测基线期间不存在、随访一年内新出现的诊断编码
- CXR 发现：使用 CheXpert 标注器（NegBio NLP 管道）从放射报告中自动提取 14 类标签
§3.6 标注者信息
| 维度 | 详情 |
|---|---|
| 标注者 | 自动化规则引擎 + CheXpert NegBio NLP 管道 |
| 人工审核 | 无放射科医生逐例审核（CXR 标签基于 NLP 自动提取） |
| 一致性检验 | 论文中未报告正式的人工 vs 自动标注一致性（Kappa/ICC） |
| 已知局限 | CXR 标签含 NLP 自动标注噪声，与 CheXpert 数据集具有相同局限性 |
§3.7 数据采集时间
2008 年至 2023 年，覆盖约 15 年的临床实践跨度。编码标准和临床实践在此期间有显著演变（如 ICD-9→ICD-10 迁移），可能引入时间漂移。
§3.8 地域覆盖
单一学术医学中心——Stanford Medicine（美国加利福尼亚州帕洛阿尔托）。未含多中心或多地域数据。
§3.10 深度溯源链
Stanford Healthcare EHR 数据仓库 (3.67M 患者)
│
├── 全局划分 (Global Split)
│ ├── Train: 2.57M 患者 → CLMBR-T-base 预训练
│ ├── Val: 0.55M 患者
│ └── Test: 0.55M 患者
│
├── FEMR 预处理管道
│ ├── OMOP-CDM 映射 (Athena 本体)
│ ├── 结构化编码提取（诊断/手术/实验室/药物/生命体征）
│ ├── 时间戳对齐 + 日期偏移脱敏
│ └── 临床文本和影像丢弃
│
├── EHRSHOT 队列筛选 (6,739 患者)
│ ├── 排除条件：<18 或 >89 岁
│ ├── 排除条件：自由文本数据
│ └── 保留全部科室就诊
│
└── 15 项任务定义 + Train/Val/Test 划分
├── 运营结局 (3): LOS / Readmission / ICU Transfer
├── 实验值预测 (5): Thrombocytopenia / Hyperkalemia / Hypoglycemia / Hyponatremia / Anemia
├── 新发诊断 (6): Hypertension / Hyperlipidemia / Pancreatic Cancer / Celiac / Lupus / Acute MI
└── CXR 发现 (1): CheXpert 14-way multilabel
§4 数据结构详解
§4.0 目录树预览
ehrshot-benchmark/
├── EHRSHOT_ASSETS/
│ ├── benchmark/ # 15 项任务的标签 + few-shot 采样
│ │ ├── guo_los/ # 每项任务一个子目录
│ │ ├── guo_readmission/
│ │ ├── guo_icu/
│ │ ├── lab_thrombocytopenia/
│ │ ├── lab_hyperkalemia/
│ │ ├── lab_hypoglycemia/
│ │ ├── lab_hyponatremia/
│ │ ├── lab_anemia/
│ │ ├── new_hypertension/
│ │ ├── new_hyperlipidemia/
│ │ ├── new_pancan/
│ │ ├── new_celiac/
│ │ ├── new_lupus/
│ │ ├── new_acutemi/
│ │ └── chexpert/
│ ├── data/ # 完整 EHRSHOT 数据集 CSV
│ │ └── ehrshot.csv # 6,739 患者 × 41.6M 事件
│ ├── features/ # 预计算特征
│ │ ├── count_features/ # GBM 计数特征
│ │ └── clmbr_features/ # CLMBR-T-base 嵌入向量
│ ├── femr/ # FEMR extract
│ ├── models/ # CLMBR-T-base 预训练权重
│ ├── splits/ # Train/Val/Test 划分
│ │ └── splits.csv
│ └── results/ # 基线结果
├── ehrshot/ # 基准运行脚本
├── notebooks/ # Jupyter Notebook 示例
├── DUA.md # 数据使用协议
├── LICENSE
├── run_all.sh # 一键运行脚本
└── README.md
§4.1 DAIMS 标准化字段描述表
| 字段名 | 数据类型 | 说明 | 示例值 | AI 用途 | 观测误差 | 缺失编码 | 取值范围 |
|---|---|---|---|---|---|---|---|
patient_id |
Integer | 脱敏患者唯一标识 | 12345 |
分组/索引 | 无 | N/A | 1-6,739 |
code |
String | OMOP 标准化临床编码 | "ICD10CM/E11.9" |
特征输入 | 编码映射错误（~1-3%） | ""（少见） |
OMOP 本体中的任意有效概念 |
code_type |
Enum | 编码类型 | "ICD10CM" "LOINC" "RxNorm" "CPT" |
模态区分 | 类型分类错误 | N/A | |
timestamp |
DateTime | 事件发生时间（已偏移） | 2020-03-15 14:30:00 |
时序建模 | 时间偏移引入的日期间精度损失 | N/A | 2008-2023 |
numeric_value |
Float | 实验室数值或生命体征 | 142.0（血钠 mmol/L） |
回归/密度估计 | 单位不统一（常见）、异常值 | NaN（缺失值编码） |
取决于临床参数 |
visit_id |
Integer | 就诊唯一标识 | 98765 |
就诊级聚合 | N/A | N/A | — |
split |
Enum | 数据划分 | train val test |
实验控制 | N/A | N/A | |
label |
Integer/Vector | 任务标签 | 0（LOS）[0,0,1,0,...,0]（CXR） |
监督目标 | 见 §3.6 标注局限性 | N/A | 取决于任务 |
§4.2 标签分布统计
| 任务组 | 任务名 | 类型 | Train 正例数 | Valid 正例数 | 正例率（Train） |
|---|---|---|---|---|---|
| 运营结局 | Long Length of Stay | 二分类 | 681 | 534 | 26.5% |
| 30-day Readmission | 二分类 | 370 | 281 | 14.2% | |
| ICU Transfer | 二分类 | 113 | 92 | 4.7% | |
| 实验值 | Thrombocytopenia | 4 分类 | 9,774 | 6,962 | 14.2% |
| Hyperkalemia | 4 分类 | 1,215 | 886 | 1.6% | |
| Hypoglycemia | 4 分类 | 1,065 | 858 | 0.9% | |
| Hyponatremia | 4 分类 | 20,181 | 14,674 | 24.8% | |
| Anemia | 4 分类 | 9,544 | 7,445 | 13.5% | |
| 新发诊断 | Hypertension | 二分类 | 184 | 177 | 14.6% |
| Hyperlipidemia | 二分类 | 205 | 189 | 12.2% | |
| Pancreatic Cancer | 二分类 | 155 | 53 | 2.8% | |
| Celiac | 二分类 | 62 | 11 | 1.6% | |
| Lupus | 二分类 | 104 | 33 | 2.7% | |
| Acute MI | 二分类 | 175 | 146 | 4.5% | |
| 影像 | Chest X-Ray Findings | 14 路多标签 | 4,771 | 6,032 | ~8%* |
*Chest X-Ray 任务使用 CheXpert 14 类标签，正例率为 14 类标签的平均值。
§4.3 数据层级关系
Health System (Stanford Medicine)
└── Patient (6,739)
└── Visit/Encounter (921,499)
└── Clinical Event (41,661,637)
├── Diagnosis Code (ICD-10-CM)
├── Procedure Code (CPT)
├── Lab Result (LOINC + numeric value)
├── Medication Order (RxNorm + dose/frequency)
└── Vital Sign (structured measurement)
§4.5 缺失值情况
EHRSHOT 仅发布结构化数据，因此：
-
不含临床文本和影像——这并非"缺失"，而是设计选择
-
实验室数值中
numeric_value字段存在NaN（如定性实验室结果无数值） -
种族字段 23.2% 标注为"未知"（1,563/6,739）
-
未正式报告各编码类型的缺失率和缺失机制
§5 数据划分与使用建议
§5.1 官方划分
EHRSHOT 使用规范随机划分（Canonical Random Split）——在患者级别随机划分，杜绝同一患者的不同就诊出现在 train/val/test 中，避免数据泄漏。划分比例约为 train:valid:test ≈ 52:22:26。
§5.2 划分策略说明
关键设计决策：全局划分（Global Split）——在对 3.67M 名患者的初始 EHR 数据仓库执行全局 train/val/test 随机划分后，再从 test 划分中筛选 6,739 名患者组成 EHRSHOT。这意味着 CLMBR-T-base 预训练使用的 2.57M 患者与 EHRSHOT 评估队列完全独立，不存在评估泄漏。
§5.3 数据泄漏风险
| 风险类型 | 描述 | 缓解措施 |
|---|---|---|
| 患者级泄漏 | 同一患者出现在多个划分中 | 患者级随机划分（已实施） |
| 时间泄漏 | 训练集包含评估集时间点之后的数据 | 无前瞻性预测约束（所有标签均在固定时间窗口内定义） |
| 编码映射泄漏 | OMOP 本体版本不匹配 | 固定 Athena 5.x 版本，与 FEMR extract 绑定 |
| 预训练泄漏 | CLMBR 在评估患者上预训练 | 全局划分确保预训练队列与评估队列完全独立 |
§5.4 交叉验证建议
EHRSHOT 提供了规范的 train/val/test 划分，不推荐自行重新划分——这是作者为保持不同方法间可比较性而特别强调的设计原则。需要多次重复实验测量方差时，建议使用 5 次不同随机种子的 few-shot 采样（已随数据集提供），在规范划分上训练和评估。
§6 AI 就绪指南
§6.1 快速上手
# ========================================
# EHRSHOT Benchmark 快速上手 — PyTorch 版
# 环境要求: Python 3.10, CUDA 11.8, cuDNN 8.7
#
# ⚠️ 前置条件：
# 1. 从 Redivis 下载 EHRSHOT_ASSETS.zip 并解压至 ehrshot-benchmark/EHRSHOT_ASSETS/
# 2. 签署 Stanford DUA 并获取 HuggingFace CLMBR-T-base 模型访问权限
# 3. 仅支持 Linux 环境（FEMR CUDA 依赖）
#
# ⚠️ 目录结构预期：
# ehrshot-benchmark/
# ├── EHRSHOT_ASSETS/
# │ ├── benchmark/ # 任务标签 + few-shot 采样
# │ ├── data/ # ehrshot.csv
# │ ├── features/ # 预计算特征（count + CLMBR）
# │ ├── models/ # CLMBR-T-base 权重
# │ └── splits/ # splits.csv
# └── ehrshot/ # 运行脚本
# ========================================
# 方案 1：使用预计算特征运行基线（推荐快速开始）
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
# 加载预计算 CLMBR 特征和标签
splits = pd.read_csv("EHRSHOT_ASSETS/splits/splits.csv")
train_ids = splits[splits["split"] == "train"]["patient_id"]
# 加载某个任务的标签和特征
labels = pd.read_csv("EHRSHOT_ASSETS/benchmark/guo_los/labels.csv")
clmbr_features = pd.read_csv("EHRSHOT_ASSETS/features/clmbr_features/guo_los_train.csv")
# 训练简单的逻辑回归作为下游头
model = LogisticRegression(max_iter=1000)
model.fit(clmbr_features.values, labels.values.ravel())
preds = model.predict_proba(clmbr_features.values)[:, 1]
print(f"Train AUROC: {roc_auc_score(labels.values, preds):.4f}")
# 方案 2：一键运行完整基准（复现论文）
# bash run_all.sh
§6.2 数据获取
| 获取方式 | 链接 | 大小 | 说明 |
|---|---|---|---|
| Redivis（官方推荐） | https://ehrshot.stanford.edu → Redivis 跳转 | ~2-4 GB | 含三种格式（Original/MEDS/OMOP），需签署 DUA |
| HuggingFace（模型权重） | https://huggingface.co/StanfordShahLab/clmbr-t-base | ~540 MB | CLMBR-T-base 预训练权重，需签署同一 DUA |
| GitHub（代码） | https://github.com/som-shahlab/ehrshot-benchmark | <3 MB | 基准运行脚本和 Notebooks |
申请流程：
- 访问 https://ehrshot.stanford.edu 或直接访问 Redivis 链接
- 填写个人信息并签署 Stanford University Research Data Use Agreement
- 等待审批（通常 1-3 个工作日）
- 获得 Redivis 数据集下载权限和 HuggingFace 模型访问授权
§6.3 预处理 Pipeline
EHRSHOT 使用 FEMR（Framework for Electronic Medical Records） 作为核心预处理管道，完整流程如下：
Step 1: 源 EHR 提取
Stanford Healthcare EHR 数据仓库
→ 提取结构化字段（诊断/手术/实验室/药物/生命体征）
→ 排除自由文本和影像数据
Step 2: OMOP-CDM 标准化
原始编码 → Athena OHDSI 本体映射
→ ICD-10-CM / LOINC / CPT / RxNorm / SNOMED 统一编码空间
Step 3: FEMR Extract
→ 患者级事件时间线（分钟级精度）
→ 时间戳日期偏移（HIPAA 合规脱敏）
→ CSV/Parquet 序列化
Step 4: 任务特定预处理（按需）
→ 计数特征生成（GBM 基线）
→ CLMBR 嵌入计算（Foundation Model 基线）
→ Medical Concept 过滤与聚合
§6.4 框架加载
# PyTorch — 加载 CLMBR-T-base 预训练模型
# 安装前置依赖
# pip install femr-cuda==0.1.16 dm-haiku==0.0.9 optax==0.1.4
# pip install upgrade "jax[cuda]==0.4.8" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
import femr
from femr.models import CLMBR
# 加载预训练模型
model = CLMBR.from_pretrained("EHRSHOT_ASSETS/models/clmbr_t_base")
model.eval()
# 对患者时间线进行编码
patient_timeline = [...] # 从 FEMR extract 加载
embeddings = model.encode(patient_timeline)
# HuggingFace Transformers — 加载模型（推荐方式）
from transformers import AutoModel
clmbr = AutoModel.from_pretrained("StanfordShahLab/clmbr-t-base",
trust_remote_code=True)
§6.5 常见坑点
⚠️ 坑点 1：FEMR 仅支持 Linux（分类：工程陷阱）
问题：FEMR 预处理管道的 CUDA 扩展（femr-cuda）当前仅支持 Linux 环境。在 macOS 或 Windows 上直接安装会失败。
症状：
pip install femr-cuda报错找不到兼容的 wheel 或 CUDA 编译失败。解决：使用预计算的 CLMBR 特征（已包含在 Redivis 下载中），或使用 Docker/Linux VM 运行完整管道。也可使用 MEDS 格式在非 Linux 环境下进行部分分析。
⚠️ 坑点 2：CLMBR 在新发诊断长时域任务上被 GBM 反超（分类：评估误用）
问题：CLMBR-T-base 在 k>64 的新发诊断任务上性能低于简单计数 GBM。这是因为 CLMBR 的训练目标是下一编码预测（短时域），不适合一年期远期预测。
症状：增加训练数据量后，CLMBR 性能不升反降（或增幅远小于 GBM）。
解决：(1) 新发诊断任务的长时域场景下，优先考虑 GBM 或时序专用架构；(2) 如需使用 CLMBR，建议在中间时域（30-180天）做表示学习，再接入专门的远期预测头。
参考：EHRSHOT 论文 Section 5 Discussion；LLM 编码方法对比（Guo et al., npj Digital Medicine 2024）
⚠️ 坑点 3：Chest X-Ray 任务是所有任务中最困难的（分类：预处理陷阱）
问题：CXR 任务的基线 AUC 仅约 0.60，远低于其他任务（0.70-0.85）。原因：(1) 标签源自 NLP 自动提取，噪声明细高于人工标注；(2) 无实际影像数据，仅凭结构化编码预测影像发现。
症状：无论使用什么模型类别，CXR 任务的 AUC 始终在 0.55-0.65 之间徘徊。
解决：(1) 将 CXR 任务视为"从编码数据预判影像发现"的信息瓶颈挑战，而非标准放射学分类任务；(2) 不要期望在该任务上获得 >0.70 AUC；(3) 如果目标是放射学 AI，建议直接使用 CheXpert 或 MIMIC-CXR 数据集。
参考：EHRSHOT 论文 Appendix Figures 6-7（分任务详细性能）
⚠️ 坑点 4：不要自行重新划分数据集（分类：评估误用）
问题：自行重新划分 train/val/test 会导致与已发布基线结果不可比较，且可能破坏全局划分的预训练隔离性。
症状：无法将自己的结果与论文中的 CLMBR/GBM 基线对齐。
解决：始终使用 EHRSHOT_ASSETS/splits/splits.csv 中提供的规范划分。
⚠️ 坑点 5：OMOP 本体版本锁定（分类：工程陷阱）
问题：如果自行重新运行 FEMR 管道（不使用预生成 extract），需要下载 Athena OHDSI 本体 5.x 版本。使用不同版本会导致编码映射不一致。
症状：某些编码无法在 OMOP 本体中找到映射，或被映射到不同概念 ID。
解决：(1) 优先使用预生成的 FEMR extract（Redivis 下载中包含）；(2) 如需重新生成，严格按照 README 中的 Athena 下载说明操作，锁定 5.x 版本。
§6.9 评估指标
EHRSHOT 使用以下标准评估指标：
from sklearn.metrics import roc_auc_score, average_precision_score
# 二分类/多分类任务：AUROC + AUPRC（宏平均）
auroc = roc_auc_score(y_true, y_pred, average=''''''''macro'''''''', multi_class=''''''''ovr'''''''')
auprc = average_precision_score(y_true, y_pred, average=''''''''macro'''''''')
# 多标签任务（CXR）：逐标签 AUROC + 宏平均
# CheXpert official: mean AUROC across 5 competition labels
# EHRSHOT paper: macro AUROC across all 14 labels
k-shot 评估协议：
-
对于每个 k ∈
-
从训练集中随机采样 k 个正例和 k 个负例
-
5 次独立重复（不同随机种子）
-
报告宏平均 AUROC 和 AUPRC 的均值 ± 95% CI
§7 质量评估与局限性
§7.1 已知偏倚
| 偏倚类型 | 描述 | 严重程度 | 缓解措施 |
|---|---|---|---|
| 选择偏倚 | 单一学术医学中心（Stanford Medicine），转诊病例比例高 | 高 | 在论文中明确标注；使用研究数据使用协议要求用户知悉 |
| 人口统计偏倚 | 白人 55.4% / 亚裔 15.5% / 黑人仅 4.4% | 高 | 文档中透明报告种族分布；社区可基于此开展公平性审计 |
| 模态限制 | 仅结构化编码数据，无临床文本和影像 | 中 | 设计选择而非缺陷——论文明确说明了此限制 |
| 时间漂移 | 数据跨度 2008-2023，ICD-9 → ICD-10 迁移和临床实践演变 | 中 | OMOP-CDM 标准化缓解部分编码漂移；未做时间分布分析 |
| 年龄截断 | 排除 <18 岁和 >89 岁患者 | 中 | 儿科和老年群体不可用 |
| 小样本事件 | 部分任务阳性率极低（胰腺癌 2.8%、乳糜泻 1.6%），统计功效有限 | 低 | 这恰好是少样本学习的测试目标——低发病率是真实临床挑战 |
§7.2 标签质量
| 任务类型 | 标注方式 | 准确率估计 | 一致性检验 | 局限性 |
|---|---|---|---|---|
| 运营结局（3 项） | EHR 时间戳自动计算 | ~99%（结构化字段直接推导） | N/A（确定性规则） | 取决于 EHR 记录的完整性（如转科时间可能延迟录入） |
| 实验值（5 项） | LOINC 编码 + 临床阈值 | ~95-98%（实验室设备已校准） | 无正式检验 | 阈值划分的临床界定存在灰色地带（如 149 vs 150） |
| 新发诊断（6 项） | ICD-10 编码规则 | ~90-95%（ICD 编码准确性） | 无正式检验 | ICD 编码可能因计费目的而非诊断准确性被优化（upcoding） |
| CXR 发现（1 项） | CheXpert NegBio NLP | ~85-92%（与 CheXpert 报告一致） | 见 CheXpert 论文 | NLP 标注器的已知偏误（不确定标签 约 14%） |
§7.3 泛化性讨论
| 场景 | 失效风险 | 证据 |
|---|---|---|
| 社区医院/非学术中心 | 高 — 患者群体、编码实践、诊疗模式与 Stanford 差异大 | LLM 编码研究（Guo et al., npj Digital Medicine 2024）显示跨机构时 CLMBR 特征退化 |
| 非美国医疗系统 | 极高 — 编码体系（ICD-10-CM vs ICD-10-WHO）、实验室单位和阈值、药物品牌均不同 | OMOP-CDM 兼容性为跨系统迁移提供基础，但尚未在大规模多国数据上验证 |
| 儿科人群 | 不适用 — 数据集排除 <18 岁患者 | N/A |
| 仅使用临床文本的模型 | 不适用 — 数据集不含自由文本 | N/A |
| 跨 EHR 系统 | 中 — OMOP-CDM 标准化大幅降低迁移障碍（覆盖 100+ 医疗系统），但实际迁移效果待验证 | Guo 等（2024）初步展示了 UK Biobank 上的跨系统迁移 |
§7.4 伦理考量
- 数据隐私：EHRSHOT 遵循 HIPAA Safe Harbor 脱敏标准，所有 PHI 已移除、日期已偏移、患者标识符已替换为合成键。但原始数据来自真实患者，使用时需保持伦理警觉。
- 知情同意：Stanford Medicine 的数据共享基于机构 IRB 批准的广泛同意框架，EHRSHOT Release 符合 Stanford 的二次使用政策。
- 公平性风险：种族/族裔分布存在显著偏斜（黑人仅 4.4%、亚裔 15.5% vs 美国整体 ~13.6% / ~6.3%），在此基准上训练的模型可能在不同群体间表现不均。
- 误用风险：EHRSHOT 是评估基准而非临床部署数据集。任何基于 EHRSHOT 得出的模型性能结论不应直接外推至临床决策环境。
§7.5 公平性评估
EHRSHOT 论文未提供系统的子群体公平性分析（如按种族/性别的分层 AUC）。但数据集提供了种族和性别字段，社区可自行开展公平性审计：
import pandas as pd
from sklearn.metrics import roc_auc_score
# 按种族分组评估模型性能（伪代码示例）
for race_group in [''''''''White'''''''', ''''''''Asian'''''''', ''''''''Black'''''''', ''''''''Hispanic'''''''']:
subgroup = labels[demographics[''''''''race''''''''] == race_group]
auc = roc_auc_score(subgroup[''''''''label''''''''], subgroup[''''''''prediction''''''''])
print(f"{race_group}: AUROC = {auc:.3f}")
§7.7 DAIMS 24 项数据就绪度评估表
| # | 评估项 | 得分 | 说明 |
|---|---|---|---|
| 1 | 数据集标识 | ✅ 1 | 名称、版本、发布日期、作者完整 |
| 2 | 数据采集过程 | ✅ 1 | 全面描述了 FEMR 管道、源数据和筛选条件 |
| 3 | 数据预处理 | ✅ 1 | 完整的 FEMR 管道代码开源 |
| 4 | 数据标注方法 | ✅ 1 | 15 项任务的标注规则均有详细定义 |
| 5 | 数据划分 | ✅ 1 | 规范的 train/val/test 划分，患者级随机 |
| 6 | 数据分布 | ✅ 1 | 完整的任务级标签分布统计 |
| 7 | 数据格式 | ✅ 1 | CSV/Parquet/NumPy 多种格式，含完整 schema |
| 8 | 数据可及性 | ✅ 1 | Redivis 平台分发，签署 DUA 后免费获取 |
| 9 | 数据许可 | ✅ 1 | 明确的 Stanford 研究数据使用协议 |
| 10 | 伦理审查 | ✅ 1 | Stanford IRB 批准 |
| 11 | 隐私保护 | ✅ 1 | HIPAA Safe Harbor 脱敏 + 日期偏移 |
| 12 | 人口学信息 | ✅ 1 | 年龄/性别/种族/族裔均已释放 |
| 13 | 缺失数据处理 | ⚠️ 0.5 | 种族 23.2% “未知”，未报告缺失机制 |
| 14 | 数据质量 | ⚠️ 0.5 | 无正式数据质量验证报告（如异常值检测、CRC 校验） |
| 15 | 已知局限性 | ✅ 1 | 论文 Limitations 节和 README 中详尽列出 |
| 16 | 偏倚评估 | ⚠️ 0.5 | 偏倚被定性讨论但未定量分析 |
| 17 | 泛化性分析 | ⚠️ 0.5 | 单中心来源，跨机构泛化性未系统评估 |
| 18 | 可复现性 | ✅ 1 | 完整的 run_all.sh 脚本，Conda 环境锁定 |
| 19 | 预训练模型发布 | ✅ 1 | CLMBR-T-base 141M 参数权重公开发布（HuggingFace） |
| 20 | 评估指标标准化 | ✅ 1 | AUROC + AUPRC，k-shot 协议明确定义 |
| 21 | 基准任务多样性 | ✅ 1 | 15 项任务覆盖运营/实验室/诊断/影像四大类别 |
| 22 | 外部验证 | ⚠️ 0.5 | UK Biobank 外部验证仅在后继研究中进行，非原始论文 |
| 23 | 数据集维护 | ⚠️ 0.5 | 有版本更新记录，但无明确长期维护路线图 |
| 24 | 文档完整性 | ✅ 1 | README + 论文 Appendix + DUA.md 三重文档 |
| 合计 | 19.5 / 24 |
DAIMS 评分：19.5 / 24
评分解读：优秀 — 在 EHR 基准数据集中处于领先地位，尤其以"数据集+模型权重+预处理代码+评估脚本"四位一体发布为最大亮点。对你意味着什么：EHRSHOT 的规范性和可复现性在现有公开 EHR 基准中首屈一指。唯一需要特别留意的扣分项是：(1) 单中心��人口偏斜——在 EHRSHOT 上表现好的模型未必在社区医院或非美国医疗系统中同样优秀，建议结合 OMOP-CDM 兼容性做跨机构验证；(2) 结构化数据仅限——如果你的模型依赖临床文本或影像，EHRSHOT 不适用，建议同时评估 MIMIC-CXR（影像）和 MedAlign（文本）；(3) 少量任务的长时域测试——CLMBR 在新发诊断任务上被 GBM 反超，说明基础模型的优势主要体现在少样本场景（k ≤ 64），数据充足时简单方法可能更好。
§7.8 外部验证矩阵
| 外部数据集/场景 | 来源机构 | 样本量 | 评估任务 | 性能指标 | 相对内部测试集变化 | 关键发现 |
|---|---|---|---|---|---|---|
| UK Biobank（结构化 EHR） | UK Biobank（英国） | 387,464 | 25 项慢性病发病预测 + 死亡 + 住院 | AUROC 0.743（Qwen3-Emb-8B）/ 0.736（CLMBR） | CLMBR 从 EHRSHOT 到 UK Biobank 下降约 3-5% | CLMBR 编码覆盖率仅 16% 在 UKB 中匹配；LLM 嵌入方法通过更广的词汇覆盖弥补差距（Guo et al., Nature npj Digital Medicine, 2026） |
§8 基准性能与生态
§8.1 排行榜
注意：EHRSHOT 是评估基准而非竞赛排行榜。以下数据整合自原始论文和后继研究的公开结果。不同论文的实验设置（k-shot 采样版本、特征工程策略、超参搜索）可能存在差异，绝对数值不可直接比较——请以各论文的规范复现实验为准。
| 方法 | 模型类型 | 宏平均 AUROC（k=All） | 宏平均 AUROC（k=8） | 关键优势 | 年份 | 完整引用 | 代码 |
|---|---|---|---|---|---|---|---|
| CLMBR-T-base | 141M Transformer（自回归） | 0.745 | 0.680 | 少样本（k≤64）全面领先，最参数效率 | 2023 | Wornow et al., NeurIPS 2023 | GitHub |
| Count-based GBM | LightGBM + 计数特征 | 0.695 | 0.610 | 充足标签下（k>64）在新发诊断任务上反超 CLMBR | 2023 | Wornow et al., NeurIPS 2023 | GitHub |
| Qwen3-Emb-8B | LLM 嵌入 + 逻辑回归 | ~0.777 | ~0.720 | 全量数据上整体最优，跨系统泛化能力强 | 2026 | Guo et al., Nature npj Digital Medicine, 2026 | — |
| BioClinicalBERT | 编码器嵌入 + 逻辑回归 | ~0.702 | ~0.620 | 基线编码器方法 | 2026 | Guo et al., Nature npj Digital Medicine, 2026 | — |
| Logistic Regression | 逻辑回归（计数） | 0.680 | ~0.600 | 最简单基线 | 2023 | Wornow et al., NeurIPS 2023 | GitHub |
§8.2 SOTA 总结与选型建议
| 场景 | 推荐方法 | 理由 |
|---|---|---|
| 少样本临床预测（k≤64） | CLMBR-T-base | 参数效率最高，预训练表示在极少标签下增益最大 |
| 充足标签（k>64）的新发诊断预测 | Count-based GBM | 简单、可解释、性能反超 CLMBR |
| 追求全量数据最高性能 | Qwen3-Emb-8B（Guo et al., 2026） | 当前最佳，但计算成本高（编码时间 ~22h vs CLMBR ~6min） |
| 跨机构迁移（UK Biobank 等） | LLM 嵌入方法 | 词汇覆盖更广，跨机构退化更小 |
| 快速验证 / 计算资源受限 | Count-based GBM | 无需 GPU 预训练，CPU 上几分钟出结果 |
§8.3 官方评测协议
- 使用规范的 train/val/test 划分（splits.csv）
- 在每项任务上，对 k ∈ {1, 2, 4, 8, 16, 32, 64, 128, All} 分别评估
- 每个 k 值运行 5 次独立重复（不同 few-shot 采样种子）
- 报告宏平均 AUROC 和 AUPRC，含 95% 置信区间
- 按四类任务组（运营结局 / 实验值 / 新发诊断 / CXR）汇总宏平均
- 评估代码必须开源或可复现
§8.4 相关数据集
| 数据集 | 关系 | 关键差异 |
|---|---|---|
| MIMIC-IV | 互补 — 大规模住院 EHR | 仅 ICU/ED 患者；EHRSHOT 覆盖全科室但患者数远小于 MIMIC |
| eICU-CRD | 替代 — ICU 多中心 EHR | 多中心（208 家）但仅限 ICU；EHRSHOT 是单中心但全科室 |
| HiRID | 互补 — 高分辨率 ICU 时序 | 2 分钟分辨率 vs EHRSHOT 的分钟级；HiRID 强调时序粒度 |
| UK Biobank | 外部验证目标 | 50 万人群队列，已用于 EHRSHOT 模型的外部验证 |
| MedAlign | 姐妹项目 — 临床文本评估 | 同属 Stanford Shah Lab，关注非结构化文本指令遵循 |
§8.5 关键论文
- Wornow, M., Thapa, R., Steinberg, E., Fries, J. A., & Shah, N. H. (2023). EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models. Advances in Neural Information Processing Systems (NeurIPS), 36 (Datasets and Benchmarks Track). — EHRSHOT 原始论文，定义基准、发布数据集和 CLMBR-T-base 模型权重。
- Guo, L. L., Fries, J., Steinberg, E., et al. (2024). A Multi-Center Study on the Adaptability of a Shared Foundation Model for Electronic Health Records. npj Digital Medicine, 7, 171. — 在 7 个医疗系统上评估 CLMBR 的跨机构泛化性。
- Wornow, M., Bedi, S., et al. (2025). Context Clues: Evaluating Long Context Models for Clinical Prediction Tasks on EHRs. arXiv:2412.04839. — 使用 EHRSHOT 评估长上下文架构（Mamba/Hyena）在 EHR 上的适用性。
- Guo, L. L., et al. (2026). Large Language Models are Powerful Electronic Health Record Encoders. Nature npj Digital Medicine. — 最新研究，证明 LLM 嵌入方法在 EHRSHOT 全量数据上超过 CLMBR。
- Wornow, M., Xu, Y., et al. (2023). The Shaky Foundations of Large Language Models and Foundation Models for Electronic Health Records. npj Digital Medicine, 6, 135. — 对 EHRSHOT 发布前的临床基础模型生态的全面调查和批判。
- Chen, T., Zhu, M., Luo, Z., & Zhu, T. (2025). Counting Still Counts: A Structured EHR Benchmark of Count-based Models vs Transformers and LLM Pipelines. arXiv:2511.00782. — 在 EHRSHOT 上对比计数模型、Transformer 和 LLM 管道的系统性研究。
§8.7 生态快照
| 资源 | 类型 | 链接 | Star/Fork（截至 2026-07） | 为什么值得关注 |
|---|---|---|---|---|
| ehrshot-benchmark | 官方仓库 | GitHub | 219 / 29 | 包含完整基准运行代码、FEMR 管道和评估脚本 |
| CLMBR-T-base | 预训练模型 | HuggingFace | — | 141M 参数 EHR 基础模型权重，首批公开发布的编码 EHR FM |
| FEMR | 工具库 | GitHub | 174 / 33 | OMOP-CDM 兼容的 EHR 预处理框架 |
| MEDS | 数据标准 | GitHub | 20 / 2 | 高性能 Medical Event Data Standard 读取器 |
| ehrshot-website | 官方网站 | ehrshot.stanford.edu | — | 数据集下载、文档和排行榜入口 |
| medhelm | 评估框架 | GitHub | 3 / 0 | Shah Lab 的医疗 LLM 综合评估框架（含 EHRSHOT） |
§9 相关资源与引用
§9.1 BibTeX 引用
@inproceedings{wornow2023ehrshot,
title={{EHRSHOT}: {A}n {EHR} Benchmark for Few-Shot Evaluation of Foundation Models},
author={Wornow, Michael and Thapa, Rahul and Steinberg, Ethan and Fries, Jason A. and Shah, Nigam H.},
booktitle={Advances in Neural Information Processing Systems},
volume={36},
year={2023},
url={https://proceedings.neurips.cc/paper_files/paper/2023/file/d42db1f74df54cb992b3956eb7f15a6f-Paper-Datasets_and_Benchmarks.pdf}
}
§9.2 官方资源
| 资源 | 链接 |
|---|---|
| 官方主页 | https://ehrshot.stanford.edu |
| GitHub 仓库 | https://github.com/som-shahlab/ehrshot-benchmark |
| HuggingFace 模型 | https://huggingface.co/StanfordShahLab/clmbr-t-base |
| arXiv 预印本 | https://arxiv.org/abs/2307.02028 |
| NeurIPS 2023 论文 | https://proceedings.neurips.cc/paper_files/paper/2023/hash/d42db1f74df54cb992b3956eb7f15a6f-Abstract-Datasets_and_Benchmarks.html |
| 数据下载（Redivis） | https://ehrshot.stanford.edu（经跳转） |
| 数据使用协议（DUA） | https://github.com/som-shahlab/ehrshot-benchmark/blob/main/DUA.md |
§9.3 教程与社区链接
| 资源 | 类型 | 链接 |
|---|---|---|
| RHealth EHRSHOT 接口文档 | R 语言工具 | https://v1xerunt.github.io/RHealth/reference/EHRShotDataset.html |
| Shah Lab 主页 | 研究组 | https://shahlab.stanford.edu/ |
| EHRSHOT 相关推文/讨论 | 社交媒体 | 见 GitHub Issues 和 Discussions |
§10 AI 使用声明卡
§10.1 使用的 AI 模型
| 模型 | 版本 | 用途 |
|---|---|---|
| Claude（WorkBuddy） | 2026-07 | Wiki 初稿生成、信息检索与整合 |
| WebSearch / WebFetch | WorkBuddy 内置 | 数据集背景资料收集与交叉验证 |
§10.2 AI 参与范围
ai-assisted — AI 完成初稿生成和信息整合，人工（千方病案医学编辑部）完成医学准确性审核和规范性校验。
§10.3 AI 参考的输入来源
- Wornow et al., “EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models,” NeurIPS 2023（arXiv:2307.02028）
- GitHub som-shahlab/ehrshot-benchmark README 与代码仓库
- EHRSHOT 官方网站 https://ehrshot.stanford.edu
- Guo et al., “A Multi-Center Study on the Adaptability of a Shared Foundation Model for EHRs,” npj Digital Medicine, 2024
- Guo et al., “Large Language Models are Powerful Electronic Health Record Encoders,” npj Digital Medicine, 2026
- Chen et al., “Counting Still Counts: A Structured EHR Benchmark,” arXiv:2511.00782, 2025
- Stanford HAI News, “Advancing Responsible Healthcare AI with Longitudinal EHR Datasets,” 2024
- RHealth EHRSHOT 接口文档
- Semantic Scholar / AMiner 引用统计
- ECOSYSTE.MS GitHub 仓库统计
§10.4 人工校验机制
| 内容模块 | 审核者 | 审核方式 | 审核状态 |
|---|---|---|---|
| §2 医学背景（ICD-11/SNOMED CT 映射、任务定义） | 千方病案医学编辑部 | 交叉审核 | ✅ 已通过 |
| §3 数据规格（版本抉择矩阵、样本统计） | 千方病案医学编辑部 | 与官方论文和 README 交叉比对 | ✅ 已验证 |
| §4 数据结构（目录树、字段表、标签分布） | 千方病案医学编辑部 | 与 FEMR extract 格式文档交叉比对 | ✅ 已验证 |
| §5 数据划分（泄漏风险、划分策略） | 千方病案医学编辑部 | 与论文方法论章节交叉比对 | ✅ 已验证 |
| §6 AI 就绪指南（代码示例、坑点、评估指标） | 千方病案医学编辑部 | 逻辑审查 + GitHub README 对照 | ✅ 已通过 |
| §7 质量评估（DAIMS、偏倚表、外部验证） | 千方病案医学编辑部 | 交叉审核 | ✅ 已通过 |
| §8 基准性能（排行榜、SOTA、生态快照） | 千方病案医学编辑部 | 与各引用论文核实 | ✅ 已验证 |
§10.5 AI 生成的章节
全部章节均由 AI 完成初稿，经千方病案医学编辑部人工交叉审核后修改定稿。
§10.6 最后一次人工审核日期
2026-07-28
页面状态：published — 全部内容已完成审核并发布。
