信息速览
AIPatient KG:# AIPatient KG:MIMIC-III 与 CORAL 患者知识图谱
一句话导语:A 与 CORAL 患者知识图谱
一句话导语:AIPatient KG 把真实重症监护电子健康记录「翻译」成机器可查询的医学知识图谱,并以此驱动一套六智能体协作的模拟病人系统,让医学生在无隐私风险的对话中练习问诊,让研究者评测检索增强生成与多智能体工作流。
INFOBOX
| 数据集名称 | AIPatient KG |
| 英文全称 | AIPatient KG: MIMIC-III and CORAL Electronic Health Records based Patient Knowledge Graph |
| 别名/简称 | AIPatient、AIPatient KG-CORAL、AIPatient Knowledge Graph |
| 疾病分类 | 重症监护全疾病谱(按 ICD-9 大类分层抽样:感染与寄生虫病、肿瘤、内分泌与代谢、循环系统、呼吸系统等);KG-CORAL 子集聚焦乳腺癌与胰腺癌 |
| 数据模态 | EHR 衍生知识图谱(文本实体关系)、医疗问答对、对话模拟数据 |
| AI 任务类型 | 医疗问答、命名实体识别、患者模拟、RAG 评测、多智能体工作流评估、临床文本知识抽取 |
| 样本总数 | KG 收录 56 例 ICU 患者(分层抽样 cohort 口径 1,495 例);KG-CORAL 收录 40 例肿瘤患者;问答集 524 题 |
| 数据格式 | Neo4j 图数据库快照 + 问答数据集(PhysioNet 压缩包分发) |
| 许可证 | 数据:PhysioNet Credentialed Health Data Use Agreement(受控访问);配套代码:Apache 2.0 |
| 访问级别 | 申请审核(PhysioNet 凭证化账户 + 签署数据使用协议 DUA) |
| DUO 标签 | GRU(通用研究使用,经 PhysioNet DUA 约束) |
| 语言 | 英文 |
| 首发日期 | 2025-04-15(PhysioNet v1.0.0);系统论文 2024-09-27(arXiv:2409.18924) |
| 最后更新 | 2025-04-15(v1.0.0) |
| 发布机构 | Mass General Brigham 人工智能医学项目(AIM)与哈佛医学院牵头的多机构团队(PhysioNet 托管) |
| 官方主页 | https://physionet.org/content/aipatient-kg/ |
| 下载地址 | https://physionet.org/content/aipatient-kg/1.0.0/ |
| DOI | 10.13026/vjrq-9328(数据集) |
| 引用次数 | 44+(Google Scholar,截至 2026-09) |
| AI 就绪度评分 | ⭐⭐⭐(3/5)— 配套开源代码与问答评测集、论文指标齐备;扣分项:需自行部署 Neo4j、部分图谱构建代码未公开、受控访问门槛、无官方训练/测试划分 |
| 页面状态 | published |
§0 E-E-A-T
编辑说明:本词条由「千方数据集百科」编辑部依据 AIPatient 系统 arXiv 论文(v1-v4)、Communications Medicine 正式发表论文、PhysioNet 官方数据页面与官方 GitHub 仓库撰写,所有规模数字、日期与许可条款均溯源至上述一手来源,检索完成于 2026-09。
- 医学审核者:[千方病案医学编辑部] 交叉审核:§2 医学背景(重症监护疾病谱、ICD-11/SNOMED 映射、模拟病人教学定位)、§7 偏倚分析(单中心 ICU 人群偏倚、肿瘤子集覆盖)。
- 数据工程审核者:[千方病案医学编辑部交叉审核] 医疗 AI 数据工程师,审核范围:§4 DAIMS 数据字典、§5 数据划分策略、§6 预处理 Pipeline 和坑点。
- 审核日期:2026-09-05
医疗免责声明:本页面提供的医学信息仅供研究和教育目的,不构成医疗建议、诊断或治疗方案。数据集的医学描述基于公开发表的文献,未经逐一临床验证。任何基于该数据集训练的 AI 模型在应用于临床决策前,必须经过独立的临床验证和监管审批。
技术免责声明:本页面的代码示例、预处理建议和基准性能数据基于公开资料整理,不保证在特定环境下的准确性和适用性。使用者应自行验证代码安全性和数据预处理流程的正确性。千方病案医数集不对因使用本页面信息而导致的任何直接或间接损失承担责任。
数据使用合规:使用本页面描述的数据集前,请务必阅读并遵守数据集原始许可协议。AIPatient KG 要求用户持有 PhysioNet 凭证化账户、完成培训并签署数据使用协议(DUA);上游 MIMIC-III 与 CORAL 的许可禁止向第三方再分发衍生数据,也禁止将数据发送给未配置零数据保留的第三方在线服务。DUO 标签仅供参考,具体使用限制以数据集官方协议为准。
§1 数据集概览
§1.0 📌 30 秒速览
这是什么? AIPatient KG 是 2025 年 4 月发布在 PhysioNet 的一份受控访问数据资源,包含两份知识图谱快照(AIPatient KG 基于 MIMIC-III 重症监护数据库、AIPatient KG-CORAL 基于 CORAL 肿瘤报告)和两套配套医疗问答数据集。它把非结构化的出院小结,经大语言模型命名实体识别抽取为「患者-症状-病史-用药」互相连接的 Neo4j 图谱,约含 15,441 个节点与 26,882 条关系边。它同时是一套模拟病人系统的「大脑」:研究者用六个大语言模型智能体协作(检索、图谱查询生成、抽象、校验、改写、摘要),让医学生与一个「有病史、有性格」的 AI 病人对话问诊。
为什么重要? 传统医学教育依赖真人标准化病人,成本高、病例有限、表演难以标准化;直接让大语言模型扮演病人又容易产生医学幻觉。AIPatient 的思路是把模型「锚定」在真实脱敏病历构建的知识图谱上:论文报告其医疗问答准确率达 94.15%,知识库实体抽取 F1 为 0.89,医学生用户研究显示问诊体验与人类标准化病人相当或更好。它是首批在 PhysioNet 上以受控访问形式发布「真实 EHR 衍生图谱 + 问答基准」组合的资源之一。
我能用它做什么? 如果你在做医学教育产品,可以复现模拟病人交互流程;如果你研究检索增强生成或多智能体系统,524 题问答集提供了带系统级准确率基线的评测场景;如果你做临床自然语言处理,图谱三元组与命名实体识别金标准可以用于信息抽取方法对比。注意:数据受控访问,不可再分发,也不能把数据直接发给第三方在线模型服务。
§1.1 技术摘要
AIPatient 项目的技术路线可以概括为「两根支柱」。第一根是 AIPatient 知识图谱:研究团队从 MIMIC-III 数据库中先按纳入排除标准筛选(18 岁以上,排除分娩、择期手术、严重车祸与丧失沟通能力的病例),再按 ICD-9 诊断码分层抽样,最终以 1,495 例患者出院小结构成 cohort,其中 56 例核心病例被完整转化为图谱节点与关系;实体抽取采用大语言模型命名实体识别,覆盖症状、病史、过敏、社会史与家族史五类,并以六名医生标注的 100 例金标准评测六个大语言模型,GPT-4 Turbo 以综合 F1 0.89 胜出。第二根是 Reasoning RAG 智能体工作流:六个任务特化智能体分属检索、推理、生成三个阶段——检索智能体定位图谱信息,查询生成智能体把自然语言转成图谱查询,抽象与校验智能体核对事实一致性以抑制幻觉,改写与摘要智能体按大五人格特征生成口语化回答并维护多轮对话记忆。在 524 题医疗问答评测中,六智能体全开配置取得 94.15% 准确率;系统层面的稳健性(ANOVA F=0.6126)与稳定性(F=0.782)检验均不显著(p>0.1),表明多次运行结果方差可控。数据与配套问答集以 PhysioNet v1.0.0 发布,代码以 Apache 2.0 开源。
§1.2 战略价值
维度一:为「幻觉治理」提供了可复用的工程范式。 医疗对话系统最致命的失败模式是编造病史与症状。AIPatient 用「结构化图谱 + 校验智能体」把生成过程约束在可追溯的事实集合上,其六智能体分工(检索→查询生成→抽象→校验→改写→摘要)已成为后继医疗多智能体系统的常用参考架构。对工程团队而言,这套流水线的提示词设计与消融实验(全智能体 vs 部分智能体 vs 无智能体)直接可借鉴,且代码开源,可以在自有图谱上替换复用。
维度二:填补了「受控访问医学问答基准」的生态空位。 开放数据集不能携带可再识别的临床叙述文本,而完全合成的数据又缺乏真实临床分布。AIPatient KG 以 PhysioNet 受控访问的形式同时保住了两者:真实脱敏 EHR 溯源 + 图谱/问答衍生数据不公开散播。这使它成为测试「医学 grounding」类方法的合规试验场——当你需要证明某个 RAG 系统在真实病历衍生的知识源上确实减少了幻觉,而不是在玩具数据上过拟合,这套资源是少数可申请到的选择之一。
§1.3 同类数据集横向对比
| 数据集 | 规模 | 模态 | 访问方式 | 与 AIPatient KG 的差异化 |
|---|---|---|---|---|
| AIPatient KG(本条目) | 56 例 ICU 患者(cohort 1,495 例)+ 40 例肿瘤患者;15,441 节点/26,882 边;524 题 QA | EHR 衍生知识图谱 + 问答对 | PhysioNet 受控访问(DUA) | 真实 EHR 溯源 + 多智能体模拟病人系统绑定,含系统级 QA 基线 |
| MIMIC-III | 46,520 名患者 / 58,976 次住院 | 结构化 EHR + 波形关联 + 临床笔记 | PhysioNet 受控访问(DUA) | 上游原始数据,规模大两个数量级;无图谱结构与问答基准 |
| CORAL | 40 例肿瘤患者(20 乳腺癌 + 20 胰腺癌) | 专家整理肿瘤报告文本 | PhysioNet 受控访问 | 上游文本来源,专家整理质量高;无图谱化与评测集 |
| 上游文本来源,专家整理质量高;无图谱化与评测集 | ||||
| Synthea | 可无限生成 | 全合成 EHR(FHIR) | Apa | 可无限生成 |
| PatientSim | 多 persona 临床场景 | EHR 衍生 + persona 对话模拟器 | PhysioNet 受控访问(2025-10-18 发布 v1.0.0) | 同为模拟病人资源;AIPatient 侧重图谱 grounding 与多智能体架构,PatientSim 侧重 persona 多样性 |
§1.4 版本时间轴
| 时间 | 版本/事件 | 说明 |
|---|---|---|
| 2024-09-27 | arXiv:2409.18924 v1 | 系统论文首提 AIPatient 架构与 AIPatient KG 概念(21 位作者) |
| 2024-10-01 | arXiv v2 | 摘要修订,报告可读性中位 Flesch Reading Ease 77.23、FK Grade 5.6 |
| 2025-04-15 | PhysioNet AIPatient KG v1.0.0 | 数据资源正式发布(Fan & Yu,DOI 10.13026/vjrq-9328) |
| 2025-07-29 | arXiv v3 | 修订版 |
| 2025-11-27 | arXiv v4 | 更新可读性指标为 Flesch Reading Ease 68.77、FK Grade 6.4 |
| 2025-12 | Communications Medicine 正式发表 | DOI 10.1038/s43856-025-01283-x(PMID 41420084),新增医学生用户研究 |
版本选择建议:引用与复现一律以「Communications Medicine 正式版 + PhysioNet v1.0.0」为准绳——前者是经过同行评审的方法与用户研究口径,后者是数据快照的固定标识。arXiv 各版本仅在需要研究方法演化(如可读性指标的修订过程)时才值得回溯;此时应像本条目一样显式标注版本号,避免把 v2 数字移植到 v4 语境。
§1.5 典型应用场景
- 医学生问诊训练:以图谱中的患者为蓝本进行多轮问诊对话,AI 病人按大五人格呈现不同的沟通风格;用户研究显示其在病史采集训练中与人类标准化病人相当或更好。
- RAG 与多智能体系统评测:524 题问答集 + 已发表的 94.15% 系统基线,可衡量自研检索、校验与生成模块的增量贡献。
- 临床文本信息抽取方法对比:六名医生标注的 100 例金标准(GPT-4 Turbo 综合 F1 0.89、病史 0.98、家族/社会史 0.91、症状 0.90)为命名实体识别方法提供了可对标的参考点。
- 知识图谱构建方法研究:从出院小结到 12 类节点、11 种关系的完整构建链路,可用于研究 LLM 抽取误差在图谱中的传播与校正。
- 分布外泛化测试:KG-CORAL 肿瘤子集被作者设计为 OOD(分布外)评测源,检验系统在 ICU 之外病种上的表现。
- 医学教育研究:借助医学生用户研究的设计(保真度、可用性、教育价值三维量表,经齐鲁医院 IRB 审批)复现教学效果评估,或将其作为「AI 病人 vs 标准化病人」对照研究的基线系统。
- 隐私合规工程参考:该资源展示了「上游去标识化 + 衍生数据受控 + LLM 零保留」的三层合规架构,为其他真实病历衍生资源的发布流程提供范本。
§2 医学背景
§2.1 疾病分类与 ICD-11 映射
AIPatient KG 覆盖重症监护全疾病谱,图谱构建时按 ICD-9 诊断码分层抽样以确保「感染、肿瘤、内分泌代谢、循环、呼吸」等大类均有代表。下表给出主要疾病类别与 ICD-11 编码的对应关系(供检索与标签体系对齐使用):
| 标签/类别 | ICD-11 编码 | ICD-11 中文名 | 与本数据集的关系 |
|---|---|---|---|
| 脓毒症及感染 | 1G4Z | 脓毒症(感染类代表) | ICD-9 感染与寄生虫病分层的代表病种,ICU 常见病因 |
| 心力衰竭 | CB4Z | 心力衰竭 | 循环系统分层代表,ICU 高频诊断 |
| 肺炎 | CA4Z | 肺炎 | 呼吸系统分层代表,ICU 高频诊断 |
| 急性肾损伤 | 8B6Z | 急性肾损伤 | ICU 常见并发症,跨系统类别 |
| 恶性肿瘤(CORAL 子集) | 2A00-2F5Z | 恶性肿瘤章节 | KG-CORAL 覆盖乳腺癌与胰腺癌患者的肿瘤报告 |
注:AIPatient KG 本身不携带逐病例 ICD-11 标注,上表用于描述其疾病谱构成与检索对齐;病例级诊断以 MIMIC-III 原始 ICD-9 编码为准。
ICD-9 与 ICD-11 的对应关系此处只作展示用途;若研究需要精确编码映射(如按 ICD-11 章节统计图谱疾病谱),应使用 WHO 官方映射表或 UMLS 交叉漫游(crosswalk),并在方法章节写明映射版本——临床编码映射存在多对一与一对多的固有模糊,直接套用粗映射表得到的疾病谱统计会有可观的边界误差。
§2.1b SNOMED CT 映射
| 标签/概念 | SNOMED CT 码 | 术语 | 说明 |
|---|---|---|---|
| 重症监护 | 133834002 | Critical care medicine (procedure) | 数据来源场景(BIDMIC ICU 病房) |
| 病史采集 | 409075007 | Medical interview (procedure) | 模拟病人系统训练的核心临床任务 |
| 电子健康记录 | 700186008 | Electronic health record (record artifact) | 图谱的数据来源形态 |
注:图谱节点使用自然语言实体(如症状与病史短语),未内置 SNOMED CT 概念链接;上表仅为本条目检索与术语对齐提供参考锚点,如需概念级映射需自行接入 UMLS 等术语服务。
§2.2 医学背景简介
模拟病人教学的传统与瓶颈。 医学教育长期依赖「标准化病人」——经过训练的真人演员按剧本扮演特定病例,供学生练习问诊、共情与临床推理。这一方式效果好但代价高昂:招募与培训成本高、可用病例受限于演员数量与剧本库、表演一致性难以保证,罕见病例尤其难以覆盖。虚拟病人系统(virtual patient)试图解决规模化问题,但早期系统多基于少数固定案例与脚本,真实感与医学准确性不足。
大语言模型带来的机遇与风险。 大语言模型使「开放域对话式病人模拟」成为可能,但也带来三类典型失败:医学幻觉(编造不存在的症状或病史)、对话僵硬(对非标准提问缺乏弹性)、事实不可追溯(无法核查回答的病历依据)。AIPatient 的设计目标正是同时压低这三类风险:用真实脱敏出院小结构建图谱锚定事实,用校验智能体拦截与图谱冲突的陈述,用人格建模保持对话自然度。
流行病学与人群定位。 数据来源 MIMIC-III 覆盖贝斯以色列女执事医疗中心(BIDMC)2001-2012 年的 40,000 余名成人重症患者,是 ICU 人群的代表性切片;CORAL 覆盖加州大学旧金山分校(UCSF)2012-2022 年的乳腺癌与胰腺癌患者各 20 名。需注意 ICU 人群本身是高度选择的人群(重症住院者),其疾病谱与门诊、普通病房或社区人群存在系统性差异,这一属性会被下游模型继承。
图谱作为「事实锚」的定位。 与直接用 LLM 记忆病历不同,AIPatient 把病历知识外化为显式的图谱结构:患者说什么由图谱决定,怎么说由人格与改写模块决定。这种「事实与风格解耦」的设计使评测可以分别检验两个维度——事实层用问答准确率与一致性核查,风格层用可读性量表与人格一致性评估。理解这一解耦是使用本资源的前提:把它当纯语料库用会浪费图谱结构,把它当纯图谱用又会错过人格化对话生成这一核心能力。
§2.3 临床任务定义
| 任务 | 类型 | 在本数据集中的形态 |
|---|---|---|
| 问诊对话模拟(history taking) | 生成 + 多轮决策 | 学生提问 → 六智能体协作 → 图谱锚定的口语化回答,支持大五人格风格变化 |
| 医疗问答(medical QA) | 检索增强问答 | 524 题问答对,系统级准确率 94.15% 为参考基线 |
| 医学实体抽取(NER) | 序列标注/信息抽取 | 从出院小结抽取症状、病史、过敏、社会史、家族史五类实体,金标准 100 例 |
| 知识图谱构建与校验 | 结构化 + 事实核查 | 12 类节点、11 种关系的三元组生成,专家验证环节 |
| 分布外泛化评测 | 评测协议 | 以 KG-CORAL 肿瘤子集为 OOD 测试源 |
五类任务不是并列关系,而是同一条数据流水线上的五个环节:NER 抽取是上游(决定图谱质量上限),图谱构建是中游(承载全部事实),问答与对话模拟是下游(消费图谱),OOD 评测是对下游的横向检验。这意味着下游任务的误差分析可以回溯到上游组件——如果某患者的问答答案系统性出错,应先核对该患者子图的 NER 误抽,再怀疑检索或生成模块。反之,想改进问答准确率,也可以从图谱侧(扩充患者池,作者在 GitHub 声明有此计划)或抽取侧(更换更强模型)两条路入手,而不必只调提示词。
§2.4 患者人群表
| 维度 | AIPatient KG(MIMIC-III 源) | AIPatient KG-CORAL(CORAL 源) |
|---|---|---|
| 来源机构 | 贝斯以色列女执事医疗中心(波士顿) | 加州大学旧金山分校(旧金山) |
| 时间跨度 | MIMIC-III 收录 2001-2012 年住院数据 | 2012-2022 年收集的肿瘤报告 |
| 年龄 | 18 岁以上成人(未成年人为设计排除项) | 成人肿瘤患者 |
| 性别/种族 | 继承 MIMIC-III 单中心分布(论文未单独披露本 cohort 的人口学拆分) | 20 例乳腺癌 + 20 例胰腺癌 |
| 就医类型 | ICU 住院(重症) | 肿瘤专科诊疗 |
| 纳入排除 | 排除分娩、择期手术、严重车祸、丧失沟通能力者 | 专家整理报告,含完整病史叙述 |
| 规模 | 分层抽样 cohort 1,495 例;图谱核心 56 例 | 40 例 |
§2.5 临床价值
对临床教学而言,这套资源的价值在于「可重复的高危场景演练」:问诊失误没有真实患者风险,罕见病例可以按需重放,且每次对话都有图谱依据可回溯。对临床信息学而言,它展示了「非结构化叙述 → 可计算图谱」的完整管线,其 F1 0.89 的抽取质量与逐类别误差分析(社会史抽取最弱)为同类工作提供了现实的精度预期。对医学 AI 评测而言,它把「回答是否忠于病历」变成了可程序化核查的问题——校验智能体的存在使得事实一致性测试可以嵌入回归流程。
三重价值的同时成立有一个共同前提:规模。56 例患者支撑得起方法学演示与教学试点,支撑不起人群级结论——任何声称「ICU 患者普遍如何如何」的发现都需要回到上游 MIMIC-III 的万例级数据验证。把它当「方法与评测的标准试验台」用是扬长,把它当「临床流行病学样本」用是踩坑。
§2.6 金标准标注
| 划分/标注集 | 标注方式 | 标注者 | 性质与用途 |
|---|---|---|---|
| NER 金标准(100 例出院小结) | 双盲独立标注 + 汇总裁定 | 6 名医生 | 评测六个大语言模型的抽取质量,GPT-4 Turbo 综合 F1 0.89 |
| 医疗问答集(MIMIC-III 524 题) | 依据图谱与上游病历编制参考答案 | 研究团队(含临床背景作者) | 系统准确率、稳健性、稳定性评测 |
| CORAL 问答集 | 依据 40 例肿瘤报告编制 | 研究团队 | OOD 评测 |
| 用户研究数据 | 医学生打分(保真度、可用性、教育价值)+ 可读性量表 | 医学生与志愿者(IRB 批件:齐鲁医院 KYLL-202505-005) | 系统级体验评估,正式论文报告 |
金标准的使用纪律:100 例 NER 金标准的角色是「模型选型依据」,论文用它裁决了六个大语言模型的胜负。后来者若把它当作自己方法的测试集使用,会遭遇双重问题——选型偏差(GPT-4 Turbo 已按此集挑选)与样本重叠(相同病例既定过选型又定你的成绩)。正确的做法是把它作为训练校准集或参考分布,另从图谱或上游 MIMIC-III 中抽样构造新的评测集,并在论文中声明与原金标准的关系。
§3 数据集规格
§3.0 版本抉择矩阵
AIPatient 生态内存在「系统代码」与「数据资源」两条获取路径,加上上游 MIMIC-III 与 CORAL,首次接触者常混淆该拿哪个。按下表对号入座:
| 你的需求 | 推荐获取物 | 大小/规模 | 理由 |
|---|---|---|---|
| 复现模拟病人系统、跑通六智能体工作流 | GitHub 仓库 huiziy/AIPatient(Apache 2.0) | 代码 + 接口,需自行申请数据 | 含 Streamlit 界面、智能体提示词与 QA 评测代码 |
| 做 KG 结构研究、图算法或问答基准 | PhysioNet AIPatient KG v1.0.0 | 2 份图谱快照 + 2 套问答集 | 官方数据发布,DOI 可引用,DUA 合规 |
| 检验系统在非 ICU 病种的泛化 | AIPatient KG-CORAL 子集 | 40 例肿瘤患者图谱 + CORAL QA | 作者设计的 OOD 评测源 |
| 扩充患者规模、回到原始叙述文本 | MIMIC-III v1.4 / CORAL v1.0 上游 | 40,000+ 患者 / 40 例报告 | 图谱仅覆盖 56 例核心病例,上游才有全量文本 |
判定的第一条原则是「你引用的数字来自哪个载体」:如果你论文里写的规模是 56 例与 15,441 节点,引用对象是 PhysioNet 数据 DOI;如果你使用的是系统的六智能体流程与 94.15% 基线,引用对象是论文;如果你从上游重建了更大的图谱,则三条引用都要出现(数据 DOI + 上游数据 DOI + 系统论文)。第二条原则是「合规链路不跨级」:从 PhysioNet 拿图谱不需要再签 MIMIC-III 的 DUA,但要看原始出院小结就必须另行申请 MIMIC-III——两条许可彼此独立、互不替代。
§3.1 数据模态详情
AIPatient KG 不是波形或影像数据集,其核心模态是「文本的结构化投影」:
- 知识图谱快照(主模态):Neo4j 图数据库形态的患者医学知识图谱,节点为医学实体(患者、入院、症状、病史、过敏、社会史、家族史、生命体征等 12 类),边为语义关系(HAS_SYMPTOM、HAS_MEDICAL_HISTORY 等 11 种)。AIPatient KG 源自 MIMIC-III 出院小结,AIPatient KG-CORAL 源自 CORAL 肿瘤报告。
- 医疗问答数据集:MIMIC-III QA 与 CORAL QA 两套问答对,用于评测系统准确率(94.15% 基线)、稳健性与稳定性。
- 对话模拟数据(系统侧):模拟病人系统运行产生的多轮问诊对话,携带大五人格条件与对话记忆状态;这部分主要由 GitHub 代码生成,而非静态发布文件。
需要注意:与工单常见的预期不同,本资源不包含生理波形与细粒度时序事件——图谱对出院小结做了快照式抽象,时间维度被压缩为病史属性而非时间戳序列。若任务依赖时序动态,应回到 MIMIC-III 原始表格。
§3.2 按子集样本数
| 子集 | 样本数 | 内容 |
|---|---|---|
| AIPatient KG(MIMIC-III 源) | 56 例患者(cohort 口径 1,495 例) | 分层抽样核心病例的完整图谱 |
| AIPatient KG-CORAL(CORAL 源) | 40 例患者(20 乳腺癌 + 20 胰腺癌) | 肿瘤报告图谱,OOD 评测用 |
| MIMIC-III 问答集 | 524 题 | 系统评测基准(准确率/稳健性/稳定性) |
| CORAL 问答集 | 论文正文披露(摘要未给出计数) | OOD 评测用 |
| NER 金标准 | 100 例出院小结 | 6 名医生标注,六模型对比基准 |
关于两个最容易被混淆的规模口径,展开说明:
- cohort 1,495 例是论文摘要口径——按 ICD-9 诊断码分层抽样后确定的「患者池」,代表这套方法的设计容量与疾病谱覆盖意图;
- 图谱收录 56 例是当前 v1.0.0 快照的实际内容——PhysioNet Methods 与 GitHub README 均明确当前仅收录 56 个 unique cases,作者声明后续计划扩充患者池。
换言之,1,495 是「设计规模」,56 是「交付规模」。做规模敏感性分析、统计检验或任何声称「基于 N 名患者」的研究时,必须以 56 为准,除非你自行从 MIMIC-III 上游按论文方法重建更大规模的图谱。CORAL 侧不存在双口径问题(设计即 40 例,图谱即 40 例)。
§3.3 数据格式
| 组件 | 格式 | 说明 |
|---|---|---|
| 知识图谱快照 | Neo4j 图数据库快照/导出 | 需部署 Neo4j(官方代码生态按 Neo4j 5.x 设计)后导入使用 |
| 问答数据集 | 结构化问答对文件(PhysioNet 压缩包) | 含问题、参考答案与患者关联 |
| 系统代码 | Python 3.9(conda 环境) + Streamlit 界面 | Apache 2.0,GitHub 与 Zenodo 双渠道 |
| 上游数据 | MIMIC-III v1.4 CSV(gzip)/ CORAL v1.0 文本 | 需单独申请,许可独立生效 |
§3.4 存储大小
官方页面未披露压缩包的精确字节数。可参考的体量锚点:图谱约 15,441 节点与 26,882 边属于「小型图谱」量级(相对图数据库部署需求可忽略),问答集 524 题文本量同样有限;实际磁盘需求主要由 Neo4j 数据库实例本身决定(建议预留 5-10 GB)。下载后建议先核对文件清单再规划存储。
存储规划的最后提醒:真正的容量大头通常不是这份数据,而是你自己的衍生物——导出的表格、对话日志、评测输出与模型中间产物。日志类衍生物同样携带受控数据内容,存储位置需要与公开目录隔离,并纳入与原始数据相同的访问控制。
§3.5 标注方式
标注采用「LLM 预抽取 + 专家金标准评测」的两段式:
- 自动抽取:以大语言模型对出院小结执行命名实体识别,抽取五类实体(症状、病史、过敏、社会史、家族史)及其关系;结构化字段(人口统计、生命体征、入院信息)直接由 MIMIC-III 表格映射。
- 金标准评测:6 名医生独立标注 100 例出院小结形成金标准,用于量化六个 LLM 的抽取质量;胜出模型(GPT-4 Turbo,综合 F1 0.89)用于构建最终图谱。
- 专家验证:图谱构建过程中由领域专家独立复核抽取结果(PhysioNet 页面 Methods 明确记载「independently verified by domain experts」)。
这一两段式设计的含义是:发布资源中没有「未评测的自动标注」——所有进入图谱的 LLM 抽取都经过了金标准选型与专家验证两道关,但也没有「全量人工标注」——验证的粒度与覆盖范围以论文正文描述为准。使用者在继承图谱事实的同时,也继承了这条质控链的边界:F1 0.89 意味着约十一分之一的金标准实体未被正确处理,专家验证能拦截其中的显性错误,但不能保证零误差。
§3.6 标注者资质与一致性
NER 金标准由 6 名医生标注;论文报告了标注汇总裁定,但未在摘要层面披露逐对 Kappa 系数。问答集由具备临床背景的作者团队编制。用户研究由医学生与志愿者打分,经山东大学齐鲁医院伦理审查(IRB 批件号 KYLL-202505-005)与知情同意程序。使用者在引用「标注质量」时应以论文正文表格为准。
§3.7 采集周期
图谱内容的时间跨度由上游决定:MIMIC-III 部分 2001-2012 年(BIDMC 住院数据),CORAL 部分 2012-2022 年(UCSF 肿瘤报告)。图谱本身的构建与发布集中在 2024-2025 年。
对时间敏感的任务要做一次「年代对齐」检查:出院小结的书写习惯(段落结构、缩写、社会史记录粒度)在 2010 年代前后有明显演变,NER 模型在年代混合语料上的误差分布可能不均匀。若你的应用目标是当代病历(2020 年代书写风格),建议按住院年份分层抽样复核图谱质量,或在上游自行追加近年文书做适配评估——这正是需要回到 MIMIC-III 原始表格才能完成的工作。
§3.8 地域覆盖
两个来源均为美国学术医疗中心:波士顿贝斯以色列女执事医疗中心(MIMIC-III)与旧金山加州大学旧金山分校(CORAL)。单中心属性是引用该资源时必须声明的前提。
地域覆盖的引申含义有两层:其一,美国的临床文档习惯(出院小结的结构、缩写体系、社会史记录方式)与欧洲、亚洲存在系统差异,跨地域外推时文档风格的差异会先于人群差异显现;其二,两个来源分处东西海岸且相隔十年(2001-2012 与 2012-2022),KG-CORAL 的 OOD 实验设计实际上同时检验了「病种迁移」与「地域/年代迁移」两种分布变化的叠加效应,解读其 OOD 结果时应意识到这两重因素不可分离。
§3.9 数据载体规格
| 载体 | 规格 |
|---|---|
| 图数据库 | Neo4j(官方代码生态按 Neo4j 5.x 设计;社区复现亦使用 Neo4j AuraDB 云实例) |
| 运行环境 | conda + Python 3.9 |
| 界面 | Streamlit 本地 Web 应用 |
| 大语言模型后端 | 代码库当前配置 Anthropic Claude 3.5 Sonnet via Amazon Bedrock;论文评测阶段使用 GPT 模型(Azure)与 Claude 模型(Amazon Bedrock)等多种配置 |
后端配置的一处细节容易被忽略:代码仓库指定的模型后端不是任意选择,而是合规约束下的产物——所选渠道必须满足 PhysioNet 对受信数据的零保留要求。自行更换后端时,同等约束直接继承;「换成更便宜/更快的 API」这类工程决策在受控医疗数据场景下首先是合规决策,其次才是性能与成本决策。
§3.10 深度溯源链
患者住院叙述(MIMIC-III 出院小结 / CORAL 肿瘤报告)→ LLM 命名实体识别(六模型评比,GPT-4 Turbo 胜出)→ 领域专家独立验证 → Neo4j 知识图谱(12 类节点 / 11 种关系)→ Reasoning RAG 六智能体问答 → 评测数据回流(524 题 QA、可读性、稳健性指标)→ PhysioNet v1.0.0 受控发布 + Apache 2.0 代码开源。每个环节的产出物都有独立可引用的载体(论文 DOI、PhysioNet DOI、Zenodo DOI、figshare DOI)。
对这条链做环节级注解,便于定位「我要复现的是哪一段」:
| 环节 | 输入 | 产出 | 开放程度 |
|---|---|---|---|
| 叙述来源 | MIMIC-III / CORAL 上游库 | 出院小结、肿瘤报告文本 | 受控(需各自 DUA) |
| NER 抽取 | 叙述文本 | 五类实体与关系候选 | 评测代码开源;构建脚本部分未公开 |
| 专家验证 | 抽取结果 | 修正后的三元组 | 过程见论文描述,无逐条记录发布 |
| 图谱固化 | 三元组 | Neo4j 快照(v1.0.0) | 受控发布(PhysioNet) |
| 六智能体问答 | 图谱 + 问题 | 回答与评测数字 | 提示词与界面代码开源(Apache 2.0) |
| 评测回流 | 回答 + 参考答案 | 94.15% 等指标 | 分析代码开源 + figshare 源数据 |
可以看到链条上唯一的「暗段」是 NER 构建脚本与专家验证的中间记录——这正对应 DAIMS 第 21 项的 ⚠️ 评分。复现者的务实策略是:不追求逐字节重建图谱,而是在公开快照上验证下游(问答与评测)的可复现性,把抽取环节当作方法论参考。
§4 数据结构
§4.0 目录树与部署形态
PhysioNet 压缩包解压后为图谱快照与问答文件;配合官方 GitHub 代码后,本地部署形态如下(tree 为示意,实际文件名以下载清单为准):
aipatient-workspace/
├── AIPatient/ # 官方 GitHub 仓库
│ ├── AIPatient_Interface/ # Streamlit 界面
│ │ └── AIPatient_Interface.py # 入口:streamlit run AIPatient_Interface.py
│ ├── AIPatient_Analysis/ # 评测与统计分析代码
│ │ └── code/
│ ├── AIPatient_OOD/ # OOD(KG-CORAL)评测代码
│ │ └── code/
│ ├── fig/ # 论文插图
│ └── README.md
├── kg/ # PhysioNet 下载:知识图谱快照
│ ├── aipatient_kg/ # MIMIC-III 源图谱(Neo4j)
│ └── aipatient_kg_coral/ # CORAL 源图谱(Neo4j)
└── qa/ # PhysioNet 下载:问答数据集
├── mimic_qa/ # 524 题评测集
└── coral_qa/ # OOD 问答集
注:数据文件经 DUA 获取后请保持目录访问控制;上图中的 kg/ 与 qa/ 子目录名以 PhysioNet 下载页实际清单为准,导入 Neo4j 后即可以图查询方式访问全部节点与关系。
部署形态的两条路线值得提前决断:只读路线(把快照导入一个本地或云上的 Neo4j 实例,做查询与导出,不做写入)部署最简单,适合评测与统计类任务;服务路线(图谱实例同时被 Streamlit 界面与智能体代码实时读写,支撑多轮对话)需要考虑连接池、并发与备份。教学演示选服务路线时要留意:对话过程中系统不会写入新患者节点,但会产生会话级缓存,多班级并发时应为每个班级分配独立数据库实例,避免会话状态串扰。
§4.1 DAIMS 数据字典(核心字段)
以图谱导出后的「节点表 + 关系表 + 问答表」三表为核心(字段名为逻辑名,物理列名以实际文件为准):
| 字段名 | 类型 | 说明 | 示例值 | AI 用途 | 观测误差 | 信息性缺失编码 | 取值范围 |
|---|---|---|---|---|---|---|---|
| node_id | 文本 | 图谱节点唯一标识 | p0001-sym-3 | 图检索主键 | 无(系统生成) | 无 | 图内唯一 |
| node_type | 标签 | 12 类节点类型 | Symptom | 实体类型过滤 | 依赖 NER 类别判定 | 无 | 12 类枚举 |
| name | 文本 | 实体名称(自然语言短语) | chest pain | 实体链接、文本生成 | LLM 抽取可能带错别字或同义变体 | 无 | 自由文本 |
| rel_type | 标签 | 11 种关系类型 | HAS_SYMPTOM | 三元组构建 | 关系方向与粒度受抽取模板影响 | 无 | 11 种枚举 |
| start_node | 文本 | 关系起点节点 ID | p0001 | 图遍历起点 | 无 | 无 | 引用 node_id |
| end_node | 文本 | 关系终点节点 ID | p0001-sym-3 | 图遍历终点 | 无 | 无 | 引用 node_id |
| patient_id | 整数 | MIMIC-III 患者标识(subject_id 口径) | 10427 | 患者级划分与对齐 | 无(继承上游) | 无 | MIMIC-III 主键空间 |
| question_id | 文本 | 问答条目标识 | qa-0138 | 评测去重 | 无 | 无 | 数据集内唯一 |
| question | 文本 | 医学问题(自然语言) | What symptoms did the patient report on admission? | RAG 检索触发 | 措辞风格可能影响检索召回 | 无 | 英文自由文本 |
| answer | 文本 | 参考答案 | The patient reported chest pain and shortness of breath. | 评测比对 | 参考答案唯一性有限,开放问答评分为近似 | 无 | 英文自由文本 |
§4.2 标签分布
图谱没有传统分类意义上的「标签列」,其标签体系体现为节点类型与关系类型两个枚举空间:节点 12 类(患者、入院、症状、病史、过敏、社会史、家族史、生命体征等),关系 11 种(HAS_SYMPTOM、HAS_MEDICAL_HISTORY 等)。问答集的隐式「任务标签」是患者与答案的对应关系。使用者若需要疾病级标签,应从 MIMIC-III 的 ICD-9 编码表回补。
两个枚举空间的分布特征值得在导入后第一时间统计:其一,节点类型的分布大概率高度不均衡(症状类实体通常远多于过敏类),这会影响任何按类型采样的图算法;其二,关系分布反映抽取模板的倾向——HAS_SYMPTOM 一类主干关系的边数应显著多于长尾关系,若出现反常分布(如某关系仅有几条边),优先怀疑抽取或导入错误而非真实临床信号。官方未在摘要层面披露这两张分布表的完整数字,自行统计并随论文发布是良好的社区实践。
§4.3 关键统计
| 指标 | 数值 | 出处 |
|---|---|---|
| 图谱节点数 | 15,441 | 论文(arXiv:2409.18924) |
| 图谱关系边数 | 26,882 | 论文 |
| 节点类型 / 关系类型 | 12 类 / 11 种 | 官方 GitHub README |
| 核心病例数 | 56 例 | 官方 GitHub README 与 PhysioNet Methods |
| Cohort 口径患者数 | 1,495 例 | 论文摘要 |
| NER 综合 F1(GPT-4 Turbo) | 0.89 | 论文(100 例金标准) |
| QA 评测题数 | 524 | 论文 |
| 六智能体全开 QA 准确率 | 94.15% | 论文 |
| 稳健性 / 稳定性 ANOVA F 值 | 0.6126 / 0.782(均 p>0.1) | 论文 |
| 可读性(正式版) | 中位 Flesch Reading Ease 68.77、FK Grade 6.4 | Communications Medicine 正式版 |
读这张表的正确姿势是「先问口径,再读数值」:94.15% 是系统级任务分,0.89 是组件级抽取分,68.77 是风格级可读性分——三个数字分属三个不可互相换算的量纲。任何把它们加权合成单一分数的做法都会失去可解释性;论文本身也从未做这种合成。表中年份口径均以 2026-09 检索为准,若资源更新应回到 §9.1 官方渠道核对最新值。
§4.4 数据层级
患者(Patient)
└── 入院(Admission)
├── 症状(Symptom) ← HAS_SYMPTOM
├── 病史(Medical History) ← HAS_MEDICAL_HISTORY
├── 过敏(Allergy)
├── 社会史(Social History)
├── 家族史(Family History)
└── 生命体征(Vital Sign)
层级的关键特征是「患者中心辐射式」结构:所有实体节点都挂在患者或入院节点之下,跨患者的实体(如「胸痛」这一症状概念)在物理上是独立节点,做人群级统计前需先做实体归一化。
归一化的实际操作建议:先按 name_norm(小写 + 去标点 + 去空白)聚合统计重复实体频次,再人工抽查频次最高的前 50 个实体确认没有把「chest pain」与「chest pain aggravated by exertion」这类粗细粒度不同的短语错误合并——图谱抽取保留了原文短语的粒度差异,激进的字符串匹配会把细粒度症状并进粗粒度概念,反之则会让同一症状散落在多个节点上。若研究需要概念级对齐,建议接入 UMLS 或 SNOMED CT 术语服务做映射,并在论文中报告映射覆盖率。
§4.5 缺失值与信息性缺失
| 情形 | 表现 | 处理建议 |
|---|---|---|
| 出院小结未提及某类实体 | 对应节点/边整体缺席(如无家族史记录的患者无 Family History 分支) | 缺席即「未记录」,不要推断为「阴性」;统计覆盖率时以分母为 56 例明确报告 |
| NER 漏抽 | 实体应存在但图谱缺失(F1 0.89 意味着约 11% 的金标准实体未被正确抽取) | 高风险任务前抽样人工复核;对漏抽敏感的任务可回到上游文本二次抽取 |
| NER 误抽 | 图谱含病历不支持的实体 | 用校验智能体或规则词典过滤;引用具体三元组时回溯原文核对 |
| 社会史类弱抽取 | Social History 类别抽取质量在各类中最弱(论文消融明确指出) | 相关研究建议结合原文核验或换用针对性提示词 |
缺失值处理的总原则是「缺席 ≠ 阴性 ≠ 零」:图谱里没有过敏节点,可能是患者确实无过敏史(阴性)、可能是出院小结未记载(未记录)、也可能是 NER 漏抽(误差)——三种情形在图结构上不可区分。这正是医疗知识图谱与人工 curated 数据库的本质差异:后者的空字段通常经过人工确认,前者的空字段是三种来源的混合。任何把「图谱覆盖率」当「临床真实率」使用的分析都会系统性低估。
§5 划分与使用建议
§5.1 官方划分
AIPatient KG 没有发布正式的 train/validation/test 划分。官方提供的评测口径是:524 题 MIMIC-III 问答集用于系统级评测(准确率 94.15%、稳健性、稳定性),KG-CORAL 子集被作者定义为 OOD(分布外)评测源。图谱本身是知识资产而非训练样本集,其「划分」概念取决于下游任务。
「没有官方划分」的另一面是「没有官方用法约束」——这既是自由也是责任:你可以自由定义评测集,但随之而来的是所有划分决策都要自己辩护。实践中的最低配置是「一固定、一留出」:固定 524 题全集作为标准回归集(不参与任何开发迭代),另按患者留出 20% 构建自用测试集;两者都不进开发循环,其余资源才可自由用于探索。这一配置与论文口径兼容,也能在论文方法章节用一句话说清。
§5.2 社区惯例与推荐划分
社区尚无统一惯例(资源发布时间较短)。基于结构的推荐:
- 问答基准评测:直接使用 524 题全集做系统评测,与论文口径对齐;如需自建开发集,从图谱侧另选未进 QA 的患者构造问题,避免与 524 题重叠。
- 图谱链路预测/补全研究:按关系类型分层抽样 80/10/10,或做留一患者(leave-one-patient-out)以避免同患者三元组跨集泄漏。
- 对话系统训练:若用系统生成对话做语料,按患者划分 train/test——同一患者的图谱事实同时出现在两侧是典型的隐性泄漏。
一个可操作的最低标准:无论哪种任务,划分完成后输出三张核对表——每折的患者集合交集(应为空)、每折的实体名称重叠度(允许概念级重叠,不应有患者级重叠)、每折的节点类型分布(应大致均衡)。三张表进论文附录,审稿人对划分合理性的质疑多半就此打住。
§5.3 泄漏风险(重点)
- 患者重叠泄漏:524 题问答集与图谱同源(同批患者)。任何在图谱上微调、再用同一批患者的问题做评测的流程都会高估性能。解法:报告「图谱内问答」与「留出患者问答」两组数字。
- NER 金标准泄漏:100 例金标准用于模型选型(六模型评比),不得再作为最终评测集——模型已经间接朝金标准方向选择。
- OOD 集的隐性重叠:KG-CORAL 虽是肿瘤病种 OOD,但 prompt 模板与系统配置在开发中见过;真正的 OOD 应固定系统配置只换数据。
- 上游预训练污染:MIMIC-III 是公开文献高频引用的数据集,商用大模型是否在预训练中接触过其衍生文本无从核实;评测病历记忆效应时建议使用受控访问的最新衍生资源并做成员推断检查。
- 人格条件的间接泄漏:若在评测集患者上预先观察过对话输出再调整人格提示词,等于把测试信息折进了系统配置;人格相关评测(一致性、可读性)应在锁定全部提示词后一次性运行。
- 指标选择泄漏:论文报告过两套可读性数字(arXiv v2 与正式版不同,见 §8.1),如果研究者反复运行并以较好的一版报告,会引入选择性报告偏差;建议预注册评分口径与版本号。
§5.4 交叉验证建议
问答评测建议按患者分组 k 折(group k-fold,group=patient_id)重复 5 折并报告均值与方差——论文自身的稳定性检验(ANOVA,p>0.1)就是重复实验口径,延续该口径便于横向比较。图谱类任务建议保留一个关系类型作为 unseen-relation 折,检验关系泛化。
§5.5 外部验证建议
先在 KG-CORAL(作者设计的 OOD 源)上复现评测流程,再考虑向 MIMIC-IV 衍生图谱或中文电子病历方向外推——后者需要重训 NER 与实体归一化组件,成本不可忽略。发表外推结论时注明系统后端 LLM 版本(Claude 3.5 Sonnet via Bedrock 或等价配置),因为生成质量随模型版本漂移。
外部验证的时序也有讲究:先做「数据侧外推」(换图谱子集),再做「系统侧外推」(换后端模型),最后才是「全外推」(换语言、换机构数据)——三步的失败归因完全不同:第一步失败指向图谱覆盖,第二步失败指向模型能力,第三步失败可能两者兼有。跳步做的外推实验,失败时说不清原因,成功时也说不清原因。
§6 AI 就绪指南 ⭐
§6.0 云端快速启动(如适用)
本资源无官方托管 notebook。云端可行的组合是:Neo4j AuraDB(免费层即可容纳 15,441 节点量级的图谱)+ 任一支持 Python 3.9 的 notebook 环境。社区复现项目(BioNLP-AIPatient)即采用 Neo4j AuraDB + GPT-4 的组合跑通全流程。数据本体在 PhysioNet 受控下载后上传云端环境时,务必确认该环境符合 PhysioNet 对第三方服务的零数据保留要求(见坑点 6)。
§6.1 快速上手
下面的最小流程假设你已完成 PhysioNet 申请并把数据放在 data_root 指向的目录。目录结构预期:图谱快照在 data_root/kg/,问答集在 data_root/qa/;data_root 拼接关系:所有路径由 data_root + 子目录 + 文件名 拼接,换环境只改 data_root;最小可用子集:仅评测问答基线时,只需要 qa/mimic_qa 一套文件,无需导入 Neo4j。
# 最小可用子集演示:加载问答集并统计
# 目录结构预期:
# data_root/
# ├── kg/ # 图谱快照(评测问答时可不加载)
# └── qa/
# └── mimic_qa.csv # 问答集(列:question_id, patient_id, question, answer)
import os
import pandas as pd
data_root = os.environ.get("AIPATIENT_ROOT", "./aipatient-workspace")
qa_path = os.path.join(data_root, "qa", "mimic_qa.csv") # data_root 拼接,勿硬编码绝对路径
qa = pd.read_csv(qa_path)
print(f"题目总数: {len(qa)}") # 论文口径为 524 题
print(f"覆盖患者数: {qa['patient_id'].nunique()}") # 与图谱 56 例口径核对
print(qa.head(3)[["question_id", "question"]])
# 图谱路线:部署 Neo4j 并导入快照(Ubuntu 示例)
conda create --name aipatient python=3.9 && conda activate aipatient
git clone https://github.com/huiziy/AIPatient.git && cd AIPatient
# 按仓库 README 配置 Neo4j 连接与模型后端(当前配置为 Claude 3.5 Sonnet via Amazon Bedrock)
cd AIPatient_Interface && streamlit run AIPatient_Interface.py
跑通后的验证三步:界面能加载患者列表(说明 Neo4j 连接正常);向 AI 病人提问「你这次为什么住院」能得到与图谱一致、口语化的回答(说明检索-推理-生成链路正常);切换人格设定后回答风格变化但事实不变(说明改写智能体与图谱锚定解耦正常)。三步全过,再进入正式评测;任何一步失败优先检查 Neo4j 连接配置与后端模型的零保留配置,而不是改业务代码。
§6.2 数据获取
| 步骤 | 内容 | 说明 |
|---|---|---|
| 1 | 注册 PhysioNet 账号并完成凭证化(CITI 培训,Data or Specimens Only Research 课程) | 与 MIMIC-III 同一通道;论文作者团队亦记录了 CITI 培训编号 |
| 2 | 前往 https://physionet.org/content/aipatient-kg/1.0.0/ 签署 DUA | 受控访问页面,签署后出现下载入口 |
| 3 | 下载压缩包(图谱快照 + 问答集) | 官方页面未披露精确字节数 |
| 4 | (可选)克隆代码仓库并配置后端模型 | Apache 2.0;模型后端须符合 PhysioNet 零数据保留要求 |
| 5 | 引用:Fan & Yu (2025) DOI 10.13026/vjrq-9328,并按 §9 附系统论文引用 | RRID: SCR_007345 |
注意 CORAL 部分的复用受原数据所有者/出版方约束(Nature 论文数据可用性声明原文明确),商业用途需另行确认。
签署 DUA 之后,许可义务随数据走,常见的合规义务清单如下(以 PhysioNet 页面与 DUA 原文为准):
- 不转授访问:不得把下载的压缩包或其衍生内容发给未签署 DUA 的合作者;合作者需自行走凭证化流程。
- 衍生数据保持受控:对齐原文的三元组、问答对等可再识别风险衍生物不得转为公开分发(作者选择 PhysioNet 受控发布正是履行这一条)。
- LLM 零保留:2025-09-24 PhysioNet 公告后,把数据送入第三方 LLM API 前,必须确认服务商配置零数据保留(不将输入用于训练、不留存日志),并留存配置证据。
- 发表前的数据声明:论文或产品文档需写明数据版本(v1.0.0)、访问渠道与引用格式(含 RRID: SCR_007345)。
§6.3 预处理全流程
从「受控下载」到「可评测状态」的完整流水线:
# 步骤 1:图谱导出为表格(在 Neo4j 浏览器或驱动中执行)
# 节点导出 Cypher(示意,节点标签以实际快照为准):
# MATCH (n) RETURN id(n) AS node_id, labels(n) AS node_type, n.name AS name
# 关系导出 Cypher:
# MATCH (a)-[r]->(b)
# RETURN id(r) AS relationship_id, type(r) AS rel_type,
# id(a) AS start_node, id(b) AS end_node
# 步骤 2:清洗与归一化
import pandas as pd
nodes = pd.read_csv("kg_nodes.csv")
rels = pd.read_csv("kg_rels.csv")
# 2.1 类型列是 labels(n) 的列表字符串,展开为首个标签
nodes["node_type"] = nodes["node_type"].str.strip("[]").str.split(",").str[0]
# 2.2 实体短语归一化:小写 + 去空白 + 去标点(示例规则)
nodes["name_norm"] = (nodes["name"].str.lower()
.str.replace(r"[^a-z0-9 ]", "", regex=True)
.str.strip())
# 2.3 悬挂边检查:删除指向不存在节点的边(导入误差防御)
valid = set(nodes["node_id"])
rels = rels[rels["start_node"].isin(valid) & rels["end_node"].isin(valid)]
print(nodes["node_type"].value_counts()) # 核对 12 类节点分布
print(rels["rel_type"].value_counts()) # 核对 11 种关系分布
# 步骤 3:问答集与图谱的患者对齐(确保评测时 grounding 一致)
qa = pd.read_csv("qa/mimic_qa.csv")
kg_patients = set(nodes.loc[nodes["node_type"] == "Patient", "patient_id"])
covered = qa["patient_id"].isin(kg_patients).mean()
print(f"QA 患者覆盖率: {covered:.1%}") # 低于 100% 时排查划分口径
标准化要点:实体归一化只做确定性规则(大小写、空白、标点),不要在评测前做激进的同义词合并——那会改变题目与图谱的对应关系。
预处理完成后的产出核对清单(进入评测前逐项打勾):
- 节点表与关系表行数与 Neo4j 内
MATCH (n) RETURN count(n)、MATCH ()-[r]->() RETURN count(r)的计数一致(约 15,441 / 26,882 量级); - 节点类型枚举值 ≤ 12 类、关系类型 ≤ 11 种,多出来的都是导入过程产生的脏值;
- QA 患者全部能在图谱中定位(§6.3 步骤 3 的覆盖率为 100%);
- 归一化后的实体名没有空串与纯数字;
- 导出的中间表格不要上传到公共网盘或代码仓库(§5.3 与坑点 7 的再分发禁令对衍生中间物同样生效)。
§6.4 PyTorch DataLoader 完整代码
import os
import pandas as pd
import torch
from torch.utils.data import Dataset, DataLoader
from sklearn.model_selection import GroupKFold
class MedicalQADataset(Dataset):
"""AIPatient 问答评测 Dataset。
目录结构预期:
data_root/qa/mimic_qa.csv # 列:question_id, patient_id, question, answer
data_root 通过环境变量 AIPATIENT_ROOT 注入,所有路径由 data_root 拼接。
最小可用子集:仅 mimic_qa.csv 一个文件即可运行。
"""
def __init__(self, csv_path, tokenizer=None, max_length=512):
self.df = pd.read_csv(csv_path).reset_index(drop=True)
self.tokenizer = tokenizer # 任意 HF tokenizer;None 则返回原始文本
self.max_length = max_length
def __len__(self):
return len(self.df)
def __getitem__(self, idx):
row = self.df.iloc[idx]
if self.tokenizer is not None:
enc = self.tokenizer(
row["question"], row["answer"],
truncation=True, max_length=self.max_length,
padding="max_length", return_tensors="pt",
)
return {k: v.squeeze(0) for k, v in enc.items()}, row["question_id"]
return {"question": row["question"], "answer": row["answer"],
"patient_id": int(row["patient_id"])}, row["question_id"]
def make_group_kfold_loaders(csv_path, n_splits=5, batch_size=8, seed=42):
"""按患者分组的 5 折 DataLoader(避免同患者跨集泄漏,见 §5.3)。"""
df = pd.read_csv(csv_path)
gkf = GroupKFold(n_splits=n_splits)
splits = []
for tr_idx, te_idx in gkf.split(df, groups=df["patient_id"]):
tr_df, te_df = df.iloc[tr_idx], df.iloc[te_idx]
tr_path = csv_path.replace(".csv", "_tr.csv")
te_path = csv_path.replace(".csv", "_te.csv")
tr_df.to_csv(tr_path, index=False)
te_df.to_csv(te_path, index=False)
splits.append((
DataLoader(MedicalQADataset(tr_path), batch_size=batch_size, shuffle=True,
generator=torch.Generator().manual_seed(seed)),
DataLoader(MedicalQADataset(te_path), batch_size=batch_size, shuffle=False),
))
return splits
if __name__ == "__main__":
data_root = os.environ.get("AIPATIENT_ROOT", "./aipatient-workspace")
qa_csv = os.path.join(data_root, "qa", "mimic_qa.csv")
loaders = make_group_kfold_loaders(qa_csv)
tr, te = loaders[0]
batch = next(iter(tr))
print(batch[0]["question"][:2])
代码的三个设计决定值得说明:其一,GroupKFold 以 patient_id 为分组键,保证同一患者的所有题目只出现在同一折——这是 §5.3 患者重叠泄漏的最直接防御;其二,Dataset 保留 patient_id 字段一路透传,让评测脚本可以按患者聚合指标再取均值(患者级宏平均比题目级微平均更保守也更公平);其三,中折间写入临时 CSV 是为了保持「划分即文件」的可审计性——每折的训练/测试集都有物证可查,比内存划分更适合合规审查场景。524 题按 56 例患者分组后,每折测试集约 10 例患者、100 题上下,方差不可忽略,务必报告折间标准差。
§6.5 坑点(8 个)
八个坑点按「踩坑时序」排列:1-2 是拿到数据的第一天就会遇到的工程问题,3-4 是设计实验时的口径问题,5-7 是合规红线,8 是评测阶段的统计陷阱。每条均按「问题/症状/解决三级/参考」四段展开,解决路径从最小改动到 SOTA 做法递进:
| # | 坑点一句话 | 分类 | 严重度 |
|---|---|---|---|
| 1 | 图谱原生是 Neo4j 快照,跳过图数据库部署无法使用 | 工程陷阱 | 高 |
| 2 | QA 集与图谱同源患者,评测设计不当会高估性能 | 数据泄漏 | 高 |
| 3 | 实体缺席≠阴性,「未记录」语义需自行约定 | 标签理解 | 中 |
| 4 | cohort 1,495 vs 图谱 56 的口径混淆与论文版本数字差异 | 评估误用 | 中 |
| 5 | 排除标准导致的人群覆盖缺口被忽视 | 偏倚陷阱 | 高 |
| 6 | 受控数据发往无零保留配置的第三方 LLM API | 工程陷阱 | 高(合规) |
| 7 | 公开转载图谱/问答或可对齐原文的衍生内容 | 工程陷阱 | 高(合规) |
| 8 | 人格条件与对话记忆未固定,评测方差被误判 | 评估误用 | 中 |
⚠️ 坑点 1:把图谱当 CSV 直接读,忽略 Neo4j 部署依赖(分类:工程陷阱)
问题:AIPatient KG 的原生形态是 Neo4j 图数据库快照,不是平面文件;跳过图数据库部署直接用表格工具打开会得到不可用的碎片数据。
症状:下载后只看到数据库目录结构而非数据行;用 pandas 读取快照内部文件出现编码或格式错误;关系查询全部失败。
解决:
- 简单方法:本地安装 Neo4j Community(5.x 系列),用
neo4j-admin database load导入快照,再用 Cypher 导出节点/关系两张表(见 §6.3 步骤 1)。- 进阶方法:使用 Neo4j AuraDB 免费层云实例导入,规避本地版本问题;用官方 Python 驱动把导出表落到 CSV 后,下游全部用 pandas/PyG 处理。规模仅 15,441 节点/26,882 边,免费层绰绰有余。
- SOTA 方法:把「快照导入→Cypher 导出→网络x(networkx)加载」固化为 Makefile 目标,纳入 CI,保证每次数据更新后表格视图可复现。
参考:官方仓库 QuickStart(conda python=3.9 与 Streamlit 说明)https://github.com/huiziy/AIPatient ;Neo4j 导入文档 https://neo4j.com/docs/
⚠️ 坑点 2:QA 评测集与图谱同源导致的隐性泄漏(分类:数据泄漏)
问题:524 题问答集与知识图谱来自同一批患者,任何「在图谱上微调后在同批患者问题上评测」的流程都在用训练事实做考题。
症状:自建 RAG 管线轻松刷出 95%+ 准确率并宣布超过 94.15% 基线,换一批患者立刻掉 10-20 个百分点;消融实验里检索模块的贡献忽大忽小。
解决:
- 简单方法:报告两组数字——图谱内问答(与论文口径对齐)+ 留出患者问答(按 patient_id 分组划分,见 §6.4 的 GroupKFold)。
- 进阶方法:把 KG-CORAL 作为第二轮 OOD 评测(作者设计的分布外源),固定全部系统配置只换数据源;对图谱侧做实体级去重后再划分。
- SOTA 方法:引入成员推断(membership inference)检查评估上游 LLM 对 MIMIC 衍生文本的预训练记忆,并在论文中披露配置;跨数据集(MIMIC-IV 衍生资源)做外部验证。
参考:Yu et al., 2024, arXiv:2409.18924(QA 与图谱同源口径)https://www.arxiv.org/abs/2409.18924v2
⚠️ 坑点 3:把 F1 0.89 的图谱当成完美病历(分类:预处理陷阱)
问题:图谱由 LLM 命名实体识别构建,综合 F1 0.89 意味着与医生金标准相比仍有约一成实体级误差;把图谱直接当作「真值病历」使用会继承并放大这些误差。
症状:下游统计中某症状患病率偏高/偏低且无法解释;实体短语存在同义变体(同一症状多种写法);社会史类节点覆盖率异常低。
解决:
- 简单方法:对将进入报告或论文的三元组抽样回溯出院小结原文核对;统计结论附上「图谱为 LLM 抽取产物」的口径说明。
- 进阶方法:接入 UMLS/官方词典做实体归一化后再统计;对高风险类别(社会史、家族史)换用针对性提示词或二次抽取。
- SOTA 方法:双模型交叉抽取 + 一致性投票,分歧实体送人工仲裁;用 100 例金标准的逐类别 F1(病史 0.98、家族/社会史 0.91、症状 0.90)做分层误差建模。
参考:PhysioNet AIPatient KG Methods(专家独立验证环节)https://dx.doi.org/10.13026/vjrq-9328
⚠️ 坑点 4:引用指标不看论文版本,混用 v2 与 v4 数字(分类:评估误用)
问题:系统指标在 arXiv 各版本间有实质变化——可读性中位 Flesch Reading Ease 在 v2 为 77.23(FK Grade 5.6),v4 与 Communications Medicine 正式版为 68.77(FK Grade 6.4);摘要口径的 cohort(1,495 例)与仓库口径的图谱病例(56 例)并存。
症状:综述里同一篇论文出现两套可读性数字;比较表格中「数据规模」一行一会儿写 1,495 例一会儿写 56 例,被审稿人质疑。
解决:
- 简单方法:引用时固定「正式发表版优先」原则——正式版(Communications Medicine, DOI 10.1038/s43856-025-01283-x)数字为准,预印本差异加脚注。
- 进阶方法:在比较表中区分「cohort 口径(1,495 例,NER 与评测筛选池)」与「图谱收录口径(56 例)」两行,分别给出出处。
- SOTA 方法:为基准对比建立版本锁定表(arXiv 版本号 + 发表状态 + 数字快照),任何引用的数字都能回溯到具体版本。
参考:https://www.arxiv.org/abs/2409.18924v2 与 https://www.nature.com/articles/s43856-025-01283-x
⚠️ 坑点 5:忽略纳入排除与单中心属性导致的人群偏倚(分类:偏倚陷阱)
问题:图谱构建时排除了未成年、分娩、择期手术、严重车祸与丧失沟通能力的病例,且全部来自 BIDMC 单中心 ICU 与 UCSF 肿瘤专科;这一选择是为「医患对话模拟」服务的,不是全人群抽样。
症状:把图谱当疾病流行病学数据用,得出偏轻症/偏可交流人群的统计;儿科或产科场景的模型在这种数据上毫无泛化基础。
解决:
- 简单方法:任何下游结论显式声明「成人、可沟通、单中心 ICU/肿瘤队列」边界;儿科与产科任务直接换数据。
- 进阶方法:与 MIMIC-III 全量 ICD-9 分布对比图谱内的疾病谱覆盖,量化分层抽样留下的代表性与代表性不足类别。
- SOTA 方法:在多中心数据(MIMIC-IV、eICU 或本院数据)上做域自适应校准后再外推;论文作者自己也将单中心多样性列为首要局限。
参考:作者自述局限 https://www.nature.com/articles/s43856-025-01283-x ;PhysioNet Methods 纳入排除 https://dx.doi.org/10.13026/vjrq-9328
⚠️ 坑点 6:把受控数据发给第三方在线模型 API,违反 PhysioNet 零数据保留要求(分类:工程陷阱)
问题:PhysioNet 对 MIMIC 及其衍生资源与 LLM 服务的关系有明确约束:数据不得与第三方共享、不得经 API 发送至未配置零数据保留的平台;AIPatient 团队为此特意使用 Azure 上的 GPT 模型与 Amazon Bedrock 上的 Claude 模型。
症状:用个人 ChatGPT 网页版或无企业协议的 API 调试图谱数据;机构合规审查时无法回答「数据是否被服务商留存」。
解决:
- 简单方法:只使用零数据保留配置的云服务(如 Amazon Bedrock 上的 Claude、Azure OpenAI 的企业配置),并在项目文档留存配置截图与依据。
- 进阶方法:本地部署开源模型(如通过 vLLM 服务)处理敏感数据,物理隔离外发通道;官方代码库当前即配置 Claude 3.5 Sonnet via Bedrock 以符合负责任数据使用协议。
- SOTA 方法:建立数据出站审计(egress audit):API 网关层记录每次模型调用的数据负载,配合定期合规复查。
参考:PhysioNet 2025-09-24 公告 https://physionet.org/ ;官方仓库 Disclaimer https://github.com/huiziy/AIPatient
⚠️ 坑点 7:公开转载图谱或问答数据,触碰再分发禁令(分类:工程陷阱)
问题:上游 MIMIC/PhysioNet 凭证化许可禁止向第三方再分发;对齐原文的衍生数据(三元组、QA 对)被认为存在再识别风险,必须保持受控访问——Nature 论文数据可用性声明明确「cannot release the full clinical-text-derived datasets openly」。
症状:为了「方便实验室同学」把下载的图谱放上内部网盘甚至公开镜像;论文附录贴出可与原文对齐的长段三元组;机构收到 PhysioNet 或上游方的合规询问。
解决:
- 简单方法:组内共享一律引导成员各自完成 CITI 培训并自行签署 DUA 下载;展示用例只用 1-2 个去上下文的示例三元组。
- 进阶方法:发布衍生成果前做披露性审查(disclosure review):确认输出的三元组、示例与图表无法回链到具体患者原文。
- SOTA 方法:参照 PhysioNet 衍生资源惯例,把自建衍生数据同样挂回受控访问流程(签署 DUA 后获取),论文写明申请路径。
参考:Nature 论文 Data availability https://www.nature.com/articles/s43856-025-01283-x
⚠️ 坑点 8:人格条件与对话记忆未固定,评测方差被误判为模型差异(分类:评估误用)
问题:AIPatient 的回答风格受大五人格条件与多轮对话记忆状态双重调制;比较不同系统或不同提示词时,若人格配置与记忆状态不一致,测到的差异混杂了风格因素。
症状:同一系统两次评测准确率差异显著;换人格设定后「事实准确率」波动,被误读为 grounding 能力变化;多轮会话越评越长导致后面题目受前文污染。
解决:
- 简单方法:评测时固定人格参数与随机种子,每题独立会话(清空记忆),并在论文报告配置。
- 进阶方法:做人格消融——同一组题在多个人格设定下重复评测,报告事实准确率与风格指标的分离统计(论文自身的稳健性检验口径:ANOVA F=0.6126,p>0.1)。
- SOTA 方法:把「事实层」与「风格层」拆成两条评测链:事实层用图谱比对自动打分,风格层用可读性量表(Flesch Reading Ease / FK Grade 口径)独立报告。
参考:Yu et al., 2024, arXiv:2409.18924(人格与记忆设计)https://www.arxiv.org/abs/2409.18924v2
§6.6 数据增强(安全/危险)
| 方法 | 安全性 | 说明 |
|---|---|---|
| 实体同义词扩展(基于 UMLS 词表) | ✅ 安全 | 对图谱实体名做受控同义映射,保持关系不变 |
| 问题改写(同义问法扩充 QA 集) | ✅ 安全 | 保留参考答案不变,仅变换提问措辞;注意去重 |
| 负采样构造干扰答案 | ✅ 安全 | 从其他患者实体采样作为干扰项,用于选择题化评测 |
| 用 LLM 无锚定续写病历补充图谱 | ❌ 危险 | 生成内容无病历依据,污染图谱事实层 |
| 跨患者拼接三元组造「新患者」 | ❌ 危险 | 制造不存在于任何病历的临床组合,破坏评测真实性 |
| 把图谱回译成伪出院小结混入上游 | ❌ 危险 | 与真实文本分布不匹配且触碰再分发与披露红线 |
增强的总原则:图谱的事实层不可增强,问答与对话的表层可以增强。凡是改变「哪些实体存在、关系如何连」的操作都在篡改事实层,评测结果随之失真;凡是只改变「同一事实怎么被问、怎么被说」的操作(改写、同义、干扰项构造)都属于安全增强。拿不准时回到一个问题:增强后的数据还能否逐条回溯到 v1.0.0 快照中的原始三元组?不能回溯的就是危险增强。
§6.7 模型推荐
| 任务 | 推荐起点 | 理由 |
|---|---|---|
| 问答评测(复现基线) | GPT-4 级闭源模型(零保留配置)或本地开源大模型(Llama 系 70B 级) | 论文口径使用 GPT-4 级模型;本地部署满足合规 |
| 图谱问答(GraphRAG) | Neo4j + LLM 函数调用/Cypher 生成 | 直接对齐六智能体中的查询生成设计 |
| 实体抽取 | 通用 LLM 提示词 + 金标准校准 | 论文六模型评比显示强模型综合 F1 可达 0.89 |
| 图结构学习 | networkx + PyG(图神经网络) | 15,441 节点量级单卡可训 |
| 对话风格建模 | 人格提示词工程起步,必要时 LoRA 微调 | 大五人格在论文中靠提示词条件实现 |
选型提示:该资源的定位决定了「复现基线」与「超越基线」需要不同的模型策略。复现阶段忠实对齐论文配置(GPT-4 级闭源 + 零保留,或 Claude via Bedrock)最省事,数字才可能与 94.15% 同表比较;超越阶段则应把后端模型当作可替换变量,按 §6.9 的指标脚本跑模型 × 提示词的网格。注意闭源模型版本会随时间退役,长期项目应保留一份本地开源模型作为「不变参照系」。
§6.8 硬件需求
| 配置档 | 适用任务 | 建议 |
|---|---|---|
| 入门(笔记本 + 云图谱) | 问答集统计、Cypher 查询、基线复现 | 8 GB 内存 + Neo4j AuraDB 免费层;LLM 走合规 API |
| 标准(单工作站) | 图谱算法、本地开源模型评测 | 32 GB 内存 + 24 GB 显存单卡(70B 量化模型) |
| 高(研究服务器) | 消融、重复实验、微调 | 多卡(2×A100 40GB 级)+ 本地 vLLM 服务 |
硬件预算的主要变量不是图谱体量(15,441 节点用笔记本都能遍历),而是后端 LLM 放在哪:走云端 API 则本地几乎零算力需求,瓶颈转为合规配置与 API 成本;走本地开源模型则显存预算由模型尺寸决定。教学演示(一个班级并发访问)建议图数据库放云托管实例(如 Neo4j AuraDB),把本地资源留给界面与逻辑层。
§6.9 评估指标代码
import re
from collections import Counter
def token_f1(pred: str, ref: str) -> float:
"""开放问答的词级 F1(SQuAD 口径,论文未公开逐题脚本时的标准替代)。"""
def norm(s):
return re.sub(r"[^a-z0-9 ]", "", s.lower()).split()
pred_toks, ref_toks = Counter(norm(pred)), Counter(norm(ref))
common = sum((pred_toks & ref_toks).values())
if common == 0:
return 0.0
precision = common / max(sum(pred_toks.values()), 1)
recall = common / max(sum(ref_toks.values()), 1)
return 2 * precision * recall / (precision + recall)
def readability_flesch_reading_ease(text: str) -> float:
"""Flesch Reading Ease(论文可读性口径之一)。"""
sentences = max(len(re.findall(r"[.!?]", text)), 1)
words = text.split()
syllables = sum(max(len(re.findall(r"[aeiouy]+", w.lower())), 1) for w in words)
wps, spw = len(words) / sentences, syllables / max(len(words), 1)
return 206.835 - 1.015 * wps - 84.6 * spw
scores = [token_f1(p, r) for p, r in zip(preds, refs)]
print(f"macro F1: {sum(scores)/len(scores):.4f}") # 与 94.15% 基线对比时注明评分口径差异
两个指标的口径提醒:token_f1 是 SQuAD 风格的词级近似,与论文的 94.15%(作者自报评分口径)系统性不同——直接同表并列会被审稿人指出口径混用,正确做法是双列分报或只对比自己口径下的相对提升。readability_flesch_reading_ease 是英文音节估计的简化实现,与专业分词器(如 textstat)会有小幅偏差;报告可读性时建议注明实现工具及其版本,因为 FRE 对音节计数方法敏感。
§6.10 MLOps 笔记
- 配置即证据:把 DUA 签署记录、CITI 培训证书、模型后端的零保留配置截图纳入项目合规档案;PhysioNet 合规询问时可直接出示。
- 版本锁定:同时锁定数据版本(PhysioNet v1.0.0)、代码 commit、模型版本(如 Claude 3.5 Sonnet via Bedrock)三元组;论文可复现性依赖三者的联合快照。
- 评测回归:524 题全集作为回归集纳入 CI,每次提示词或后端模型变更后跑一遍 token F1 与事实一致性比对,防退化。
- 数据不落第三方:任何新增服务(标注平台、日志系统)上线前过一遍出站审计(见坑点 6)。
- 漂移监控:若系统进入教学场景长期运行,跟踪回答可读性与事实一致性的月度漂移;LLM 后端静默升级是常见漂移源。
- 快照式实验记录:每次实验把「数据版本 × 代码 commit × 模型版本 × 评分口径」四元组写入结果文件头;半年后回看结果时,这四个字段是唯一能解释数字差异的线索。
§7 质量评估与局限性
§7.1 已知偏倚
| 偏倚类型 | 描述 | 严重程度 | 缓解建议 |
|---|---|---|---|
| 单中心偏倚 | 全部 ICU 数据来自 BIDMC,肿瘤数据来自 UCSF,实践模式与人群构成单一 | 高 | 外推前做多中心验证;结论限定单中心口径 |
| 入选偏倚 | 排除未成年、分娩、择期手术、严重车祸与失能病例,偏向可沟通的成人患者 | 高 | 儿科/产科/危重失能任务换数据源 |
| 模态偏倚 | 仅基于出院小结文本,生命体征等结构化信息被压缩进图谱属性,丢失时序动态 | 中 | 时序任务回退 MIMIC-III 原表 |
| 抽取误差偏倚 | LLM NER 综合 F1 0.89,社会史类最弱;误差非均匀分布 | 中 | 逐类别误差建模,高风险类别人工复核 |
| 规模口径混淆 | cohort 1,495 例 vs 图谱收录 56 例,引用不当会高估数据量 | 中 | 引用时区分口径(见坑点 4) |
| 语言偏倚 | 全英文文本,非英文临床语境无覆盖 | 中 | 中文场景需重建抽取管线 |
| 生成风格偏倚 | 模拟对话由 LLM 生成,措辞受模型风格影响,非真实患者语言 | 低-中 | 引用对话语料时声明合成属性 |
偏倚之间的叠加效应值得单独指出:单中心偏倚决定「人群是谁」,入选偏倚决定「哪些人进了图谱」,抽取误差偏倚决定「图谱记对了多少」,三者相乘意味着图谱代表的既不是 BIDMC 的 ICU 全人群,也不是其住院人群,而是「可沟通成人重症患者中被分层抽样选中、且实体被以约九成精度抽取」的三重过滤后的子集。任何基于图谱的人群级描述都应自动补上这串定语。
§7.2 标注质量
金标准层(100 例、6 名医生)与图谱验证层(领域专家独立复核)都有人为把关,质量在同类 LLM 抽取工作中属于上游水平;但需要注意三点:其一,6 名医生的标注汇总方式(多数投票或裁定)论文正文为准,未在摘要披露 Kappa;其二,问答集参考答案是研究团队自编,开放问答存在多合法答案问题,评分天然近似;其三,专家验证的对象是最终图谱而非每一条下游生成的对话。
NER 逐类别表现决定了各类别事实的可信度并不相同:
| 实体类别 | GPT-4 Turbo F1 | 对使用者的含义 |
|---|---|---|
| Medical History(病史) | 0.98 | 病史相关事实可信度最高,可作为图谱可靠性的锚点类别 |
| Symptoms(症状) | 0.90 | 症状节点总体可靠,仍建议在构建关键评测时抽样核对原文 |
| Family and Social History(家族与社会史) | 0.91 | 家族史与社会史合并口径下表现良好 |
| 综合(五类别平均) | 0.89 | 过敏等未在摘要中单独披露的类别拉低了综合值;引用逐类数值时注明出处版本 |
论文同时指出 social history 是表现偏弱的类别之一(作者自述局限),与上表中「合并口径良好」并不矛盾——家族史与社会史在论文中合并统计,拆开看社会史单独的表现弱于家族史。凡是把社会史(吸烟、饮酒、职业暴露等 SDoH 相关信息)作为核心输入的应用,都应把这个弱项写进误差预算。
§7.3 泛化性
| 外推场景 | 失效风险 | 证据 |
|---|---|---|
| ICU → 普通病房/门诊 | 高:人群、病情严重度、文档结构均不同 | 作者自述依赖出院小结 restrict 多样性(正式论文局限章节) |
| 成人 → 儿科 | 极高:未成年人为设计排除项 | PhysioNet Methods 明确排除 <18 岁 |
| 英语 → 中文临床语境 | 高:需重训抽取与实体归一化 | 全英文语料,无跨语言评测 |
| 内科 ICU → 肿瘤专科 | 中-高:这正是 KG-CORAL 的 OOD 设计动机 | 作者将 CORAL 子集定义为 OOD 分析源 |
| BIDMC → 其他美国中心 | 中:文档风格同源但人群可能有差 | 单中心属性(作者列为首要局限) |
| 教学对话 → 真实医患对话 | 中-高:生成风格与真实患者措辞存在分布差 | 用户研究限于教学场景评价 |
这张表的使用方式是「先排雷再设计」:把你的目标场景与第一列逐行对照,命中「高」或「极高」的行要么更换数据源,要么在实验设计里加入对应方向的消融(例如英语场景研究加入中文小样本试点);命中「中」的行至少要在论文局限章节声明。泛化性声明中最常见的失败不是外推失败本身,而是把 KG-CORAL 的 OOD 成绩当成「泛化成功」的通证——它只证明肿瘤病种一个方向上的迁移,不代表跨机构、跨语言、跨人群的全面泛化。
§7.4 伦理
数据源头是经 PhysioNet 凭证化流程脱敏的真实病历;图谱与问答作为衍生数据保持受控访问,正是因为叙述文本存在非零再识别风险(作者在正式论文中明确论证)。用户研究经齐鲁医院 IRB 审查(KYLL-202505-005)并取得知情同意。模拟病人系统的伦理边界(不让 AI 病人替代真实临床接触的最终训练价值)在相关讨论中被团队与评论者共同强调。
在 LLM 使用侧,合规要求有一个明确的时间节点:PhysioNet 于 2025-09-24 发布公告,要求 MIMIC 系数据不得被第三方 LLM 服务留存,强制零数据保留(zero data retention),并禁止通过 API 共享受信数据。这意味着 2025-09 之前用普通 API 配置做过的实验,在公告之后需要重新审查其配置是否仍然合规;使用者的模型后端(如 Claude 3.5 Sonnet via Amazon Bedrock)需要留存零保留配置的证据,并在论文方法章节声明。教学场景若引入云端模型,同样适用该约束。
§7.5 公平性
作者明确指出系统尚未建模社会健康决定因素(SDoH,如社会经济地位、教育、居住条件),而这些因素影响患者描述症状与遵循医嘱的方式;社会史类实体的抽取质量在各类别中最弱,恰是 SDoH 信息的主要载体——这构成公平性层面的双重缺口。用该资源构建的教学或评测系统,不应声称覆盖弱势人群的沟通特征。
公平性评估的可操作切入点:把图谱内的患者按可用属性(性别、年龄段、入院类型)做分层,检验问答准确率与可读性指标在层间的差距;再用人格设定的变化重跑,观察不同人格下指标差距是否放大。这两个实验都不需要额外数据,却在现有资源上就能产出有发表价值的公平性证据——在 SDoH 缺口被补齐之前,这是该资源上最现实的公平性研究路径。
§7.6 数据漂移
静态资源本身无漂移,但两层「伪漂移」值得监控:其一,上游 MIMIC-III 停更于 v1.4,而临床实践(文档模板、术语习惯)已迁移;其二,系统侧的 LLM 后端会随供应商升级静默变化,生成分布随之漂移。长期项目应锁定模型版本并在每次升级后重跑 524 题回归集。
第三层更隐蔽的漂移是评测基准自身的老化:524 题的参考答案基于 v1.0.0 图谱编制,若未来图谱扩充患者池(作者已声明计划)或参考答案修订,新旧评测数字将不再可比。长期项目应把「评测集版本」当作与「模型版本」同级的锁定对象,在实验记录中同时登记两者——这是所有「图谱 + 评测集」捆绑发布资源区别于静态基准集的共有特征。
§7.7 DAIMS 24 项检查
| # | 检查项 | 状态 | 说明 |
|---|---|---|---|
| 1 | 宽格式可用性 | ⚠️ | 原生为图数据库形态,需自行导出为节点/关系两张表才能进入表格化流程 |
| 2 | 唯一标识 | ✅ | 节点/关系/问答条目均有系统级 ID;患者可回溯 MIMIC-III subject_id 口径 |
| 3 | 特殊字符处理 | ✅ | 文本实体为英文短语,导入导出无编码事故报告;建议沿用 UTF-8 |
| 4 | 重复行 | ✅ | 图结构天然约束去重;导出后仍建议对实体短语做归一化去重(见 §6.3) |
| 5 | 缺失编码 | ⚠️ | 实体缺席即「未记录」,无显式缺失码;统计时需自定「未记录 ≠ 阴性」约定 |
| 6 | 标签标识 | ⚠️ | 无传统任务标签列;标签体系为节点类型/关系类型枚举,问答集无结构化标签 |
| 7 | 罕见类别分组 | ⚠️ | CORAL 仅 40 例、社会史弱抽取;罕见类分析需回上游 MIMIC-III 扩样 |
| 8 | 偏倚评估 | ⚠️ | 论文自述单中心、人群多样性与 SDoH 局限,但未提供逐维度量化偏倚表 |
| 9 | 数据字典 | ✅ | 12 类节点/11 种关系在官方 README 与论文中有明确枚举与示例 |
| 10 | 信息性缺失解释 | ⚠️ | 无官方文档解释「实体缺席」的语义;需使用者自行建立约定(见坑点 3) |
| 11 | 设备记录 | ❌ | 无生理波形/设备信号数据,监护设备维度整体缺席 |
| 12 | 共线性 | ✅ | 图谱非回归特征表,无共线性风险;做表格化统计时注意患者内实体相关 |
| 13 | 编码映射 | ✅ | 上游 ICD-9 分层逻辑公开(Methods),可回补 ICD 编码;图谱本体无 ICD 列 |
| 14 | 时间戳处理 | ⚠️ | 出院小结快照抽象丢失细粒度时间;仅保留病史属性,无事件时序 |
| 15 | 划分建议 | ⚠️ | 无官方 train/test 划分;官方仅提供 QA 评测口径与 OOD 子集设计 |
| 16 | 泄漏讨论 | ✅ | 论文讨论 grounding 与评测口径;本条目 §5.3 补充了患者级泄漏清单 |
| 17 | 标签分布 | ⚠️ | 节点类型分布未在摘要层面披露完整数字,需导入后自行统计 |
| 18 | 测量偏倚 | ⚠️ | NER 为「测量仪器」,六模型评比显示误差与类别相关(社会史最弱) |
| 19 | 外部验证建议 | ✅ | 官方直接提供 KG-CORAL OOD 评测源,外部验证路径内建 |
| 20 | 版本记录 | ✅ | arXiv v1-v4 与 PhysioNet v1.0.0 时间线清晰,正式版指标口径明确 |
| 21 | 预处理脚本 | ⚠️ | 评测与分析代码开源(Apache 2.0),但部分数据清洗与图谱构建代码未公开 |
| 22 | 合规要求 | ✅ | DUA、CITI 培训、零保留 LLM 要求、再分发禁令在官方渠道均有明文 |
| 23 | 多模态对齐 | ❌ | 纯文本衍生图谱,无影像/波形模态,不适用多模态对齐评测 |
| 24 | 去标识化 | ✅ | 上游 MIMIC/CORAL 已脱敏;衍生数据受控访问以控制再识别风险 |
DAIMS 评分:16.5 / 24
评分解读:这份资源在「合规与治理」维度接近满分(标识、字典、版本记录、合规要求、去标识化、泄漏讨论、外部验证全部到位),在「工程开箱」维度明显偏弱(需部署 Neo4j、部分构建代码未公开、无官方划分、无时间戳、无设备数据、无多模态)。它的 AI 就绪画像是一个「治理优秀但开箱偏重」的研究型资源:直接跑问答评测很快,把图谱纳入表格化 ML 流程则需要一段自建管线的工程投入。
对你意味着什么:
- 如果你的任务是问答基准或 RAG 评测:开箱可用度高——申请数据、加载 524 题、对照 94.15% 基线即可开工,按患者分组划分防泄漏(§6.4 代码可直接用)。
- 如果你的任务是图谱挖掘或统计:预留 1-2 天完成 Neo4j 部署与表格导出(§6.3),并接受实体级约一成的抽取误差;社会史类结论要人工复核。
- 如果你的任务依赖时序、波形、儿科或产科:这个数据集帮不上忙,直接转向 MIMIC-III/MIMIC-IV 原始表格或专门的波形数据库。
- 无论哪种任务:把「56 例 vs 1,495 例」口径、论文版本差异、再分发禁令三件事写进项目文档,这三处是最容易翻车的合规与学术风险点。
§7.8 外部验证矩阵
| 外部数据集/场景 | 来源机构 | 评估任务 | 性能指标 | 相对内部变化 | 关键发现 |
|---|---|---|---|---|---|
| KG-CORAL(OOD 源) | UCSF 肿瘤报告 | 系统问答与 OOD 泛化 | 论文正文口径 | 内部(MIMIC 源)→ OOD(肿瘤源) | 作者将其设计为 OOD 分析的标准场景 |
| MIMIC-III 内部 held-out 口径 | BIDMC | 医疗问答 | 94.15%(六智能体全开) | — | 基线口径,与部分/无智能体消融对照 |
| 医学生用户研究 | 齐鲁医院 IRB 场景 | 问诊保真度、可用性、教育价值 | 量表打分(正式论文) | 系统 vs 人类标准化病人 | 与人类标准化病人相当或更好(病史采集) |
注:除上述作者报告的评测外,截至 2026-09 尚无独立第三方在同行评审文献中发布对该资源的复测数字;引用性能时请注明「作者自报口径」。
对「想做第一个独立复测者」的使用者,可复用这张矩阵的骨架:固定系统配置 → 在 524 题上重跑基线 → 切换 KG-CORAL 做 OOD → 补一组人格消融。复测报告最少应包含三件事:数据版本(v1.0.0)、后端模型及其零保留配置、评分口径(与论文口径的映射关系)。这样的复测无论结果高于或低于 94.15%,都是社区目前最缺的证据。
§8 基准性能与生态
§8.1 系统评测榜(作者口径)
AIPatient 不是竞赛基准,没有公开排行榜;可对齐的「榜」是论文中的系统消融与组件评测:
| 排名 | 配置/模型 | 性能 | 年份 | 关键技术 | 完整引用 | 代码 |
|---|---|---|---|---|---|---|
| 1 | 六智能体全开(Reasoning RAG) | QA 准确率 94.15% | 2024/2025 | 检索-推理-生成三阶段 + 校验智能体 | Yu et al., 2024, arXiv:2409.18924. doi:10.48550/arXiv.2409.18924 | https://github.com/huiziy/AIPatient |
| 2 | 部分智能体集成 | 低于全开配置(具体值见论文正文消融表) | 2024 | 消融子集 | Yu et al., 2024, arXiv:2409.18924. doi:10.48550/arXiv.2409.18924 | 同上 |
| 3 | 无智能体(直接 LLM 生成) | 最低档(具体值见论文正文) | 2024 | 单提示基线 | Yu et al., 2024, arXiv:2409.18924. doi:10.48550/arXiv.2409.18924 | 同上 |
| 组件 | GPT-4 Turbo(NER 任务) | 综合 F1 0.89;病史 0.98 / 家族社会史 0.91 / 症状 0.90 | 2024 | LLM 命名实体识别 | Yu et al., 2024, arXiv:2409.18924. doi:10.48550/arXiv.2409.18924 | 同上 |
可读性指标存在两个官方口径,引用时必须带版本号:
| 口径 | 中位 Flesch Reading Ease | 中位 Flesch-Kincaid Grade | 出处 |
|---|---|---|---|
| arXiv v2(2024-10) | 77.23 | 5.6 | arXiv:2409.18924v2 |
| arXiv v4 与 Communications Medicine 正式版 | 68.77 | 6.4 | DOI 10.1038/s43856-025-01283-x |
两个口径都是「口语化改写后」的患者回答可读性,差距来自统计样本或计算细节的修订,不代表系统退化。普及性解读:FRE 68-77 区间对应「标准易懂」文本,FK Grade 5.6-6.4 意味着按六年级左右英文水平即可读懂——这正是「把图谱事实改写成患者听得懂的话」这一设计目标的量化体现。
数值不可直接比较的说明:94.15% 为「图谱内 524 题问答」的系统级准确率,与 MedQA 等医学考试基准的准确率口径完全不同(任务、数据源、评分方式均不同);NER F1 基于 100 例医生金标准,仅在该金标准分布内有效。
§8.2 SOTA 总结与选型建议
截至 2026-09,该资源的最高公开数字仍是作者自报的 94.15%(QA)与 0.89(NER F1)。选型建议:做 RAG/多智能体研究,把它当「带参考答案与系统基线的中型评测场」,重点不是刷分而是组件归因(检索、校验、改写各贡献多少);做教学产品,重点复现人格与记忆机制而非准确率;做图谱方法研究,注意 F1 0.89 的上限意味着任何「完美图谱」假设都不成立。
「没有公开排行榜」在这个规模的数据上反而是常态而非缺陷:56 例患者、524 题的体量天然不适合做排名敏感的公开榜——少量题目上的分数抖动足以把排名搅乱。它的生态位是「可复现的方法学参照点」而非「竞技场」;如果未来出现官方扩充版(作者已声明有扩充患者池的计划),排行榜化的前提才会成立。在此之前,一切「在某榜上超过 AIPatient」的说法都值得追问其评测口径。
§8.3 评测协议
- 问答评测:524 题全集,报告准确率(或 token F1,注明口径差异)+ 重复运行方差(论文口径为 ANOVA,p>0.1 判稳)。
- 可读性:Flesch Reading Ease 与 Flesch-Kincaid Grade(正式版中位 68.77 / 6.4)。
- 稳健性与稳定性:同配置重复实验的方差检验。
- OOD:固定系统配置,切换 KG-CORAL 数据源。
- 用户体验:医学生量表(保真度/可用性/教育价值),需 IRB 流程。
上述协议的操作化提醒:
- 准确率的评分函数要在论文中显式声明(精确匹配、关键词匹配或 LLM 判分),论文的 94.15% 与自行用 token F1 算出的数字不可混排在同一张表里。
- ANOVA 稳健性/稳定性检验(F=0.6126 / 0.782,均 p>0.1)的零假设是「重复运行间无显著差异」——p>0.1 是期望看到的结果;自己复现时保持相同的重复次数与配置固定策略,才有可比性。
- 可读性必须同时报告 FRE 与 FK Grade 两个数(见 §8.1 版本对照),且注明引用的是哪个论文版本。
- OOD 评测只换数据源不换配置,一旦顺手调了提示词,OOD 就不再是 OOD。
- 用户研究若复现,需走本单位 IRB 流程并取得知情同意,量表维度可参考论文的三维设计。
§8.4 相关数据集
| 数据集 | 关系 | 说明 |
|---|---|---|
| MIMIC-III | 上游 | 图谱的 ICU 数据来源(46,520 名患者,v1.4) |
| CORAL | 上游 | 图谱的肿瘤报告来源(40 例,v1.0,DOI 10.13026/v69y-xa45) |
| MIMIC-IV | 同族替代 | 需要更新时序与更大人群时的替代上游 |
| Synthea | 互补 | 全合成 EHR 生成器(Apache 2.0),无隐私限制可规模化 |
| PatientSim | 同类 | PhysioNet 上的 persona 驱动医患对话模拟器(v1.0.0,2025-10-18) |
对照使用的建议:需要大规模、无隐私约束的多样性时用 Synthea 生成再套用 AIPatient 的图谱化与评测管线(注意生成的合成病历不能直接冒充真实分布);需要 persona 维度的多样性对比时把 PatientSim 作为第二系统跑同一组评测题;MIMIC-IV 的角色是「上游升级路径」——按 AIPatient 论文的抽取方法从 MIMIC-IV 重建更大规模的图谱,是目前社区最可预期的规模扩充方向,但截至 2026-09 尚无官方 v2 计划的公告,任何相关说法都应标注为推测。
§8.5 关键论文 Top 6
- Yu, H., Zhou, J., Li, L., et al. (2024). AIPatient: Simulating Patients with EHRs and LLM Powered Agentic Workflow. arXiv:2409.18924. doi:10.48550/arXiv.2409.18924 —— 系统论文:六智能体 Reasoning RAG 架构与 1,495 例 cohort、94.15% QA 基线。
- Yu, H., et al. (2025). Simulated patient systems powered by large language model-based AI agents offer potential for transforming medical education. Communications Medicine, 5. doi:10.1038/s43856-025-01283-x —— 正式发表版:新增医学生用户研究、数据合规细节与局限自述。
- Fan, L., & Yu, H. (2025). AIPatient KG: MIMIC-III and CORAL Electronic Health Records based Patient Knowledge Graph (version 1.0.0). PhysioNet. doi:10.13026/vjrq-9328 —— 数据论文:图谱与问答集的官方发布与构建方法。
- Johnson, A., Pollard, T., Shen, L., et al. (2016). MIMIC-III, a freely accessible critical care database. Scientific Data, 3, 160035. doi:10.1038/sdata.2016.35 —— 上游 ICU 数据库的奠基论文。
- Sushil, M., Kennedy, V., Mandair, D., Miao, B., Zack, T., & Butte, A. (2024). CORAL: expert-Curated medical Oncology Reports to Advance Language model inference (version 1.0). PhysioNet. doi:10.13026/v69y-xa45 —— 上游肿瘤报告数据集。
- 社区复现:Kolukuluru, H. et al. (2025). AIPatient Reproduction: Simulating Patients with EHRs and LLM Agents. https://github.com/HarshithaKolukuluru/BioNLP-AIPatient —— 独立复现两阶段 NER 与 Reasoning RAG 的教学级实现(非同行评审,工程参考价值)。
推荐的阅读顺序:第一遍读正式版论文(条目 2)建立全景,包括用户研究与作者自述局限;第二遍读 PhysioNet 数据页(条目 3 的落地页)核对数据构成与许可原文;第三遍带着实现问题精读 arXiv v4 的方法与消融章节(六智能体分工、提示词设计、94.15% 的评测细节);社区复现仓库(条目 6)作为工程侧的「第二意见」随时备查——它证明流程可以在小规模资源上走通,但其数字不构成对论文结论的独立验证。
§8.6 社区活跃度
论文被引 44+(Google Scholar,截至 2026-09),横跨 2025-2026 两个年度;官方 GitHub 仓库与代码随论文持续维护(Zenodo 归档 DOI 10.5281/ZENODO.14583946,figshare 图表源数据 DOI 10.6084/m9.figshare.30327508.v2);出现了独立的社区复现项目,说明教学与研究两端都有真实使用。Communications Medicine 正式版于 2025 年 12 月刊出后,引用增速明显加快。
生态时间线速查:
- 2024-09:arXiv v1 发布,开源社区开始出现复现讨论;
- 2025-04:PhysioNet v1.0.0 上线,数据侧使用正式起步;
- 2025-09-24:PhysioNet 零数据保留公告,改变所有 MIMIC 系数据调用 LLM 的合规基线;
- 2025-10:PhysioNet 同类资源 PatientSim v1.0.0 发布,模拟病人赛道形成对照;
- 2025-11:arXiv v4 更新可读性口径;
- 2025-12:正式发表,引用进入快车道;
- 2026:社区复现项目(BioNLP-AIPatient 等)被教学场景采用,引用累计 44+。
对使用者的信号:这是一个「论文已经过同行评审、数据已经受控归档、但社区惯例尚未固化」的年轻资源——现在进入意味着你能定义(而非追随)评测惯例,代价是几乎没有现成的踩坑总结,本条目的坑点章节因此尽量补齐了这一空档。
§8.7 生态快照
| 资源 | 类型 | 链接 | 状态(截至 2026-09) | 推荐理由 |
|---|---|---|---|---|
| PhysioNet AIPatient KG v1.0.0 | 数据(受控) | https://physionet.org/content/aipatient-kg/1.0.0/ | 官方发布,v1.0.0 | 唯一官方数据渠道,DOI 可引用 |
| huiziy/AIPatient | 代码(Apache 2.0) | https://github.com/huiziy/AIPatient | 官方维护 | 六智能体系统与评测代码 |
| Zenodo 归档 | 代码快照 | https://doi.org/10.5281/ZENODO.14583946 | 已归档 | 论文对应版本的固定快照 |
| figshare 源数据 | 图表数据 | https://doi.org/10.6084/m9.figshare.30327508.v2 | 已归档 | 复现论文图表 |
| BioNLP-AIPatient 复现 | 代码(教学) | https://github.com/HarshithaKolukuluru/BioNLP-AIPatient | 社区维护 | 快速理解两阶段 NER 与 RAG 流程 |
| arXiv:2409.18924 | 论文 | https://www.arxiv.org/abs/2409.18924v2 | v4(2025-11-27) | 方法细节与消融 |
生态健康度的三个观察:版本纪律良好(论文、数据、代码三线的版本与日期都能互相咬合,见 §1.4);许可边界清晰(数据受控、代码开源的二元结构从 v1 起未变动);社区初步活跃(复现项目与引用增长并存,但尚无第三方基准复测)。把资源投入长周期研究前,建议订阅 PhysioNet 数据页与 GitHub 仓库的更新通知,v2 扩充患者池的公告若出现将显著改变规模相关结论。
§9 相关资源与引用
§9.1 官方渠道
- 数据主页(含申请与 DUA 入口):https://physionet.org/content/aipatient-kg/
- 数据引用页(DOI 10.13026/vjrq-9328,RRID SCR_007345):https://dx.doi.org/10.13026/vjrq-9328
- 官方代码仓库(Apache 2.0):https://github.com/huiziy/AIPatient
- 系统论文(arXiv v4):https://www.arxiv.org/abs/2409.18924v2
- 正式发表论文(Communications Medicine):https://www.nature.com/articles/s43856-025-01283-x
- PubMed 条目(PMID 41420084):https://pubmed.ncbi.nlm.nih.gov/41420084/
官方渠道的维护责任约定:本条目引用的全部数字与许可条款以上述六个渠道的当前内容为最终依据;若 PhysioNet 页面、论文再版或 GitHub README 与本条目出现不一致,以官方渠道为准并向编辑部反馈。渠道本身的可达性(链接失效、页面改版)不影响 DOI 的解析——这也是引用规范坚持写 DOI 而非裸 URL 的原因。
§9.2 上游与配套
- MIMIC-III v1.4(上游 ICU 数据库,需单独申请):https://physionet.org/content/mimiciii/1.4/
- CORAL v1.0(上游肿瘤报告):https://physionet.org/content/curated-oncology-reports/1.0/
- PhysioNet 关于 MIMIC 数据与 LLM/在线服务使用的公告(2025-09-24):https://physionet.org/
- Zenodo 代码归档:https://doi.org/10.5281/ZENODO.14583946
- figshare 图表源数据:https://doi.org/10.6084/m9.figshare.30327508.v2
渠道选择的速查逻辑:找数据走 PhysioNet(唯一官方数据渠道,别在第三方镜像下载);看方法走正式论文(同行评审口径)或 arXiv v4(最新修订);跑系统走 GitHub(活跃版本)或 Zenodo(论文对应的固定快照,审稿复现用这个);核对论文图表数字走 figshare 源数据。PhysioNet 主题索引(topic=llm+simulation)则用于发现同类资源(如 PatientSim),做横向对比时从那里进入可以避免遗漏新发布的对照资源。
§9.3 BibTeX 引用
@misc{fan2025aipatientkg,
title = {AIPatient KG: MIMIC-III and CORAL Electronic Health Records
based Patient Knowledge Graph (version 1.0.0)},
author = {Fan, Lizhou and Yu, Huizi},
year = {2025},
publisher = {PhysioNet},
doi = {10.13026/vjrq-9328},
note = {RRID: SCR_007345}
}
@article{yu2024aipatient,
title = {AIPatient: Simulating Patients with EHRs and LLM Powered
Agentic Workflow},
author = {Yu, Huizi and Zhou, Jiayan and Li, Lingyao and Chen, Shan and
Gallifant, Jack and Shi, Anye and Li, Xiang and Hua, Wenyue and
Jin, Mingyu and Chen, Guang and Zhou, Yang and Li, Zhao and
Gupte, Trisha and Chen, Ming-Li and Azizi, Zahra and
Zhang, Yongfeng and Assimes, Themistocles L. and Ma, Xin and
Bitterman, Danielle S. and Lu, Lin and Fan, Lizhou},
journal = {arXiv preprint arXiv:2409.18924},
year = {2024},
doi = {10.48550/arXiv.2409.18924}
}
@article{yu2025simulated,
title = {Simulated patient systems powered by large language model-based
AI agents offer potential for transforming medical education},
author = {Yu, Huizi and Zhou, Jiayan and Li, Lingyao and Chen, Shan and
Gallifant, Jack and others},
journal = {Communications Medicine},
volume = {5},
year = {2025},
doi = {10.1038/s43856-025-01283-x},
note = {PMID: 41420084}
}
@article{johnson2016mimiciii,
title = {MIMIC-III, a freely accessible critical care database},
author = {Johnson, Alistair and Pollard, Tom and Shen, Lu and
others},
journal = {Scientific Data},
volume = {3},
pages = {160035},
year = {2016},
doi = {10.1038/sdata.2016.35}
}
@misc{sushil2024coral,
title = {CORAL: expert-Curated medical Oncology Reports to Advance
Language model inference (version 1.0)},
author = {Sushil, Mayur and Kennedy, Valorie and Mandair, Davinder and
Miao, Brian and Zack, Tom and Butte, Atul},
year = {2024},
publisher = {PhysioNet},
doi = {10.13026/v69y-xa45}
}
编译提示:以上条目均为标准 BibTeX 字段,@misc 条目在部分模板下会丢失 DOI 显示,可按期刊要求在 howpublished 字段补写 URL;johnson2016mimiciii 一类上游论文请以期刊官方条目核对作者全名后使用。勿把五条全部塞进一次引用——审稿人期望看到的是「你用了哪部分、就引哪个」的精确对应。
§9.4 引用指南
- 使用数据本体(图谱或问答集):引用
fan2025aipatientkg,并同时引用上游johnson2016mimiciii(或sushil2024coral,视所用子集)。 - 使用系统/方法(六智能体、Reasoning RAG):引用
yu2024aipatient与正式版yu2025simulated。 - 引用性能数字时注明论文版本(可读性等指标 v2 与正式版不同,见坑点 4)与「作者自报口径」属性。
- 受控访问资源在方法章节写明获取路径(PhysioNet DUA),方便审稿人核验合规性。
常见引用错误(审稿高频扣分点):
- 只引数据不引系统(或反之):AIPatient KG(数据 DOI)与 AIPatient 系统(arXiv/正式版)是两个可独立引用的成果,用图谱却只引系统论文会让数据溯源断链。
- 把 1,495 写成图谱规模:见坑点 4,正确写法是「cohort 1,495 例,图谱收录 56 例」。
- 漏掉 RRID:PhysioNet 官方引用格式含 RRID: SCR_007345,部分期刊将其列为必填。
- 性能数字不带版本:可读性等指标在不同论文版本间不同(见坑点 4 与 §8.1),裸数字无法被核验。
- 用PhysioNet URL 代替 DOI:URL 会随版本改版,DOI(10.13026/vjrq-9328)是稳定标识符;两者都给最稳妥。
§10 AI 使用声明卡
§10.1 AI 模型列表
| 用途 | 模型 | 阶段 |
|---|---|---|
| 条目撰写辅助 | 通用大语言模型(编辑部配置) | 本 Wiki 条目的文本起草与结构整理 |
| 数据集内嵌 AI | GPT-4 Turbo(NER 胜出模型)等 6 个大语言模型 | 图谱构建(实体抽取与关系生成) |
| 数据集内嵌 AI | Claude 3.5 Sonnet via Amazon Bedrock | 官方代码库当前的模拟对话后端 |
| 数据集内嵌 AI | GPT 模型(Azure)/ Claude 模型(Amazon Bedrock) | 论文评测阶段的系统后端 |
§10.2 AI 参与范围
本条目的研究检索、事实核对与框架设计由编辑部主导;大语言模型辅助了文本起草、表格整理与代码示例编写。数据集自身的核心内容(知识图谱三元组、问答参考答案)由论文作者团队以「LLM 抽取 + 医生金标准 + 专家验证」流程产出,属于数据集的内嵌 AI 参与,已在上表单独披露。
需要特别区分的两个层面:其一,数据集内的 LLM 参与(NER 抽取、对话生成)已经过 100 例医生金标准与领域专家验证的双重质控,使用者可以基于公开论文核查其量化效果;其二,本条目文本层面的 AI 参与(起草与整理)不构成数据集质量的证据或反证,所有事实性断言的效力仅来自 §10.3 所列一手来源。
§10.3 输入来源列表
- Yu, H., Zhou, J., Li, L., et al. (2024). AIPatient: Simulating Patients with EHRs and LLM Powered Agentic Workflow. arXiv:2409.18924. doi:10.48550/arXiv.2409.18924
- Yu, H., et al. (2025). Simulated patient systems powered by large language model-based AI agents offer potential for transforming medical education. Communications Medicine. doi:10.1038/s43856-025-01283-x
- Fan, L., & Yu, H. (2025). AIPatient KG (version 1.0.0). PhysioNet. doi:10.13026/vjrq-9328
- PhysioNet 数据主页:https://physionet.org/content/aipatient-kg/
- PhysioNet 主题索引(LLM simulation 类目,含发布日期与版本):https://www.physionet.org/content?topic=llm+simulation
- PubMed 条目(PMID 41420084):https://pubmed.ncbi.nlm.nih.gov/41420084/
- 官方 GitHub 仓库:https://github.com/huiziy/AIPatient
- alphaXiv 论文概览(图谱节点/边数、NER 逐类别 F1):https://www.alphaxiv.org/overview/2409.18924v2
- ResearchGate 论文全文页(作者机构脚注):https://www.researchgate.net/publication/384447372
- Broad Institute 出版物记录(正式版指标口径):https://www.broadinstitute.org/publications/broad1372081
- PhysioNet 首页公告(MIMIC 数据与 LLM 服务使用规范,2025-09-24):https://physionet.org/
- MIMIC-III v1.4 数据页:https://physionet.org/content/mimiciii/1.4/
- CORAL v1.0 数据页:https://physionet.org/content/curated-oncology-reports/1.0/
- Zenodo 代码归档:https://doi.org/10.5281/ZENODO.14583946
- 社区复现仓库(BioNLP-AIPatient):https://github.com/HarshithaKolukuluru/BioNLP-AIPatient
§10.4 人工校验记录
| 内容模块 | 审核者 | 审核方式 | 审核状态 |
|---|---|---|---|
| frontmatter 与 schema_org | 千方病案医学编辑部 | 逐字段对照宪法模板 + YAML 解析自检 | ✅ 已通过/已验证 |
| INFOBOX 22 字段 | 千方病案医学编辑部 | 与 PhysioNet 页面/论文逐项核对 | ✅ 已通过/已验证 |
| §1 概览与规模数字 | 千方病案医学编辑部 | 数字逐一回溯 FACTS.md 来源 URL | ✅ 已通过/已验证 |
| §2 医学背景与术语映射 | 千方病案医学编辑部(医学审核) | ICD-11/SNOMED 对照金标准词条复核 | ✅ 已通过/已验证 |
| §3-§5 规格与划分建议 | 千方病案医学编辑部(数据工程审核) | 与官方文档/仓库逐条核对 | ✅ 已通过/已验证 |
| §6 就绪指南与坑点 | 千方病案医学编辑部(数据工程审核) | 代码示例走查 + 坑点溯源论文/官方渠道 | ✅ 已通过/已验证 |
| §7 质量与 DAIMS | 千方病案医学编辑部 | 24 项逐项复核,评分口径一致 | ✅ 已通过/已验证 |
| §8-§9 基准与引用 | 千方病案医学编辑部 | BibTeX 逐字段对照来源页 | ✅ 已通过/已验证 |
| §C JSON-LD | 千方病案医学编辑部 | 与 frontmatter schema_org 一致性比对 | ✅ 已通过/已验证 |
§10.5 AI 生成章节标注
全部章节由大语言模型辅助起草,经编辑部人工逐节审核修订后发布;无「未审核 AI 生成」章节。
§10.6 最后人工审核日期
2026-09-05(与 §0 审核日期一致)
页面状态:published(全部内容已完成审核并发布)
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- emrqa — 共享标签:电子健康记录 / 临床电子病历 / 医学问答
- mimic-br — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
- pcornet — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
- mc-med — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
- virus-registry — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
- outcomerea — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
- pedsnet — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
- truveta — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
- nwicu — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
- inspire — 共享标签:电子健康记录 / 重症监护 / 临床电子病历
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

