信息速览
爱丁堡大学信息学院 Falis、Gema 等人在 PhysioNet 发布的 MIMIC-IV-Ext-GPT-3_5-Generated-Discharge-Summaries-for-Low-Resource-Codes(v1.0.0,2024 年 12 月 16 日,DOI 10.13026/09ng-2614),是一套用 GPT-3.5 生成的合成出院摘要集合:围绕 MIMIC-IV 中 98 个 few-shot 与 16 个 zero-shot 的低资源 ICD-10 编码,约生成九千六百份文档,同时保留提示词、原始输出与模型自编的预测编码。
它解决的是自动 ICD 编码里的长尾稀疏问题:MIMIC-IV 的编码呈大头长尾分布,大量编码在训练集中只出现一两次甚至完全不出现,本地训练的神经编码模型在这些罕见标签上几乎失效。此前的方法要么在模型结构上想办法,要么随机合成标签组合;该工作选择从真实病历出发——克隆含目标码的真实文档、构成银标准编码组合,再让语言模型据此写出全文,使合成样本保留真实的多病共存结构。
适合的人群是做 ICD 自动编码、临床文本生成与数据增强的研究者,以及需要为长尾多标签任务构造合成样本的方法研究者;医疗 AI 合规与治理研究者也能在这里找到「合成派生物继承上游许可」的完整实例。使用前第一件事是确认自己持有 PhysioNet 凭证并已签署数据使用协议——数据虽是合成的,但派生自 MIMIC-IV,许可沿用凭证制。第二件事是明确预期:它对目标低资源码及其码族是定向增益,对全码集整体性能略降,不是无代价的全局增强。
§1 它是什么:定义、来源与版本
1.1 一句话定义
generated-codes-low-resource 是 PhysioNet 上名为 MIMIC-IV-Ext-GPT-3_5-Generated-Discharge-Summaries-for-Low-Resource-Codes 的数据集:一组由 gpt-3.5-turbo-0613 生成的合成出院摘要(synthetic discharge summaries),每份文档附带三类信息——作为生成依据的 ICD-10-CM/PCS 编码列表及其标准描述、发送给模型的完整提示词(prompt)、模型返回的原始输出(其中含模型对生成文本自编的 ICD-10 码与「DEAD/ALIVE」出院状态预测)。另附一份作者在增强实验中实际使用的清洗处理版。除编码组合取自真实 MIMIC-IV v2.2 出院摘要外,全部文本为模型生成,不含真实患者叙述。
「MIMIC-IV-Ext」是 PhysioNet 对「派生自 MIMIC-IV 的扩展数据集」的命名惯例,同系列还有心电-血糖、外周静脉置管等扩展集;slug 取自 PhysioNet 页面 URL 尾段,直译即「面向低资源编码的生成编码数据」。
1.2 发布方与作者
作者共九人:Matúš Falis(通讯作者)、Aryo Pradipta Gema、Alexandra Birch 来自爱丁堡大学信息学院(School of Informatics);Luke Daines、Rose Penfold、Beatrice Alex 来自爱丁堡大学 Usher Institute(人口健康科学研究所),Alex 兼职爱丁堡未来研究院与文学语言文化学院;Hang Dong 来自埃克塞特大学计算机系;Siddharth Basetti 来自苏格兰高地国民保健服务(NHS Highland)研究发展部;Michael Holder 来自 Usher Institute。团队构成清晰反映了工作的双重属性:信息学院侧负责模型与生成,临床侧(执业背景的 Daines、Penfold、Holder、Basetti)负责生成文档的临床可接受性评审。
配套论文为 arXiv:2401.13512「Can GPT-3.5 Generate and Code Discharge Summaries?」,2024 年 1 月首挂、同年 9 月更新 v2,正文含方法、增强实验与临床评审三部分。数据集本体于 2024 年 12 月 16 日以 v1.0.0 发布到 PhysioNet。
把「谁在什么机构」写清楚不是为了致谢,而是因为四个机构在数据集里的角色不同,出了问题知道找谁。信息学院团队(Falis、Gema、Birch)承担生成实验与模型评估,是方法学问题的第一接口;Usher Institute 是爱丁堡大学的人口健康研究所,Daines、Penfold、Holder 三位临床背景成员由此进入团队,负责评审设计的医学合理性,也负责与 NHS Highland 的 Basetti 协调临床视角;埃克塞特大学的 Dong 参与编码任务的方法设计。整套工作的资助与数据合规依托爱丁堡的既有框架,论文致谢与声明部分有逐项列明,涉及资助条款的问题以论文声明为准。
1.3 与上游 MIMIC-IV 的血缘
数据集的直接上游是 MIMIC-IV v2.2 临床数据库与 MIMIC-IV-Note v2.2 笔记模块:真实出院摘要与 ICD-10 编码取自 MIMIC-IV,标签切分方式沿用 Nguyen 等人(Health Gym 系列)的 MIMIC-IV 划分,以便与既有基准直接对比。PhysioNet 的发放逻辑因此也是凭证制:MIMIC-IV 的 DUA 约束传导到所有派生物,即便文本本身是合成的,也不能绕开凭证流程公开再分发。这一点在获取一节还会展开。
1.4 版本与身份信息
PhysioNet 版本页目前只列 v1.0.0(2024-12-16),DOI 为 10.13026/09ng-2614。页面同时展示一个「最新引用 DOI」10.13026/bnc2-1a81,两个 DOI 并存属于 PhysioNet 对「数据集 DOI」与「最新版本统一引用 DOI」的双轨惯例,但后者对应的版本详情在部分地区无法访问,文中全部事实以 09ng-2614(v1.0.0)为准。发布页浏览量很低(数百次量级),属于小众的专用方法学数据集,而非大众基准。
1.5 为什么这个规模的工作值得单独一条
按体量衡量,这是一套小数据集——两份 CSV、不足万份短文档,远小于动辄数百万条的医疗语料库。它的条目价值来自三点。第一,它是一类方法(LLM 定向合成用于长尾增强)最早公开配套数据集的实例之一,方法论文、生成中间产物、增强实验结果三者对得上,可完整复现。第二,它把「合成数据能不能进临床 NLP 训练集」这个争论推进到了有对照数字的阶段:正反两面的结果(目标码族提升、全局略降)都被作者如实报告,而不是只报利好。第三,raw 轨逐条保留提示词与原始输出的做法,为后续所有同类工作提供了格式先例——今天各类合成临床语料「附 prompt 与模型输出」的发放形态,在这条时间线上能追溯到这里。
§2 数据构成与规格
2.1 双轨文件结构
数据集以 CSV 发放,分两轨:
| 文件 | 内容 | 用途 |
|---|---|---|
| gpt35_generated_discharge_summaries_raw.csv | 每条记录含:作为提示依据的 ICD-10 编码列表(诊断码、操作码及合并的 target 列,编码间以分号分隔)、各编码的标准描述文本、完整提示词、模型原始输出全文(含方括号标注的自编预测码与出院状态预测) | 复现生成实验、研究提示词设计与模型行为 |
| gpt35_generated_discharge_summaries_processed.csv | 对原始输出做清洗、分节整理后的出院摘要文本,即增强实验实际喂给编码模型的版本 | 直接做数据增强训练 |
原始轨保留了从「编码组合」到「生成文本」的完整中间过程,这是该数据集区别于一般合成语料的主要规格特征:提示词工程、模型输出、自编结果三段都可审计。清洗轨则省去重复做文本后处理的成本。文件清单与总体积以 PhysioNet 版本页为准(部分地区页面不展示文件明细)。
2.2 样本构成
| 维度 | 数值 | 说明 |
|---|---|---|
| 合成出院摘要 | 9,606 份 | 全部由 gpt-3.5-turbo-0613 生成 |
| 唯一编码组合 | 6,779 组 | 首次出现的银标准标签集 |
| 重复编码组合 | 2,827 组 | 同组合重复生成,temperature 0.1 以求文本多样 |
| few-shot 目标码 | 98 个 | 训练切分中存在但极稀疏的 ICD-10 编码 |
| zero-shot 目标码 | 16 个 | 训练切分中完全不出现的编码 |
| 每码样本量 | 约 100 份 | 真实含码文档克隆扩充至该规模后构造生成输入 |
2.3 字段可靠性标注
| 字段 | 可靠性 | 依据 |
|---|---|---|
| 银标准编码列表(输入侧) | 可验证 | 直接来自真实 MIMIC-IV 文档的编码,作者论文有构造流程 |
| 编码标准描述文本 | 可验证 | 提示词组成部分,随原始轨一起发放 |
| 完整提示词 | 可验证 | raw 轨逐条保留 |
| 模型自编预测码 | 语义存疑 | 作者自述用正则表达式从生成文本中提取,部分文档可能漏码,引用预测精度时须谨慎 |
| 出院状态预测(DEAD/ALIVE) | 存在可验证;准确性语义存疑 | 字段存在可查证,但模型预测无金标准对照 |
| 清洗版文本 | 依惯例推定 | 为作者增强实验所用版本,清洗规则细节以论文与随附说明为准 |
2.4 与真实数据的边界
三处边界值得写代码前就分清。其一,编码组合是真实的(取自 MIMIC-IV),文本是合成的——任何「真实临床文本」的说法都不成立。其二,零样本码连真实编码组合都没有:作者找到语义相近、病因标注为「unspecified」的现有编码所在的文档,把兄弟码替换成零样本码后生成,这层替换意味着零样本部分的临床组合合理性弱于 few-shot 部分。其三,克隆文档时随机删除了最多 5 个非相关标签以增加多样性,因此银标准组合与真实分布并不逐条对应,只在其统计倾向上对应。
2.5 使用前的核对清单
下载后建议先做五步核对,再进入训练流程:
- 行数与预期一致(raw 轨与 processed 轨的记录应一一对应,若对应关系由随附脚本定义,先运行脚本再核对);
- target 列的分号分隔是否被本地解析器正确切分(编码含小数点,别用句点做分隔);
- 抽 10 条 raw 记录,检查提示词、原始输出、预测码三段是否完整,确认自己理解的字段语义与发放方一致;
- 把 114 个目标编码清单整理成独立文件,增强实验的分层评估要用它做切片;
- 确认许可合规:凭证状态、CITI 证书有效期、DUA 签署主体是否是当前项目主体。
这五步里最常出问题的是第 2 步与第 4 步:前者造成编码列表解析错位且难以察觉,后者会让分层评估漏掉零样本码、得出与论文不可比的结论。
表格之外,规格层面还有三点值得单独说明。
编码体系的分层。数据集同时涉及 ICD-10-CM(诊断码)与 ICD-10-PCS(操作码):银标准标签集里两类码并存,评估时「候选码族」的族划分也建立在编码层级结构上。使用者的分词器、标签映射表若只处理诊断码,会静默丢掉操作码部分的监督信号——这是移植到其他数据集时最容易被复制的错误。
文本的规模感。合成出院摘要的篇幅与真实文书相当(分节、数百词量级),但注意它们的「信息密度」低于真实文书:评审确认的概念正确与真实文书应有的支持性细节是两回事。在把清洗轨与真实文本混合训练时,模型可能学到这种密度差异,混合比例扫描(见 6.4)因此不只是超参搜索,也是在控制分布偏移。
重复组合的地位。约四分之一的输入标签组合是重复的,这不是数据质量问题而是设计组件:它让「同组合不同文本」成为可研究的对象,也使数据集天然包含一组最小规模的对照——同一银标准、同一模型、不同解码随机度。做生成质量研究的人不应把重复行简单去重。
§3 生成流水线:从真实文档到合成语料
3.1 目标码的确定
流水线从 Nguyen 等人的 MIMIC-IV 训练切分出发,选定 98 个 few-shot 编码与 16 个 zero-shot 编码作为「生成候选码」(generation codes)。这些编码之所以被选中,是因为它们在评估集中会出现、但在训练集中几乎或不出现——标准的「大头长尾」困境:模型在常见码上表现良好,在这些码上近乎随机猜测。
这一步有个容易被略过的细节:为什么选 Nguyen 的切分而不是 MIMIC-IV 官方或 MIMIC-III 时代的常用切分。Nguyen 切分出自 Health Gym 系列工作,当时已经把「训练/验证/测试 + 目标码清单」打包成社区可复用的公共品;沿用它的直接好处是,任何在这一切分上做过的先前结果都能与本数据集的增强结果同表对比。代价是引入了对该切分本身的依赖——切分若被发现有泄漏或口径问题,依赖它的结论要连带复查。这是一个公开数据集生态里典型的「站在公共品上、也替公共品背书」的位置,使用者应当有意识地把切分假设写进自己的实验记录。
3.2 银标准的构造
对每个 few-shot 码,作者在训练集中找到含该码的真实出院摘要,将其克隆至该码累计约 100 份;为避免克隆体彼此雷同,每份克隆随机删除最多 5 个与目标码无关的标签,得到「银标准」(silver standard)标签组合。随机删而非随机加,是为了不引入虚构的共病关系。对 16 个 zero-shot 码,由于训练集中按定义无样本,作者改用「兄弟码替换」策略:找到含语义相近的 unspecified 病因码的金标准文档集,将其中相对常见的兄弟码替换为目标零样本码。最终得到全部输入标签:约三分之二为唯一组合,其余为重复组合——重复组用于检验同一组合能否生成有差异的文本。
3.3 提示词设计
提示词要求 GPT-3.5「为一名具有以下标准描述所列病情与操作的病人撰写出院摘要」,并附加多条约束:纳入社会史与家族史;正文不得直接出现 ICD-10 编码字样(以保持自然文体,标准描述里的「unspecified」一词也要求改写成自然表达);鉴于模型训练数据匿名状态不确定,要求对个人与地点信息做匿名化、但保留有临床意义的数值。同时模型被要求完成两件附加任务:对生成文本「出院」小节中方括号标注的句子自行赋予 ICD-10 码;预测出院状态为 DEAD 或 ALIVE。这三项任务合起来正是论文标题的两个动词——generate(生成)与 code(编码)。
3.4 解码参数与产出
模型固定为 gpt-3.5-turbo-0613(当时识别度最高、成本与速度均衡的版本)。唯一样本用 temperature 0 保证确定性输出;重复组合用 temperature 0.1 让同组合文本出现差异。原始输出连同预测码一并落盘,预测码后续用正则表达式从方括号标记中提取——作者明确注明这一步可能漏码,是已知的技术局限。
3.5 这条流水线为什么值得记录
银标准构造把「随机编造标签组合」改成了「以真实文档为骨架、定向植入目标码」,保住了真实共病结构;兄弟码替换解决了「零样本码连骨架都找不到」的问题。这两步都是可以迁移到其他长尾多标签任务的方法学组件,也是该数据集除文本本体之外的主要复用价值。
3.6 提示词约束的逐条拆解
提示词的附加约束各有明确的动机,值得逐条看:
- 纳入社会史与家族史:真实出院摘要的固定组成部分,缺少它们是合成文本最容易被评审一眼识破的破绽;
- 正文禁现编码字样:真实文书不写 ICD 码本身,模型若把标准描述原文照抄会让「自然文体」评估失真,也会让自编任务变成复制任务;
- 改写 unspecified:标准描述里的「unspecified」是分类学用语,真实叙述里会写成具体的临床表述,改写让文本更接近真实语域,同时也是兄弟码替换策略的配套动作;
- 匿名化个人与地点、保留数值:模型训练数据中真实患者的匿名状态不确定,要求生成时匿名是防御性措施;保留有临床意义的数值则是为了维持文书的证据结构(剂量、日期、生命体征);
- 方括号标注自编句:给自编任务一个明确的输出锚点,也是后续正则提取预测码能工作的前提。
这套约束的设计逻辑可以概括为「形式逼近真实文书、过程留出可审计锚点」,两句话拆开分别是 §3.6 的前四条与最后一条。
流水线全程只用了三类公开构件:MIMIC-IV 的真实文档与编码、一份公开的切分定义、一个商用模型的 API。没有微调、没有私有数据、没有领域适配,这意味着任何持有同三样构件的团队都能在数小时内重建同样的输入集(API 侧温度 0 的输出本身不可逐字复现,这是商用模型的固有限制)。可重建性恰恰是这套流水线作为方法学组件的价值所在:后来者改进的不是数据集本身,而是流水线里的可替换件——换生成模型、换替换策略、换采样参数——每次替换都有清晰的对照基线。
§4 怎么拿到:许可与获取路径
4.1 访问流程
数据在 PhysioNet 的 generated-codes-low-resource 项目页发放,走标准的凭证制(Credentialed Access)流程:
- 在 PhysioNet 注册账号并完成身份认证(Credentialed privilege,通常需签署合作机构证明或完成培训认证);
- 完成 CITI「Data or Specimens Only Research」课程并把证书上传至 PhysioNet;
- 在项目页签署 PhysioNet Credentialed Health Data Use Agreement 1.5.0;
- 从版本页(1.0.0)下载 CSV 文件。
虽然文本是合成的、不含真实受试者数据,但流程一步不减:数据由 MIMIC-IV 派生,上游 DUA 的约束随血缘传导。使用者的机构若已有 MIMIC-IV 授权,通常可以复用既有认证与培训记录,申请周期会明显缩短。
4.2 许可条款要点
| 项 | 条款 |
|---|---|
| 许可证 | PhysioNet Credentialed Health Data License 1.5.0 |
| 数据使用协议 | PhysioNet Credentialed Health Data Use Agreement 1.5.0 |
| 必需培训 | CITI「Data or Specimens Only Research」 |
| 允许用途 | 合法 biomedical 研究,不得商业再分发、不得再识别 attempt 之外的个体比对 |
| 再分发 | 禁止;第三方须自行到 PhysioNet 走同一流程 |
| 上游约束 | 派生自 MIMIC-IV v2.2,受 MIMIC-IV DUA 约束 |
4.3 引用与致谢
正式使用须同时引用数据集 DOI(10.13026/09ng-2614,v1.0.0)、方法论文(arXiv:2401.13512)与上游 MIMIC-IV。PhysioNet 页面给出的引用格式将九位作者全列,Falis 为第一作者。若使用了 Nguyen 等人的切分口径,还应引用对应的 Health Gym 系工作——切分不是本团队原创这一点在复现对比时尤其重要。
4.4 获取环节的常见问题
凭证制流程里最容易卡住的三处,写在使用前:
- CITI 证书主体:证书上的机构名与 PhysioNet 账号所属机构不一致是拒签首因,学生与访问研究人员尤其容易踩中,先在 CITI 后台补挂机构再上传;
- 认证等待期:PhysioNet 凭证审核不是即时完成的,项目排期要把这段等待计入,别把下载排在实验第一天;
- 地区可见性:PhysioNet 部分页面在不同地区展示内容不同,有的地区看不到文件明细或无法进入下载入口;遇到这种情况走机构网络或联系 PhysioNet 支持,不要用第三方镜像——镜像版不构成合规获取。
合规形态的一个细节值得团队负责人知道:合成文本的 DUA 约束与 MIMIC-IV 相同级别,意味着即便自己重写了全部文本处理代码,把 raw 或 processed 的内容贴进公开仓库、公开博客或公开数据增强产物,都构成再分发违规。公开场合引用生成文本只能给极短的、经许可确认的示例,稳妥做法是不贴原文、只描述结构。
4.5 团队协作场景的发放建议
把数据接进多人或多项目环境时,有三条实践建议。其一,数据文件不要进代码仓库:DUA 禁止再分发,仓库即便是私有的也应只放处理代码与抽样统计,路径指向本地挂载点。其二,派生统计可以进仓库:编码频次表、分层评估结果、与论文数字的对照表不含原始文本,可放心协作与公开。其三,项目结束按 DUA 要求处置本地副本,别在共享盘里留「以防万一」的拷贝——这是凭证制许可里最常被忽视、也最容易被审计抓住的条款。
§5 质量与已知问题
5.1 假设—支持—反对表
| 假设 | 支持证据 | 反对/限定证据 |
|---|---|---|
| 合成文档保留了真实的临床概念结构 | 临床医生评审确认生成文档正确陈述了被提示的编码概念;编码组合骨架来自真实文档 | 评审同时指出多样性、支持信息与叙事真实感不足 |
| 增强数据能提升低资源码性能 | 增强实验中目标候选码及其码族的 macro-F1 提升,含一个基线训练集没有的码 | 全码集整体性能略降;对已有较多样本的码收益更明显,对真正孤立的码收益有限 |
| GPT-3.5 可以胜任 ICD 编码 | 能按提示中的标准描述识别并给出码 | 在真实 MIMIC-IV 数据上编码表现不佳;论文结论明确不推荐直接用作文书编码器 |
| 银标准组合接近真实共病分布 | 构造以真实文档为骨架、只做删标签与兄弟码替换 | 克隆加随机删除本质上偏离真实分布;zero-shot 部分依赖 unspecified 替换,合理性更弱 |
| 预测码字段可直接当标注用 | 字段逐条可得 | 正则提取可能漏码,作者自注此局限 |
5.2 结论强度分级
按「独立证据线」口径为四个主要结论定级:
| 结论 | 强度 | 依据 |
|---|---|---|
| 生成文档能正确陈述被提示的概念 | B | 临床评审(一条)+ 文本与输入编码的对应关系(一条) |
| 增强对目标码族有正效应 | B | macro-F1 对比(一条)+ 族外错误率下降(一条) |
| 增强对全码集整体略负 | B | 论文报告的总体性能下降(单一来源但方向明确,且为作者自报,倾向可信) |
| GPT-3.5 不适合直接编码真实病历 | B | 真实数据编码实验 + 生成数据与真实数据的性能落差对照 |
没有 A 级结论的原因很直白:全部证据都出自同一团队的同一条实验线,尚无第三方独立复现发表。这不算缺陷——数据集 2024 年底才上线——但引用时应避免把单源结论写成定论。
5.3 评估设计的可取与可质疑之处
评估有两条线,各有一条值得展开。
增强实验的分层口径是可取的。全码集、候选码、候选码族三层,配合弱分层混淆矩阵区分族内与族外错误——这套口径后来成为长尾增强评估的事实模板。它的洞察在于:增强可能把错误「拉近」而不一定「消除」——模型从把候选码预测成完全无关的码,变成预测成同族近邻的码——两层信息分开看才不会被单一 macro-F1 掩盖。
临床评审的样本与量表是可质疑的。论文对评审的人数、文档抽样量与量表条目的披露相对简略,评审结论更适合当作方向性证据而非定量基准。引用「临床医生认可概念正确」时,应写明这是小样本结构化评审的结论,别升格成「经临床验证」。
GPT-3.5 自编码的对照实验补齐了闭环。生成文档上模型能按描述给码、真实数据上表现下滑,两个数字放在一起才支撑「生成可用、编码不可用」的结论。只有其中一半数字的工作在这条路线里并不少见,这也是引用时值得点出的实验设计完整性。
5.4 临床评审给了什么结论
论文安排了执业背景的临床医生对生成文档做结构化评审,结论分两面。正面:被提示的编码概念在生成文本中都得到了正确陈述,没有出现概念张冠李戴——这说明提示词的「按标准描述写文书」这一核心指令是有效的。负面集中在三处:多样性不足(同组合的重复生成文本之间、不同文档之间句式与展开方式趋同)、支持信息不足(概念正确但缺乏真实文书常见的细节佐证)、叙事真实感不足(评审能感知到「模板腔」)。
三处负面共同指向一个技术背景:唯一样本用温度 0 生成、重复样本只有 0.1 的微弱扰动,且全部文档出自同一个提示模板。这是复现确定性与文本多样性之间的取舍,作者选了前者。后续若在此数据集上继续实验,提高温度、增加模板数量是最直接的改进方向,但代价是可复现性下降,评审结论不能直接平移。
5.5 与后续大规模合成工作的对比
把该数据集与一年后出现的大规模长尾合成工作并排看,能把这条路线的关键变量看得更清楚。后续工作把规模扩到数万级合成笔记、覆盖数千个编码,并引入本体、同义词与相似真实笔记做结构化提示,报告了对 macro-F1 的正向收益。对照之下,该数据集的收益幅度有限,差异主要落在四个变量上:覆盖的编码数量(百余个对数千个)、每个编码的合成样本量(约百份对按对数倒数分配并设上限)、提示的结构化程度(自由文本指令对知识注入式提示)、评估的模型代际(2024 年初的编码器对更新一代)。四个变量都不是孤立的,任何「LLM 合成对长尾有没有用」的结论都必须先问是哪个配置——这也是引用该数据集时应当写明的限定。
5.6 已知技术局限清单
- 正则提取预测码可能漏掉部分文档的编码,预测码字段不可盲信;
- 模型版本固定为 gpt-3.5-turbo-0613,对新模型的结论外推没有依据;
- 每码约百份的克隆规模对小样本码是数量级提升,但文本多样性受限于单模型单提示模板;
- 生成文本的出院状态预测(DEAD/ALIVE)无金标准可对照,只可用于训练弱信号,不可当结局标签;
- 清洗轨的预处理规则若与使用者自己的清洗不一致,增强收益可能缩水;
- PhysioNet 页面在某些地区不显示文件明细,下载前请以登录后的版本页为准。
§6 能做什么:任务清单与最小示例
6.1 合适的任务
| 任务 | 用法 | 注意 |
|---|---|---|
| 长尾 ICD 编码增强训练 | 把清洗轨并入 MIMIC-IV 训练集,微调 PLM-ICD、GKI-ICD 类模型,观察目标码族 macro-F1 | 全码集整体可能略降,报告须分开统计 |
| 合成临床文本质量评估 | 用 raw 轨的提示词-输出对研究 LLM 的指令遵循、概念保真与叙事多样性 | 预测码字段不可盲信 |
| 零样本码的策略研究 | 16 个零样本码及其兄弟码替换样本,可复现或改进 unspecified 替换策略 | 替换引入的语义偏移要单独讨论 |
| 提示词工程案例教学 | 完整提示词逐条保留,含匿名化约束与文体约束 | 引用时注明模型版本 |
| 临床文本生成评测床 | 把生成文档交给临床医生按统一量表评审(论文已给出可参照的评审维度) | 评审维度来自单团队,跨团队需先校准 |
6.2 不合适的任务
不要用它做:真实病历的语言学或流行病学研究(文本是合成的);ICD 编码器的直接评测基准(它没有金标准测试集,增强收益要看回到真实评测集上的表现);任何需要患者级结局真值的研究(出院状态预测只是模型输出);中文或其他语言场景的直接迁移(生成文本为英文、美式病历风格)。
6.3 最小可执行示例
拿到数据后最快的上手路径(凭证下载后,Python 伪代码):
import pandas as pd
raw = pd.read_csv("gpt35_generated_discharge_summaries_raw.csv")
proc = pd.read_csv("gpt35_generated_discharge_summaries_processed.csv")
# 每行一份合成摘要:target 列为银标准编码(分号分隔)
raw["n_codes"] = raw["target"].str.split(";").str.len()
print(raw["n_codes"].describe())
# 清洗轨文本直接并入 MIMIC-IV 训练集后重训编码模型,
# 评估时把 114 个生成候选码单独切片报告 macro-F1
三个复现要点:评估切分必须沿用与论文一致的 Nguyen 口径,否则与论文数字不可比;报告结果时把「全码集 / 候选码 / 候选码族」三层分开;原始轨与清洗轨的行序对应关系需按随附说明核对,不要默认行对齐。
6.4 三种增强实验设计模板
围绕该数据集可以搭三种实验,复杂度递增:
模板一:原样复现。 清洗轨并入 Nguyen 切分的训练集,微调 PLM-ICD 类模型,在 MIMIC-IV 测试集上按「全码集 / 114 个候选码 / 候选码族」三层报告。这是验证自己拿到的是同一份数据的底线实验,也是论文已给出的数字锚点。
模板二:混合比例扫描。 增强样本与真实样本按不同比例(如 1:4、1:1、4:1)混合训练,观察目标码族收益与全局损耗的权衡曲线。论文只报了全并入一个点,比例扫描是这个数据集尚未被系统填掉的空白。
模板三:换模型重生成的对照。 用 raw 轨的提示词在新模型上重新生成同组合样本,替换清洗轨后跑模板一。由于银标准组合与提示词全部公开,这是少数能做「同输入不同生成器」严格对照的公开设置,适合研究生成模型代际差异。
三种模板共同的纪律:评估永远回到真实评测集,任何「在合成文本上的表现」都不能当最终指标。
6.5 结果报告的最小字段集
跑完增强实验后,让结果可与他人对话的最小报告字段:
| 字段 | 内容 |
|---|---|
| 训练集构成 | 真实样本数、增强样本数、混合比例 |
| 增强来源 | 是否用原始清洗轨、是否重新生成 |
| 评估切分 | Nguyen 口径声明,全码集 / 候选码 / 候选码族三层 |
| 主指标 | micro-F1 与 macro-F1 分开报 |
| 错误结构 | 族内 / 族外错误占比 |
| 模型与版本 | 编码模型名称、版本、训练超参要点 |
缺「错误结构」一栏是后续文献里最常见的报告缺口:只报 macro-F1 的提升,不报错误是否从族外移到了族内,就无法判断增益是真实的判别力提升还是标签先验的偏移。
§7 常见误读与引用陷阱
7.1 误读对照表
| 常见说法 | 实际口径 | 证据位置 |
|---|---|---|
| 它是一套真实出院摘要数据集 | 全部文本由 GPT-3.5 生成,只有编码组合来自真实 MIMIC-IV 文档 | PhysioNet 页 Data Description 与论文摘要 |
| 文档数被当成去重后的数量 | 是生成文档总数;编码组合层面另有唯一与重复两类划分 | 论文 Methods 银标准一节 |
| 文档数被当成覆盖的 ICD 编码数 | 目标低资源编码共 114 个(98 个 few-shot + 16 个 zero-shot),文档数是另一个口径 | 论文摘要与 PhysioNet 页 Background |
| 增强后模型整体更强 | 全码集整体略降,提升只在目标码及码族、族外错误率 | 论文 Results |
| zero-shot 码也有真实训练样本 | 按定义训练集中不出现,样本由兄弟码替换生成 | 论文 Methods zero-shot 策略 |
| 数据公开可直接下载 | 凭证制:须认证账号、CITI 培训与 DUA 签署 | PhysioNet 访问页与许可页 |
| GPT-3.5 编码表现可用 | 真实数据上编码表现不佳,论文结论不支持直接当编码器 | 论文 Results 与 Discussion |
| 数据匿名化已独立审核 | 提示词内要求匿名化,但生成文本未做独立去标识审核;不含真实受试者原文 | 论文 Methods 匿名化约束段 |
7.2 技术性陷阱
- 坑 1:slug 与官方名不一致:slug 是 generated-codes-low-resource,检索时用官方全名或 slug 各查一遍,只查一个容易漏。
- 坑 2:DOI 有两个:v1.0.0 是 10.13026/09ng-2614,页面另有最新引用 DOI;引 v1.0.0 就用前者并写明版本号。
- 坑 3:MIMIC 版本要写全:上游是 MIMIC-IV v2.2 与 MIMIC-IV-Note v2.2,写 MIMIC-III 或不写版本都会让复现者走错门。
- 坑 4:切分归 Nguyen 不归本团队:对比实验须沿用同一训练/验证/测试切分,引用时别把切分发明权写错。
- 坑 5:预测码提取有损:正则可能漏码,做预测精度统计前先声明这一口径。
- 坑 6:重复组合不是冗余:重复编码组合是 temperature 0.1 的多样性实验设计,去重处理前先想清楚分析目的。
§8 在生态中的位置
8.1 合成临床文本的谱系
在「用生成模型缓解 MIMIC 长尾」这条线上,该数据集处于方法学的一环:更早的工作(含同一切分的 Health Gym 系列)用生成对抗类模型合成全文档并构建基准切分,把「切分口径」变成了社区公共品;本数据集则用指令微调后的通用大模型做定向的、以低资源码为靶的生成,把问题从「造出像真话的文本」推进到「为指定的罕见标签造出对的文本」。再往后,已有后续团队把类似思路扩展到万级合成笔记、覆盖数千个编码的更大规模(用本体与共现结构引导生成),说明该方向已从单点验证进入规模竞赛。
与另一条「全量改写」路线的关系也不同:改写路线(如库内 MIMIC-Ext-SynNotes)用开源模型把 MIMIC 全部真实笔记整体改写成合成语料,目标是隐私友好的预训练替代品;本数据集是靶向增强(targeted augmentation),只造长尾区域的样本,目标是下游编码模型的可分辨性能。两条路线解决的问题、规模、评估口径都不同,不宜直接比大小。
8.2 库内相关条目
| 库内条目 | 关系 |
|---|---|
| mimic-iv-clinical-database(rid 4) | 上游数据库:编码组合与文档骨架的来源 |
| mimic-iv-note(rid 47) | 上游笔记模块:出院摘要所在模块 |
| synthetic-mimic-iii-health-gym(rid 597) | 同谱系先行工作:标签切分口径的同源出处 |
| mimic-ext-synnotes(rid 1002) | 相邻路线:全量改写式合成语料(对比阅读价值) |
| mimic-iii(rid 106) | 长尾 ICD 编码研究的传统基准源 |
8.3 使用者画像与相邻社区
直接受众是自动编码(auto-coding)社区——在 MIMIC 上训练 PLM-ICD 类模型的团队;次级受众是临床文本生成社区,把 raw 轨当作带完整提示词的生成案例库;第三类是合成数据治理研究者,关注「合成派生物继承上游 DUA」这一合规形态的实例。三类人的第一入口都是 PhysioNet 项目页,第二入口是 arXiv 论文。
把库内相关条目串成一条阅读路径:先读 mimic-iv-clinical-database(rid 4)与 mimic-iv-note(rid 47)弄清编码与文书从哪来;再读 synthetic-mimic-iii-health-gym(rid 597)理解切分公共品与更早一代的合成尝试;本数据集是这条线上的定向增强一环;mimic-ext-synnotes(rid 1002)代表「全量改写」的另一极,适合对照阅读。四个条目加本数据集条目,恰好覆盖「真实来源 → 公共切分 → 定向合成 → 全量合成」四步,构成 MIMIC 派生合成文本生态的完整横截面。
8.4 与自动 ICD 编码主流基准的关系
自动 ICD 编码社区的主战场长期在 MIMIC-III 的 top-50 与全码集两套基准上,PLM-ICD 等强模型把 micro-F1 推高后,macro-F1 被长尾压住的问题愈发显眼。本数据集没有提供新的测试集——它复用 Nguyen 的 MIMIC-IV 切分——它的贡献在训练侧:给了一个「只动训练分布、不动评估口径」的公开增强材料。评估口径不动这一点反而是优点:任何增强方法的收益可以直接与既有文献对比,不存在「换了基准所以数字不可比」的老问题。代价是它绑定 MIMIC-IV 的编码体系与文书风格,向 ICD-11、向中文病历、向门诊场景的迁移都需要重新走一遍构造流程,数据集本身帮不上。
§9 方法学启示
四条可迁移的经验,均已在该工作的实验中得到直接检验或反面验证:
第一,从真实场景倒推生成输入。不随机编造标签组合,而是以含目标码的真实文档为骨架做克隆与轻删改,保住共病结构。这一步的成本极低(纯脚本操作),却是合成样本「像不像真病历」的分水岭,可平移到任何多标签长尾任务。
第二,兄弟码替换打通零样本。训练集中完全不存在的标签没有真实骨架,作者用「语义相近的 unspecified 码」作替身。替换必然引入偏移,但它把「零样本」变成了「弱监督」,让这类标签第一次进入可训练、可评估的范围。
第三,增强收益必须分层报告。全码集、候选码、候选码族三层分开统计,才能同时看到「整体略降」与「局部提升」这两件同时为真的事。只报全局均值会把长尾收益稀释到看不见,只报目标码又会掩盖代价——分层报告是该数据集论文留给后续增强研究的默认范式。
第四条经验藏在负结果里:合成数据的评审要留给临床医生,评估要留给真实评测集。作者同时做了两件事——临床医生评审生成文本的质量、编码模型在真实评测集上算分——两件事的结论并不互相替代:文本「看起来像病历」与「能提升编码性能」是两个命题,该工作里前者部分成立、后者只对长尾成立。后续合成临床文本研究若只做其中一件事,都会漏掉一半结论。
§10 总结
适用:持有 PhysioNet 凭证、在 MIMIC-IV 切分上训练神经 ICD 编码模型、需要缓解低资源码稀疏的研究团队;研究 LLM 临床文本生成的概念保真与提示词设计的教学案例;合成数据派生合规的实例研究。
不适用:需要真实临床文本或患者级结局的研究;把 GPT-3.5 当编码器的评测;非英语、非美式病历场景的直接迁移;对生成文本做独立去标识审核之前的生产级用途。
最后补充一句数据状态:数据集 2024 年底上线后尚无公开的第三方复现,任何引用都应把结论强度按单源处理,并关注论文的正式发表版本。
三句话收束:这是一套小而完整的方法学数据集——用 GPT-3.5 围绕 114 个低资源 ICD-10 编码定向生成合成出院摘要;它的价值不在规模,而在「银标准构造、兄弟码替换、分层评估」三件套的可复用性;它同时诚实地记录了代价——全局性能略降与生成文本的叙事短板,这两点引用时都应一并交代。
FAQ(高频问答)
Q1:这个数据集里的出院摘要是真实的吗?
不是。全部文本由 gpt-3.5-turbo-0613 生成;真实的只有作为生成依据的 ICD-10 编码组合,它们取自 MIMIC-IV v2.2 的真实出院摘要。生成文本不含任何真实患者的原文段落。
Q2:什么是低资源(low-resource)编码?
指在 MIMIC-IV 训练切分中出现次数极少的 ICD-10 编码:98 个 few-shot 编码只有少量样本,16 个 zero-shot 编码在训练集中完全不出现。这些长尾码会让本地训练的神经编码模型表现很差,正是该数据集要缓解的问题。
Q3:数据怎么获取?
PhysioNet 凭证制发放:注册认证账号、完成 CITI「Data or Specimens Only Research」培训并签署数据使用协议后可下载。许可为 PhysioNet Credentialed Health Data License 1.5.0,数据派生自 MIMIC-IV,受上游 DUA 约束。
Q4:增强之后模型整体会变强吗?
不一定。合并增强数据后全码集总体性能略降,但目标低资源编码及其码族提升——包括一个基线训练集中完全不存在的编码——且族外错误率下降。它是对长尾的定向补偿,不是全局免费的增益。
Q5:GPT-3.5 能直接拿来当 ICD 编码器吗?
该论文的结论是不能:模型能按提示中的标准描述识别编码,但在真实 MIMIC-IV 数据上编码表现不佳。它在工作中的可用角色是生成合成文档用于训练增强,而不是编码真实病历。
Q6:数据文件有哪些?
两个 CSV:raw 版保留原始输出(编码、标准描述、提示词、逐条原文与预测编码),processed 版是作者增强实验实际使用的清洗文本。文件清单以 PhysioNet 版本页为准。
Q7:生成用的模型和参数是什么?
gpt-3.5-turbo-0613。唯一样本 temperature 设 0 保证确定性;重复编码组合设 0.1 产生差异化文本。提示词要求纳入社会与家族史、正文避开编码字样、对个人与地点信息匿名化。
Q8:zero-shot 编码没有真实样本,怎么生成?
作者找到语义相近、病因标注为 unspecified 的现有编码所在文档构成金标准集,把相对常见的兄弟码替换为对应 zero-shot 码,再以此银标准组合提示模型生成。
Q9:为什么重复的编码组合要生成多次?
真实数据里不同患者可以有相同的编码组合,模型需要学会对同一组合写出不同的文书。作者对重复组合用略高的温度让文本产生差异,这批样本同时兼作「同输入能否多样输出」的检验。
Q10:清洗轨和 raw 轨该用哪个?
做增强训练直接用清洗轨,省去文本后处理;研究生成行为、提示词设计或预测提取则必须用 raw 轨。两者记录一一对应,可以交叉核对。
Q11:许可上有什么容易踩的坑?
数据虽然是合成的,但许可与 MIMIC-IV 同级:不能公开再分发文本,合作方使用要各自走 PhysioNet 流程;发表论文时引用数据 DOI 与上游 MIMIC-IV,不能只引自己论文。
Q12:这套方法能直接搬到中文病历上吗?
不能直接搬。ICD 编码体系、文书结构、出院摘要的写作惯例都是美式住院场景的产物;中文场景要重选目标码、重构提示词,且缺少对应的公开基准切分,收益无法对表。
Q13:这套数据对医疗大模型的预训练有用吗?
它的设计目标是下游编码模型的定向增强,不是预训练语料:规模太小、领域覆盖偏(只有出院摘要、只围绕百余个编码)。预训练需求应看全量改写路线的语料,如库内 MIMIC-Ext-SynNotes 条目。
Q14:可以直接把清洗轨当成「已去标识」的安全文本吗?
可以作为低风险的合成文本对待——不含真实患者叙述,但稳妥的表述是「派生自受 DUA 约束的上游、按凭证制发放的合成文本」,省略派生关系会误导合规审查。
事实清单(硬事实)
| 编号 | 事实 | 来源 |
|---|---|---|
| F1 | 数据集名 MIMIC-IV-Ext-GPT-3_5-Generated-Discharge-Summaries-for-Low-Resource-Codes | PhysioNet 页 |
| F2 | v1.0.0,2024-12-16 发布,DOI 10.13026/09ng-2614 | PhysioNet 版本页 |
| F3 | 合成出院摘要总数(见 §2.2) | PhysioNet 页摘要 |
| F4 | 唯一与重复编码组合的划分(见 §2.2) | PhysioNet 页 Methods 段 |
| F5 | 目标码 98 few-shot + 16 zero-shot | PhysioNet 页 Methods 段 |
| F6 | 模型 gpt-3.5-turbo-0613,temperature 0 / 0.1 | PhysioNet 页 Methods 段 |
| F7 | 每码克隆至约 100 份、随机删最多 5 个非相关标签 | 论文 Methods |
| F8 | 许可 PhysioNet Credentialed Health Data License 1.5.0,须 CITI 培训 | PhysioNet 许可页 |
| F9 | 上游 MIMIC-IV v2.2 与 MIMIC-IV-Note v2.2 | PhysioNet 页 |
| F10 | 论文 arXiv:2401.13512(2024-01-24 v1 / 2024-09-16 v2) | arXiv |
| F11 | 作者九人,通讯 Matúš Falis,爱丁堡大学等四机构 | 论文署名 |
| F12 | 评估:micro/macro-F1 三层口径 + 弱分层混淆矩阵 + 临床评审 | 论文摘要 |
| F13 | 增强后全码集略降、候选码族提升、族外错误率下降 | 论文 Results |
| F14 | 预测码正则提取,可能漏码 | PhysioNet 页局限段 |
| F15 | 两个文件:raw 与 processed CSV(含编码列表、标准描述、提示词、原始输出与清洗文本) | PhysioNet 页 Data Description |
术语表
| 术语 | 释义 |
|---|---|
| ICD-10-CM/PCS | 国际疾病分类第十版临床修订本/操作分类,美国住院编码标准 |
| 出院摘要(discharge summary) | 住院结束时的总结文书,自动编码任务的标准输入 |
| few-shot / zero-shot 码 | 训练集中样本极少 / 完全不出现的标签 |
| 银标准(silver standard) | 非人工金标、由规则构造的弱标注,此处指克隆加删改的标签组合 |
| 兄弟码(sibling code) | 同一 ICD 层级下语义相近的编码,如同为某病但病因标注为 unspecified |
| 大头长尾(big-head long-tail) | 少数高频标签占据大头、大量低频标签构成长尾的分布形态 |
| macro-F1 | 对每个标签等权计算后取平均的 F1,对长尾性能敏感 |
| 族外错误(out-of-family error) | 预测码与真实码不属于同一编码族的错误 |
| 定向增强(targeted augmentation) | 只针对欠代表标签合成样本的数据增强策略 |
| 凭证制(Credentialed Access) | PhysioNet 的身份认证 + 培训 + 签协议发放机制 |
| 指令微调 | instruction tuning,通过指令-回答对训练模型遵循任务描述的能力 |
| 温度(temperature) | 解码随机度参数,0 为确定性输出,越高越多样 |
| target 列 | raw 轨中合并诊断码与操作码的银标准编码字段 |
| top-50 基准 | MIMIC-III 上最常用的 50 个高频编码编码评测设置 |
附录 A:DAIMS 自评表
| 维度 | 评分(1-5) | 说明 |
|---|---|---|
| D 数据可用性 | 4 | 凭证制公开可得,流程清晰;扣分在部分地区页面不显示文件明细 |
| A 数据可得性持久性 | 4 | PhysioNet 托管,DOI 固定;依赖上游 MIMIC-IV DUA 长期有效 |
| I 数据完整性 | 3 | 提示词-输出全程保留是亮点;预测码提取有损、清洗规则文档偏薄 |
| M 方法学透明度 | 5 | 生成流程、参数、切分口径全部逐条披露,论文与数据页互证 |
| S 数据可复用性 | 4 | 双轨 CSV 即取即用;复用须沿用 Nguyen 切分,英文场景限定 |
附录 B:关键数字速查
| 数字 | 含义 |
|---|---|
| 9,606 | 合成出院摘要总数 |
| 114 | 目标低资源 ICD-10 编码数(98 + 16) |
| 6,779 / 2,827 | 唯一 / 重复编码组合数 |
| 约 100 | 每个目标码的真实文档克隆规模 |
| 1.0.0 | 数据集版本(2024-12-16) |
附录 C:未覆盖内容与检索模板
未覆盖:各 CSV 的精确行数、总体积与列级数据字典(PhysioNet 部分地区页面不展示);论文的正式期刊发表状态(若后续见刊,引用应以期刊版为准);第三方独立复现结果(截至 2026-10 检索未获)。
检索模板(可复制组合使用):physionet generated-codes-low-resource(数据页);arXiv 2401.13512(论文);Falis GPT-3.5 discharge summaries ICD augmentation(方法学脉络);Nguyen MIMIC-IV partition Health Gym(切分口径)。
附录 D:使用前检查清单
- [ ] PhysioNet 凭证状态有效,CITI 证书在有效期
- [ ] DUA 签署主体与项目执行主体一致
- [ ] 数据文件仅存放于合规位置,未进入任何代码仓库
- [ ] raw 轨与 processed 轨行数核对一致
- [ ] 编码列表按分号切分验证无错位
- [ ] 目标码清单(98 + 16)已整理为独立切片文件
- [ ] 评估切分声明为 Nguyen 口径
- [ ] 结果报告含三层指标与族内/族外错误结构
- [ ] 引用包含数据 DOI、论文与上游 MIMIC-IV
编辑说明
- 核验时间:2026-10-18;核验方式:WebSearch 三源互证(PhysioNet 项目页实抓、DOI 解析页、arXiv 论文页),核心数字(9,606 / 114 / 6,779+2,827 / 模型与温度参数)在 PhysioNet 页与 arXiv 论文两处一致。
- 撞库结论:库内 38 条 MIMIC 系条目逐一比对,无同实体条目;mimic-ext-synnotes(rid 1002)为 CSIRO 全量改写语料,作者、方法、DOI 均不同,已确认非别名。
- 双口径存照:PhysioNet 页面同时给出 v1.0.0 DOI(09ng-2614)与最新引用 DOI(bnc2-1a81),后者详情地区受限未核,全文以 09ng-2614 为准;论文正式发表 venue 未核实,全文只引 arXiv:2401.13512;文件清单与总体积因地区限制未能列出,正文已提示以 PhysioNet 版本页为准。
- 版本日志:v1(2026-10-18,agent-c-gencodes 首稿,v4 体例)。
- 下次复核触发点:论文见刊、数据集出新版本、或第三方复现发表时。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- primock57 — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- trec-ct-2021 — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- mimic-ext-synnotes — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 重症监护
- echo-note2num — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 重症监护
- discharge-summary-templates — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- annotation-opioid-use-notes — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 重症监护
- mednli — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- er-reason — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- medsecid — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 评测基准
- tcm-sd — 共享标签:医疗NLP / 临床文本 / 电子健康记录 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

