出院小结姓名去标识模板集

100 份 MIMIC-IV 出院小结模板 × 16 个姓名集 × 9 种去标识方法,生成 1.6 万份注记,量化「姓名去标识在不同性别、族裔、名字流行度上是否同样有效」,答案是大多数方法存在显著差距

来源 MIMIC-IV 预发布版本的出院小结,人工整理为 100 份带姓名与其他 PHI 标记的临床模板,再与 16 个姓名集组合生成注记,2023 年 7 月经 PhysioNet 发布发布时间: 2026-10-19最后更新: 2026-10-20 阅读 24
出院小结姓名去标识模板集

信息速览

数据集名称出院小结姓名去标识模板集
数据类型临床文本,合成文本,人工标注,凭证访问
规模100 份出院小结模板(50 份来自男性患者、50 份来自女性患者),衍生 16,000 份注记;原文来自 Beth Israel Lahey Health 2017–2019 年住院记录
接入方式MIMIC-IV 预发布版本的出院小结,人工整理为 100 份带姓名与其他 PHI 标记的临床模板,再与 16 个姓名集组合生成注记,2023 年 7 月经 PhysioNet 发布
AI 就绪度

这套数据集是 2023 年 7 月由 Lim、Xiao、Johnson、Pollard、Ghassemi 等八位作者经 PhysioNet 发布的去标识评测资源,v1.0 版。主体是 100 份人工整理的出院小结模板,取自 MIMIC-IV 预发布版本,其中 50 份来自男性患者、50 份来自女性患者。模板里的人名被替换成可识别的标记,其余受保护健康信息按 HIPAA Safe Harbor 条款替换为合成值。配套 16 个姓名集,沿性别、族裔、名字流行度、流行年代四个维度构造,每集 20 个名字。模板与姓名集组合后生成 1.6 万份注记,用来评估 9 种去标识方法。

这项工作的起点是一个不太被讨论的问题:去标识做得不好,代价由谁承担?如果一个系统对常见英文名的识别率达到 99%,对某些族裔的姓名只有 92%,那 8% 的漏检意味着这些人的姓名残留在"已去标识"的文本里。整体指标看不出这件事,因为被平均掉了。这套数据把这个问题单独拎出来,用受控的姓名集把"名字本身有多难"与"文本上下文有多复杂"分开,于是性能差距可以被量化而不只是被猜测。

上手建议先做三件事:把 16 个姓名集读出来,看清每个集对应哪个人口维度;确认 notes-base.csv 里人名标记的格式,理解 NAME-n 里的性别位怎么用;看 polysemy 目录里多义姓名的构造方式,判断它在你的应用场景里占多大比例。三件事都关系到后面怎么解读那 9 种方法的输出。

§1 它是什么:把"去标识是否公平"变成可测的量

1.1 一句话定义与三个限定

这是一套用受控构造评估去标识系统公平性的评测资源。三个限定词各划掉一批用法。

「受控构造」意味着文本不是直接从病历里拿来的,而是从真实病历整理成模板后再与姓名集组合。这样做的目的是控制变量——同一段文本换不同的名字,可以单独观察名字的影响。

「评估」意味着它的主要用途是诊断而不是训练。1.6 万份注记只有 100 种文本骨架,用它训出的模型在多样化的真实文本上未必好用。

「公平性」意味着它关心的不是平均性能,而是分组性能的差异。9 种方法在同一批注记上跑,比的是谁在哪些群体上掉得更多。

1.2 模板法的构造逻辑

理解这套数据的核心在于理解模板法。做法分三步。

第一步,取真实文本。 从 MIMIC-IV 预发布版本里取出院小结。选预发布版是关键——研究开展时这些文本尚未公开,任何被评估的模型都不可能在训练中见过它们。

第二步,改写成模板。 把人名替换成 NAME-{序号}{性别} 的标记。序号从 1 起,标识模板中第几个不同的名字;性别位取 A、M、F 三值,M 与 F 表示从上下文可推断性别,A 表示不能。其余 PHI 按 HIPAA Safe Harbor 的十八类替换。

第三步,注入姓名。 把 16 个姓名集轮流填进模板的标记位,生成大量注记。每份注记都带金标准标签,标明每个姓名的位置。

三步下来,得到的是「文本骨架固定、姓名可变」的受控材料。这正是能分离变量的原因。

1.3 九个 PHI 类别与姓名位

模板里除了人名,还有九类 PHI 标记:AGE、CONTACT、DATE、HOSPITAL、ID、LANGUAGE、LOCATION、PROFESSION、OTHER。

类别 覆盖内容
AGE 具体年龄(超过 89 岁通常已被处理)
CONTACT 电话、邮箱、传真
DATE 日期与时间
HOSPITAL 医院与机构名
ID 病历号、住院号等标识符
LANGUAGE 语言相关表述
LOCATION 地址与地理描述
PROFESSION 职业
OTHER 其他识别信息

姓名单独用 NAME-n 标记而不归入 OTHER,是因为这项研究的对象就是姓名。这个区分让姓名可以独立统计,也让姓名之外 PHI 的错误不干扰姓名的评估。

1.4 与全类去标识语料的区别

库内已有护理笔记去标识金标准语料(rid 980),两者常被并提,但目标不同。

维度 护理笔记去标识语料 本数据集
文本来源 真实护理笔记 出院小结改写成的模板
规模 2,434 份 100 份模板 × 16 姓名集
标注对象 全部 PHI 类别 姓名单独标记
主要用途 训练与评测去标识模型 诊断去标识的群体差异
是否受控 否,真实分布 是,姓名受控注入

一句话分辨:前者问"你能把 PHI 都找出来吗",后者问"你在所有人群上都找得一样好吗"。两个问题都需要,但答案不能互相替代。

1.5 为什么性别位要分 A、M、F

这个细节看着不起眼,实际是设计上的一个考量。

去标识系统在判断一个字符串是不是人名时,常借助性别线索——“Mary” 大概率是女性名,“David” 大概率是男性名。若模板里所有名字都标注了性别,评估就会高估系统的能力,因为它可以走这条捷径。

设 A 类(不可判)就是为了保留那些既可能是名也可能是姓、或跨性别通用的字符串。这类名字在真实文本里存在,且是最难判的一类。把它们单独标出来,才能测出系统在缺少性别线索时的真实水平。

§2 数据构成:三目录、四类文件

2.1 总体结构

发布包分三个目录,各司其职。

目录 内容 用途
general/ 主实验的输入、标签、9 种方法输出 总体性能评估
polysemy/ 多义姓名的输入、标签、方法输出 难例专项评估
finetune/ spaCy 与 NeuroNER 微调的数据 微调实验

结构上 general 是主干,另两个是专项。做基础评估只碰 general 就够。

2.2 general/ 的文件清单

文件 内容
input/names-first.csv 16 个姓名集的名
input/names-last.csv 16 个姓名集的姓
input/notes-base.csv 100 份手工整理的模板
input/notes-input.jsonl 全部注记(正文给出总量)
input/notes-label.jsonl 对应的金标准标签
Output/notes-{method}.jsonl 9 种方法的预测输出

这一组文件的组织方式很清晰:input 放材料,label 放答案,Output 放预测。三者行数应当一致,行序应当对应。加载时第一件事就是核对这三者的行数。

2.3 16 个姓名集的构造

姓名集沿四个维度变化,每集 20 个名字。

维度 取值
性别 男 / 女
族裔 按数据源可映射的族群分组
名字流行度 2000 年代频率排名 400 到 8,000 名区间
流行年代 1940 年代 / 1970 年代 / 2000 年代

四个维度组合出 16 个集,说明设计上做了取舍——不是全因子交叉,而是挑了有代表性的组合。

数据来源有三个:美国社会保障局的婴儿名数据、Tzioumis 的抵押贷款申请数据集、2000 年人口普查姓氏数据。前者提供名与年代流行度,中者提供族裔映射,后者提供姓的分布。

这个构造里有一处逻辑需要说清,否则容易误读「族裔」这一维。

条目页明确写道:按绝对频率排名取最流行的名字,在美国语境下全部落入白人族群。这句话的含义是,不能「为每个族群各取最流行的名字」——那样做得到的其实是同一种命名习惯的四个变体。解决办法是给非白人族群取中等流行度的名字(频率排名 400 到 8,000 之间),因为它们的命名分布较分散,中段才更有族群辨识度。

这个调整的代价是:四个族群的样本在流行度上不再对齐。白人组的高流行度与其他人组的中流行度是两个不同的分布,两者放在一起比较时,「族裔差异」与「流行度差异」混在一起,无法分离。好在设计上另设了白人组的中流行度集(第三、四、七、八、九、十、十一、十二集正是各族群的中流行度),使比较可以在同一流行度档内进行。这一点如果读漏,会以为跨族群比较是「最流行 vs 中流行」,从而把流行度效应误判为族裔效应。

姓氏的构造更简单:全部从 2000 年人口普查数据取,且假定姓氏的流行度相对固定,因此 1970 年代与 1940 年代的组直接沿用 2000 年代的白人最常见姓氏。这个假定在英文姓名里大致成立(姓氏的世代变化远小于名),但若移植到别的语言环境就不成立——中文的姓氏排名在半个世纪里变动很小,而某些移民社会的姓氏排名变动极快。

还有一处细节:名的集与集之间要保证互斥。条目页说明,同一性别同一年代的高流行度名字在集与集之间不重复。这条约束看起来只是避免数据泄漏,实际还有一个统计后果——它使得各集之间不能互相替代,任何跨集比较都必须意识到样本本身不同。

2.4 注记总量的构成

100 份模板 × 16 个姓名集 = 1,600 个组合。要得到一万六千份,说明每个组合平均生成了 10 份变体。

变体的差异在哪?条目页未明说。合理的推测是同一模板内多个姓名位(一篇小结通常出现多个名字)的不同填充组合,或同一姓名集内不同名字的替换。这个不确定性对评估影响不大,但对复现细节有影响——若你自己重新生成注记,得到的分布未必与发布的一致。

实际使用时不必重生成,直接用发布的整批即可。要注意的是它们的独立性有限:同一模板衍生的注记共享文本骨架,不能当作独立样本做显著性检验。

独立性这件事值得再算一笔。若按独立样本处理,一万六千份的样本量足以把任何微小的组间差异推到统计显著。但有效样本量其实取决于骨架数——100 份。两者相差一百六十倍,标准误因此被低估约十二倍以上(差值的平方根关系)。这意味着很多报告的「显著」在按模板聚类后可能不再显著。

一个稳妥的处理是把模板编号作为聚类变量,用聚类稳健的标准误重算;或者做分层自举:每次从 100 份模板里有放回地抽 100 份,连同其全部派生注记一起进入统计量,重复一千次以上得到置信区间。后一种做法更保守,也更容易解释给非统计背景的读者。

还有一层更隐蔽的相关性:同一姓名集内的 20 个名字共享族裔与流行度属性,同一模板内的多处姓名位共享上下文风格。这构成了两维的聚类结构,单一维度的聚类稳健标准误仍可能低估。真正严格的做法是双向聚类,或直接用置换检验——把姓名集标签在集之间随机置换,看观测到的组间差在置换分布中的位置。置换检验的好处是不需要假设独立性结构,代价是计算量大,且只能给出显著性而不能给效应量的置信区间。

2.5 polysemy/ 的构造

多义姓名子集的构造逻辑与主集不同,它专门针对"字符串既是人名也是普通词"这类难例。

文件组织与 general 平行:polysemies-input.jsonl、polysemies-label.jsonl、polysemies-{method}.jsonl。

这类样本的价值在于它能暴露上下文建模的弱点。一个只靠字符串匹配的系统在多义姓名上会大量误报;一个真正依赖上下文的系统应当能区分。两者的差距在这个子集上被放大。

2.6 finetune/ 的四种组合

微调实验是 2 类上下文 × 2 类姓名。

维度 取值
上下文 一般上下文 / 临床上下文
姓名 流行姓名 / 多样姓名

每种组合随机采样千份模板训练、百份验证。另生成 160 个多样姓名与 160 个流行姓名用于测试。

这个设计能回答两个问题:换上下文(从通用文本到临床文本)损失多少;换姓名分布(从流行姓名到多样姓名)损失多少。两者分开看,才知道性能下降主要来自领域迁移还是人群迁移。

2.7 标注的成本与规模

100 份模板的人工整理工作量是可估的。每份出院小结数百到上千词,要标出全部姓名位与九类 PHI,熟练者大概需要半小时到一小时。100 份合计五十到一百工时。

这个投入相对 1.6 万份注记的产出,杠杆率很高——这正是模板法的经济性所在。反过来说,若用真实文本标 1.6 万份,成本会是百倍。

理解这个杠杆率,也就理解了这套数据的适用范围:它擅长做受控对比,不擅长代表真实分布。

2.8 一份注记的形态

一份注记是原始文本加上姓名与 PHI 的位置信息。文本里保留 NAME-n 形式的占位标记,标签文件给出每个标记对应的实际姓名与类别。

这个设计让同一份注记可以有多种读法:把标记替换成实际姓名就是待去标识的输入;把标记当作答案就是金标准;把 9 种方法的输出叠上去就是对比视图。

三层读法共用一套材料,这是模板法的另一个好处——不需要为训练、评测、分析各准备一套数据。

§3 怎么拿到:凭证访问与三层依赖

3.1 获取路径

属 Credentialed 访问,流程与 MIMIC 系列一致。

环节 动作
前置 建议先取得 MIMIC-IV 的访问资质(模板源自其预发布版)
培训 完成 CITI「Data or Specimens Only Research」
协议 签署 PhysioNet Credentialed Health Data Use Agreement 1.5.0
核验 通过身份与机构核验
下载 在条目页 Files 区获取三个目录

前置条件虽是建议,但从合规角度应遵守:模板虽已改写,其行文结构与临床细节仍来自真实出院小结,受原库 DUA 约束。

3.2 地区不可用提示

条目页在部分地区显示「Data Not Available — Data is not available in your region due to legal or policy restrictions」。

这句限制的是下载。描述、结构、字段、姓名集构造方式、方法数量在页面上公开可读,本页所有数字都来自这些公开文本。做方法借鉴不需要凭证,跑评估才需要。地区限制由访问方所在地的法律或政策决定。

3.3 版本与 DOI

类型 DOI
版本 DOI(v1.0) 10.13026/63ab-qf77
最新版 DOI 10.13026/ngc0-0f54

注意版本号写作 v1.0 而非 v1.0.0,这与多数 PhysioNet 条目的命名习惯不同。引用时按官方写法照录。

3.4 三层依赖关系

这套数据的依赖链比多数条目长,值得画清楚。

层 内容 来源
第一层 出院小结原文 MIMIC-IV-Note v2.2 与 MIMIC-IV 预发布版
第二层 100 份模板 作者人工整理
第三层 1.6 万份注记与预测 模板 × 姓名集 × 9 种方法

三层之间是加工关系,不是并列关系。这意味着如果原文有变更(MIMIC-IV 版本更新导致笔记内容调整),第二层不会有变化——模板是人工固化的,不随原库更新。这一点让数据稳定,也让它与原文的对应关系可能随时间脱节。

实际上这不构成使用障碍,因为模板本身已经是独立材料;但若有人想验证「模板是否忠实于原文」,需要拿对应版本的原文比对。

3.5 存储与加载

数据量不大。整批注记按每份几百到上千词算,JSONL 文件在百 MB 级;9 种方法的输出与之相当。finetune 目录因含微调数据会更大一些。

加载需要注意 JSONL 的一处特性:它按行解析,一行一条,没有容器结构。好处是可以流式读、不用一次进内存;坏处是一旦某行格式损坏,整批读取会中断,且报错位置不直观。稳妥做法是先逐行解析、捕获异常并记录行号,统计损坏行数,再对完好部分做分析。

标签文件与输入文件的对应关系也要先验证。两者应当是同一顺序的平行结构,但发布的文件未必保证这一点。验证方法是各取前若干条,比对第一条的文本里出现的姓名位数量与标签里标注的数量是否一致。若不一致,说明顺序错位,后续所有指标都会错。

预测输出文件是第三个需要核对的。每个方法一个文件,命名规则是 notes-{方法名}.jsonl。方法名是字符串,若某个方法名里含特殊字符或大小写不一致,按名索引时会漏。批量处理时应当先列目录、把方法名当作变量而不是硬编码。

还有一个性能上的注意点:9 个方法各跑一遍指标,若每个方法都要重新读全部注记,IO 会成为瓶颈。更好的做法是把注记与标签先读一次进内存(百 MB 级完全装得下),再对每个方法只读其预测结果。这样总耗时主要落在指标计算而非读取上。

加载没有特殊要求。JSONL 可以逐行读,也可以整文件读成列表。注意行序:input、label、Output 三组文件的行序应当对应,做批量比对时按行号取即可;若某方法输出有缺行,按行号对齐会错位,需先检查行数是否一致。

§4 质量与已知问题:四条官方边界与六个实操坑

4.1 官方边界清单

条目页在伦理与局限两处列出了边界,集中在四个方面。

第一条:姓名集与族裔映射的来源限制。 族裔归属依赖抵押贷款申请的自我报告数据,只覆盖有经济能力申请贷款者这一较特权子集。这意味着姓名集代表的不是全人口,而是一个偏中产的切片。即便在这个切片内,去标识差距仍然存在——这一点是作者特意强调的。

第二条:仅限美国语境。 姓名分布、族裔构成、命名传统都与美国相关。结论在其他地区需重新验证。

第三条:类别本身的局限。 标准化的自我报告族裔分类与二元性别组不能穷尽真实人群。跨性别与非二元群体未纳入,可能使用性别中立名或在不同记录中用法不一。

第四条:使用范围的明确禁止。 姓名集不得用于任何人口统计推断,不得作为分类系统或训练集。作者要求按美国管理与预算办公室创造这些类别的初衷使用——监测与纠正社会不平等。

4.2 六个实操坑

坑一:把注记当独立样本做显著性检验。 1.6 万份注记只有 100 种文本骨架,共享骨架的注记高度相关。把它们当独立样本算 p 值,会把标准误算小,得出过度自信的结论。正确做法是按模板聚类做检验,或用分层自举。

坑二:把模板当真实病历。 模板保留了行文结构,但人名、日期、机构名全部替换过,部分表述经过整理。用它分析临床内容(比如诊疗模式)会得到失真的结果。它的用途是评测去标识,不是研究临床。

坑三:用 1.6 万份训模型再报真实场景性能。 受控生成的文本多样性远低于真实病历。在它上面训练、在它上面测试,指标漂亮;换到真实文本会明显下降。要用它训练,必须另外留一批真实文本做验证。

坑四:忽略姓名标记的序号语义。 NAME-n 里的 n 是模板内唯一编号,同一模板里 n=1 与 n=2 是两个不同的人。若把不同模板的 NAME-1 当成"同一个人",后续分析会错。

坑五:把性别位当医学性别。 A、M、F 指的是"从上下文能否推断性别",是文本线索,不是患者的性别认同。用它做性别分组研究属于误用。

坑六:混用 general 与 polysemy 的指标。 两个目录的样本构造不同,前者是常规难度、后者是难例。把两者的准确率放在一张表里比较,会得出误导性结论。

4.3 假设—支持—反对

假设 支持 反对
模板法能代表真实文本的姓名识别难度 文本骨架来自真实出院小结 姓名是注入的,与上下文的语义搭配未必自然
16 个姓名集覆盖了主要人口维度 四维度交叉,每集 20 名 16 集不足以覆盖美国全部族裔与混合命名
预发布版本保证了评估无污染 研究时文本未公开 后续版本公开后,新模型可能已见过同源文本
9 种方法的性能差距可归因于方法设计 同一批注记、同一批标签 各方法的训练数据不同,差距也可能来自数据而非设计
多义姓名子集能分离上下文能力 专门构造的难例 难例的比例与真实文本中的比例未必一致

4.4 隐私与去标识

这套数据本身是去标识研究的材料,其隐私处理有两层。

第一层是原文侧:MIMIC-IV 已完成 HIPAA 级去标识,模板在此基础上进一步把姓名与九类 PHI 替换为标记或合成值。

第二层是姓名侧:16 个姓名集是合成构造,不对应任何真实患者。名字来自公开的统计数据库(社会保障局、人口普查),姓氏来自公开数据集。

两层叠加后,数据里不存在可识别的真实个人。但作者仍要求凭证访问,原因是文本结构与临床细节本身可能构成准标识——某些罕见病例的描述组合起来有识别风险。

4.5 哪些地方做得扎实

预发布版本的选用是最见功力的一处。用已公开的文本做去标识评估,等于让被评估者提前看过考题。选预发布版把这个漏洞堵上了,这在同类研究里并不常见。

四维度姓名集的构造也难得。多数公平性研究只按族裔分组,这里把性别、族裔、流行度、年代四个维度都纳入,使"到底哪个因素在起作用"可以被拆解。

明确的使用禁令值得肯定。作者没有说"本数据仅供参考",而是具体写了"不得用于人口统计推断",并给出了应遵循的使用初衷。这种明确性在数据发布里少见。

4.6 结论强度分级

判断 强度 依据
100 份模板、50 男 50 女、16 姓名集、每集 20 名 A 条目页明确给出
一万六千份注记、9 种方法 A 条目页明确给出
四维度构造与三个数据源 A 条目页伦理与描述节
九个 PHI 类别与 NAME 标记格式 A 条目页原文
大多数方法存在统计显著差距 A 条目页结论原文
差距的具体幅度 D 条目页未给数字,需查论文
9 种方法的具体名单 C 条目页只说"公开与私有",未逐一列出

§5 能做什么:四类任务与可执行骨架

5.1 四类任务

任务 输入 输出 可行性
去标识方法的公平性审计 已有方法 + 1.6 万注记 分组性能表 高,设计用途
姓名识别模型的难例诊断 polysemy 子集 误报与漏报结构 高
微调的领域与人群迁移实验 finetune 四组合 两条迁移损失 高
中文场景的实验设计移植 方法论 新姓名集 + 新模板 中,需重建材料

5.2 第一类:公平性审计的标准流程

这是最主要用法,流程可以固定下来。

第一步  选定被审方法
  -- 用发布包里已有的 9 种方法做基线,或加入自己的方法
  -- 统一输入格式:把注记喂进去,拿到预测的姓名区间

第二步  逐份比对
  -- 按注记逐份比对预测区间与金标准区间
  -- 精确匹配与重叠匹配各算一遍,两者差距反映边界判定能力

第三步  分组统计
  -- 按姓名集分组:16 组各自的精确率、召回率、F1
  -- 按性别位分组:A、M、F 三组
  -- 按流行度分组:排名 400-8000 区间内的分布不应假设均匀

第四步  显著性检验
  -- 按模板聚类,不要按注记独立
  -- 组间比较用聚类稳健的标准误,或分层自举
  -- 报告效应量而不只报 p 值

第五步  归因
  -- 若某组召回率低,先看该组的姓名是否更多为多义
  -- 再看该组的姓名长度、是否含连字符、是否含非常见拼写
  -- 不要把差异直接归因于族裔,中间可能隔着若干文本因素

第五步是最容易被跳过也最要紧的。族裔与"名字的形态特征"高度相关但不相等。若某组的低召回其实来自"该组名字更多含连字符",那么改进方向是处理连字符,而不是按族裔做特殊处理。

5.3 第二类:多义姓名的难例诊断

polysemy 子集的价值在于它能暴露模型是否真的在看上下文。

诊断的做法是对比两组指标:常规姓名上的 F1 与多义姓名上的 F1。两者的差是"上下文依赖度"的粗略度量。差越大,说明模型越依赖字符串特征而非上下文。

进一步可以看误报的方向。多义姓名的错误通常两种:把普通词误判成人名(假阳性),或把人名漏掉(假阴性)。前者会让文本被过度遮盖,后者会让 PHI 残留。两者在隐私上的严重程度不同——漏掉更严重,因为遮盖过度只是损失可读性。

5.4 第三类:微调的迁移实验

finetune 目录的四组合可以直接复现两条迁移损失。

实验 训练 测试 测什么
上下文迁移 一般上下文 临床上下文 换领域的损失
姓名迁移 流行姓名 多样姓名 换人群的损失
双迁移 一般上下文 + 流行姓名 临床上下文 + 多样姓名 两者叠加
反向对照 临床 + 多样 一般 + 流行 检查方向性

第五条反向对照常被忽略,但它能发现问题。若 A→B 掉 10 个点而 B→A 掉 2 个点,说明两边的难度不对称,单向实验会误判。

四条实验的解读方式需要分开说,因为它们的失败含义完全不同。

上下文迁移掉分,说明的是模型对文体的依赖。一般上下文(维基百科文章)与临床上下文(病程叙述)在句式、缩写密度、专有名词比例上差别很大。若模型在后者上明显变差,意味着它学到的姓名识别线索里有一部分是文体特有的,换文体就失效。这类失败可以通过增加临床文体的预训练数据缓解。

姓名迁移掉分,说明的是模型对命名习惯的覆盖不足。流行姓名的字符组合在训练语料里出现得多,多样姓名的组合出现得少。若在多样姓名上变差,意味着模型对低频拼写的泛化不够。这类失败不能靠加数据量解决,因为低频拼写本身就是长尾,只能靠字符级建模或显式的拼写特征。

双迁移掉分是两者的叠加,但叠加不必是线性。若单迁移各掉 3 个点而双迁移掉 15 个点,说明两个因素有交互——模型在既换文体又换人群时出现了未曾预料的失效。这种交互作用正是最值得报告的结果,因为它揭示了单一维度的实验看不到的脆弱点。

反向对照的作用是标定基线难度。临床 + 多样的组合训练、在一般 + 流行上测试,如果表现反而更好,说明前一个组合更难,两个方向的损失不可直接相减。这种情况下只能报两条曲线,不能报一个「迁移损失」的差值。

还有一个工程细节:微调实验的训练集只有千份模板、验证百份,规模很小。小样本微调的结果对随机种子极其敏感。若只跑一个种子,结论的稳健性无法判断。条目页提到输出文件命名里带种子(形式为方法名加种子号),这说明作者至少跑了多个种子;复现时也应当跑至少三到五个种子,报均值与区间,而不是只报一个数。

5.5 第四类:中文场景的移植设计

这套数据的最大价值可能是方法论,而不是数据本身。移植到中文需要重建三样东西。

姓名集:中文姓名的族裔分布与英文完全不同——姓氏集中度高(前百家姓覆盖大部分人口),名的用字有强烈的年代与地域特征。要建公平性评估,得先做中文姓名的人口统计画像。

模板:中文病历的行文结构与英文差别大,特别是主诉、现病史、病程记录的写法。直接用翻译的模板会失真。

PHI 类别:HIPAA 的十八类不完全适用。中文文本里的身份证号、住院号格式、地址层级(省市区街道)都需要重新定义。

三样重建后,实验设计可以照搬:模板 × 姓名集 × 多方法,比分组性能。

中文移植有三处具体的坑,值得先说清楚,免得走到一半才发现。

第一处,姓名的可分性远高于英文。 英文名字的族裔信号主要来自名字本身(姓氏稍弱),而中文的姓几乎直接编码了血缘与地域。这意味着按姓氏分组时,组间差异会远大于英文场景,模型学到的可能是「姓氏的字符结构」而非「命名习惯」。要避免这一点,需要在构造姓名集时控制姓氏的字符复杂度与笔画数,让各组在这些表面维度上分布相近。

第二处,中文姓名识别本身是另一套技术。 英文的姓名识别依赖大写线索,中文没有大小写,边界判定完全靠上下文与词典。这意味着拿中文去评测英文方法的思路行不通——必须用中文的基线方法,而这些方法的性能差距来源可能与英文完全不同。移植时不能指望结论可以类比,只能指望方法可以复用。

第三处,少数民族姓名的覆盖面问题。 中文病历里的姓名包含大量少数民族姓名,其音节结构(多字、无固定姓氏、音译用字不固定)与汉族姓名差别很大。若姓名集只覆盖汉族常见姓名,评测会系统性地高估方法在真实病历上的性能。这一点在中国场景下比在英文场景下更严重,因为英文的 16 个姓名集至少覆盖了四个族裔。

这三处之外还有一处工程问题:中文病历的格式在不同医院、不同科室之间差异极大,模板的可迁移性比英文更差。英文的出院小结有相对稳定的章节结构(主诉、现病史、用药、随访),中文则从结构化表单到自由叙述并存。做模板时必须明确声明模板来自哪一类文本,否则评测结果无法比较。

移植的成本估算:姓名集构造约需数周(需人口统计数据与清洗),模板整理约需数月(需脱敏授权与临床人员参与),PHI 类别重定义约需数周(需对照国内法规)。三者相加是一个完整的独立项目,不是一次周末移植。

5.6 不适合用它做的事

想法 为什么不行
研究临床诊疗模式 文本是改写过的模板
训一个上线用去标识系统 100 种骨架,多样性不足
用姓名集推断人口统计 作者明确禁止
分析真实文本的姓名分布 姓名是注入的,不是自然分布
做跨语言比较 仅英文、仅美国
做性别认同相关研究 性别位是文本线索,非认同
当作 NER 基准与通用语料比 构造方式不同,不可比

5.7 一个可复用的审计报告模板

项 内容
被审方法 名称、版本、训练数据规模
基线方法 是否含发布包的 9 种
匹配标准 精确 / 重叠
分组维度 姓名集、性别位、流行度
显著性方法 聚类稳健或分层自举
效应量 组间 F1 差的最大值与分布
归因分析 是否排查了连字符、长度、多义等文本因素
局限声明 是否说明仅限美国语境

5.8 DAIMS 24 项检查

# 维度 判定 说明
1 数据集名称 是 Annotated MIMIC-IV discharge summaries for a study on deidentification of names
2 版本号 是 v1.0,2023-07-05
3 持久标识符 是 DOI 10.13026/63ab-qf77
4 最新版标识 是 10.13026/ngc0-0f54
5 发布机构 是 PhysioNet
6 联系方式 是 条目页 contact + GitHub 仓库
7 许可条款 是 Credentialed Health Data License 1.5.0
8 访问条件 是 凭证 + CITI + DUA
9 引用格式 是 条目页给出
10 配套论文 是 FAccT '23,DOI 10.1145/3593013.3593982
11 数据来源机构 是 Beth Israel Lahey Health,经 MIMIC-IV
12 采集时间段 是 2017–2019
13 地理范围 是 美国
14 人群描述 是 50 男 50 女模板,三项人口学维度
15 样本量 是 100 模板、16 姓名集、一万六千份注记
16 文件清单 是 三目录结构清晰
17 字段字典 部分 NAME 与九类 PHI 标记有定义,JSONL 字段未逐列说明
18 缺失值说明 否 未涉及
19 去标识化方法 是 HIPAA Safe Harbor,逐类列出
20 伦理审批 是 伦理节含三条局限声明
21 已知局限 是 三条,明确列出
22 使用案例 是 四类用途
23 更新计划 否 未说明
24 错误报告渠道 部分 GitHub 仓库,无专用流程

合计:是 19 / 部分 3 / 否 2 = 20.5 / 24。缺项集中在字段级文档与更新承诺,与多数评测类数据发布一致。

§6 常见误读与引用陷阱

6.1 误读对照表

常见说法 实际口径 证据位置
是 100 份真实病历 是改写成的模板,人名与九类 PHI 已替换为标记或合成值 条目页描述
一万六千份等于一万六千个不同病例 100 种文本骨架 × 16 个姓名集的组合 构造说明
可用于研究姓名的人口分布 作者明确禁止用于人口统计推断 伦理与使用说明
结论适用于任何语言 仅英文、仅美国语境 伦理节局限
性别位 A/M/F 是患者性别 是从上下文能否推断性别的标记 标记格式定义
9 种方法都是公开可得的 官方描述为公开与私有方法混合 描述原文
在它上面训模型就能上线 100 种骨架,多样性不足 构造性质
多义姓名与常规姓名可混算指标 两者难度不同,需分开报 目录分离设计
性别二元划分已覆盖全部人 跨性别与非二元群体未纳入 伦理节局限
族裔归属是个人身份 是从贷款申请自我报告数据映射的统计构造 数据来源说明
模板忠于原文可逐字比对 经人工整理,表述有调整 构造流程
规模越大统计功效越高 共享骨架的注记高度相关,不能按独立样本算 构造性质

6.2 技术性陷阱

陷阱一:按注记独立做检验。 1.6 万份注记共享 100 种骨架,同一骨架衍生的注记高度相关。按独立样本算标准误会把区间压窄。正确做法是按模板聚类、或对模板做自举重采样。

陷阱二:把 NAME 序号当全局患者编号。 序号是模板内唯一的。跨模板比较必须带上模板标识,否则 NAME-1 会被误认为同一人。

陷阱三:混淆 input 与 label 的行语义。 input 是带标记的文本,label 是标记位置的答案。有的实现把两者合在一个文件里,若误把 input 的行当成文本原文,会把标记当真实字符串。

陷阱四:把方法输出当可执行系统。 发布包里的 9 种方法是预测结果文件,不是可运行的程序。要复现这些结果需自行实现方法,或从论文与仓库找实现。

陷阱五:忽略版本号写法。 这套数据写作 v1.0,不是 v1.0.0。引用与检索时按官方写法,否则可能匹配不到条目。

陷阱六:把 finetune 的千份训练样本当全部。 那只是微调实验的采样量,不是训练集的完整规模。若要自己微调,可以用更大的子集,但需说明与官方设置不同。

§7 在生态中的位置

7.1 三类去标识资源的划分

按用途排一下,能看清这套数据的位置。

类型 代表 主要用途
金标准语料 护理笔记去标识语料(rid 980) 训练与评测模型
受控评测集 本数据集 诊断群体差异
通用工具与其训练集 各类去标识工具自带数据 直接部署

一句话分辨:金标准语料问"能不能找全",受控评测集问"是不是对所有人都一样好"。前者服务性能,后者服务公平性。

这个区分在实践里很重要。一个团队做去标识系统,通常先在有金标准标注的真实语料上训到可用,再用受控评测集检查是否有群体性短板。两步顺序不能颠倒——先查公平性而系统本身不可用,没有意义。

7.2 在算法公平性研究中的位置

医疗 AI 的公平性研究多集中在诊断模型(比如皮肤病变分类在不同肤色上的差异)。去标识这类"基础设施层"的公平性问题讨论得少,原因有两个。

一是它不直接影响诊疗。去标识做得好不好,患者感知不到。

二是它的后果是间接的。姓名残留意味着隐私风险,而隐私风险在人群间不均等分配——被漏检更多的群体,其数据更容易被再识别。这是一种结构性的不平等,但不表现为某个具体的不良事件。

这套数据的价值就在于把这个间接后果变成可测的数字。它让"去标识是否公平"从一个伦理讨论变成一个有指标的技术问题。

7.3 与中文去标识工作的关系

中文去标识的难点与英文不同,主要在三点。

姓名识别:中文姓名的姓氏集中度高,识别相对容易;但名的用字自由度高,且存在大量同名。更麻烦的是中文文本里人名常不带称谓,边界判定依赖上下文。

其他 PHI:身份证号、住院号、地址的格式与英文差异大,需要专门的正则与模型。

语料稀缺:公开的中文临床文本极少,标注成本高。

这套数据的三点经验可以借鉴:用预发布/未公开的文本避免评估污染、用模板法降低标注成本、用受控姓名集分离变量。第三点尤其值得移植——中文也可以构造受控姓名集,覆盖不同地域、年代、民族的命名习惯。

7.4 库内互链点

相关条目 关系
MIMIC-IV-Note(rid 47) 直接上游,出院小结来源
护理笔记去标识语料(rid 980) 同类任务的金标准语料,可用于训练侧
MedDec(rid 1296) 同批出院小结上的片段标注,可对照两种标注粒度
MIETIC(rid 1294) 同为 MIMIC 文本派生资源,但用途是分诊语料

7.5 对国内数据治理的参照

这套数据背后有一套制度安排,值得对照。

第一是培训前置。 CITI 培训不是形式,它把"什么是 PHI""为什么不能尝试再识别"变成准入条件。国内多数数据共享平台没有等价的强制培训。

第二是使用禁令的具体化。 作者不是笼统说"合理使用",而是写明"不得用于人口统计推断"。这种具体性让违规可判定。

第三是评估污染的自觉。 选用预发布文本这件事,体现的是一种研究规范:评测材料不应是被评测对象的训练素材。这个自觉在快速迭代的领域里容易被忽略。

三点都不涉及技术,但它们决定了数据资源能不能被长期信任。

还可以再补一点更实操的对照。国内医院在出院小结对外提供前,通常由病案室做一轮人工脱敏,流程是「按规则找、逐条改、双人复核」。这套流程的问题不在认真程度,而在不可审计:改了什么、漏了什么、不同人做得是否一致,都没有留痕。

这套数据的做法提供了另一种可能:把脱敏质量的评估变成可重复的实验。做法是拿一批已脱敏的文本,用多个工具各跑一遍,比对它们的输出差异;差异大的位置就是规则模糊或工具薄弱的地方,人工重点复核这些位置。这样人力被用在最需要的地方,而不是平均分摊到全文。

更进一步,可以把自己的工具放进同一批注记里跑,与公开的九种方法同台比较。这样得到的不是「我们的工具准确率 95%」这种无法验证的数字,而是「在同一批材料上,我们的工具在哪些人群上弱于基线、弱多少」。后一种表述对采购决策与改进方向都更有用。

这件事的前提是有一批带金标准的注记。中文目前缺这类资源,而这恰恰是最值得先做的基础工作。

§8 总结:一份评测资源的用法与边界

8.1 适用与不适用

适用 不适用
去标识系统的群体差异审计 研究临床诊疗模式
多义姓名的难例诊断 训练上线系统
领域与人群迁移实验 推断人口统计分布
中文场景的实验设计移植 跨语言比较
去标识合规的方法学讨论 性别认同相关研究
姓名识别模型的能力边界刻画 与通用 NER 基准横向比

8.2 三句话

第一句,它把"去标识是否公平"从伦理讨论变成可测指标,方法是把姓名从文本里解耦出来,单独观察。

第二句,它的核心技术选择是预发布文本加模板法:前者保证评估无污染,后者让 1.6 万份注记的构造成本降到可行。

第三句,它的边界写在两处:材料只代表美国语境,用途被明确限定在监测不平等而非人口分类。

§9 术语与口径速查

9.1 缩写

缩写 全称 中文 备注
PHI Protected Health Information 受保护健康信息 HIPAA 定义
HIPAA Health Insurance Portability and Accountability Act 健康保险流通与责任法案 Safe Harbor 为其去标识标准
Safe Harbor — 安全港条款 列明十八类须去除的标识
FAccT ACM Conference on Fairness, Accountability, and Transparency 公平、问责与透明会议 配套论文出处
NER Named Entity Recognition 命名实体识别 姓名识别属此范畴
polysemy — 多义 此处指字符串既是人名也是普通词
NeuroNER — 一个命名实体识别工具 微调实验对象
spaCy — 一个 NLP 库 微调实验对象
MIMIC-IV Medical Information Mart for Intensive Care IV 重症监护医学信息库第四版 文本来源
DAIMS Data Attribution and Integrity Metadata Standard 数据归属与完整性元数据标准 用于 §5.8
DUA Data Use Agreement 数据使用协议 凭证访问必签

9.2 口径对照

说法 本页采用的精确口径
模板数 100 份,50 男 50 女
姓名集 16 组,每组 20 个名字
注记数 一万六千份,由模板与姓名集组合生成
方法数 9 种,公开与私有混合,未逐一列名
PHI 类别 姓名单列,另有九个其他类别
年份 原文 2017–2019
版本 v1.0(非 v1.0.0)
性别位 A/M/F,指上下文可推断性

§10 事实清单与附录

10.1 事实清单

  1. 英文全名:Annotated MIMIC-IV discharge summaries for a study on deidentification of names。
  2. 发布平台:PhysioNet,v1.0,2023-07-05。
  3. DOI(版本):10.13026/63ab-qf77。
  4. DOI(最新):10.13026/ngc0-0f54。
  5. 作者:Lim S.、Xiao Y.、Johnson A.、Moukheiber D.、Moukheiber L.、Moukheiber M.、Ghassemi M.、Pollard T.。
  6. 访问级别:Credentialed。
  7. 许可:PhysioNet Credentialed Health Data License 1.5.0。
  8. 模板:100 份,50 份男性患者、50 份女性患者。
  9. 原文来源:MIMIC-IV 预发布版本的出院小结,Beth Israel Lahey Health 2017–2019 年记录。
  10. 姓名集:16 组,每组 20 个名字。
  11. 姓名集维度:性别、族裔、名字流行度、流行年代。
  12. 流行度区间:2000 年代频率排名 400 到 8,000。
  13. 年代维度:1940 年代、1970 年代、2000 年代。
  14. 姓名数据源:美国社会保障局婴儿名、Tzioumis 抵押贷款申请数据、2000 年人口普查姓氏数据。
  15. 注记数:一万六千份。
  16. 方法数:9 种公开与私有去标识方法。
  17. 姓名标记格式:NAME-{序号}{性别},性别取 A/M/F。
  18. 其他 PHI 类别:AGE、CONTACT、DATE、HOSPITAL、ID、LANGUAGE、LOCATION、PROFESSION、OTHER,共九类。
  19. 目录:general/、polysemy/、finetune/。
  20. 微调组合:2 类上下文 × 2 类姓名,每种采样千份训练、百份验证。
  21. 微调测试姓名:160 个多样姓名、160 个流行姓名。
  22. 核心结论:多数方法在人口统计维度存在统计显著的性能差距。
  23. 配套论文:In the Name of Fairness: Assessing the Bias in Clinical Record De-identification,FAccT '23,DOI 10.1145/3593013.3593982。
  24. 代码仓库:github.com/xiaoyuxin1002/bias_in_deid。
  25. 资助:NIH R01EB030362(NIBIB)。

10.2 附录 A:判断某个用法是否成立

想做的事 前置判断 结论
审计去标识方法的群体差异 是否按模板聚类做检验 聚类后成立
诊断多义姓名难例 是否与常规姓名分开报 分开后成立
做迁移实验 是否做了反向对照 加入后成立
训一个去标识模型 是否另有真实文本验证 有验证才成立
推断人口分布 是否获授权 明确禁止
分析临床内容 模板是否忠于原文 不成立
移植到中文 是否重建姓名集与模板 重建后成立
与通用 NER 基准横向比 构造是否可比 不可比

10.3 附录 B:字段语义的四处易错点

字段/概念 字面理解 实际含义
NAME-n 第 n 个姓名 模板内唯一序号,跨模板无意义
性别位 M/F 患者性别 从上下文可推断的文本性别线索
A 类 未知 无法从上下文推断性别
注记数一万六千份 一万六千个独立样本 100 种骨架的组合,相关性强

10.4 附录 C:逐项证据链

事实 证据源
100 模板、50 男 50 女 PhysioNet 条目描述页
16 姓名集、每集 20 名 同上
四维度与三个数据源 同上伦理与描述节
一万六千份注记、9 种方法 同上
姓名标记格式与九类 PHI 同上
三目录与文件名 Files 区
微调组合与采样量 同上
核心结论 同上摘要原文
三条局限 同上伦理节
论文出处与 DOI 同上引用区
资助编号 同上致谢

10.5 附录 D:引用格式

Lim, S., Xiao, Y., Johnson, A., Moukheiber, D., Moukheiber, L., Moukheiber, M.,
Ghassemi, M., & Pollard, T. (2023). Annotated MIMIC-IV discharge summaries for a
study on deidentification of names (version 1.0). PhysioNet. RRID:SCR_007345.
https://doi.org/10.13026/63ab-qf77
Xiao, Y., Lim, S., Pollard, T. J., & Ghassemi, M. (2023).
In the Name of Fairness: Assessing the Bias in Clinical Record De-identification.
Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency.
https://doi.org/10.1145/3593013.3593982

10.6 附录 E:开箱检查清单

项 确认要点
三组文件行数 input、label、Output 是否一致
姓名标记 NAME-n 格式是否与文档一致
性别位分布 A、M、F 各占多少
姓名集映射 16 个集与四个维度的对应表是否存在
多义子集规模 polysemy 的样本量是否足够做分层
方法清单 9 种方法的具体名称能否从论文补全
模板复用 每个模板衍生多少注记

编辑说明

核验时点:2026-10-18。模板数、姓名集构造、注记规模、方法数、PHI 类别、标记格式、目录结构、许可、访问条件与三条局限均回读 PhysioNet 条目描述页(v1.0 与无版本号两个入口)原文。

核验方式:100 份模板与 50 男 50 女、16 个姓名集与每集 20 名、四维度与三个数据源、流行度排名区间 400–8000、三个年代、一万六千份注记、9 种方法、NAME-n 标记格式与九个 PHI 类别、三目录结构与文件名、微调四组合与千份、百份、一百六十三个采样量、核心结论原文与三条局限,全部以条目页文本为准;论文题名、会议与 DOI、代码仓库、资助编号取自条目页引用与致谢区。

口径边界:100 份为文本骨架数,不是样本数,本页在 §2.4、§4.2、§6.1 三处标明整批注记的相关性问题;「9 种方法」全程标注为公开与私有混合且未逐一列名,不代为补充名单;「性别位」一律表述为文本性别线索而非患者性别;族裔归属一律表述为从贷款申请自我报告数据映射的统计构造;差距幅度条目页未给具体数字,本页只记「统计显著」的定性结论,§4.6 将其标为 D 级并注明需查论文。

未覆盖内容:整批注记的具体生成规则(每模板衍生多少份、变体差异在哪)、9 种方法的名称与各自性能、各姓名集对应的人口维度明细、组间差距的具体百分点、JSONL 的逐字段说明、polysemy 子集的样本量,均未在条目页公开,本页不猜测;模板与原文的逐字对应关系无法从条目页确认,§3.4 已说明模板为人工固化、不随原库更新。

体例说明:本页按 v4 体例撰写,章节编号 §1–§10 连续,术语与口径集中在 §9,事实清单与附录集中在 §10。本页由「千方病案医数集」编辑部撰写,最终以数据库记录为准。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • deidentified-medical-text — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 命名实体识别 / 评测基准
  • primock57 — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 评测基准
  • trec-ct-2021 — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 评测基准
  • meddec — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 命名实体识别
  • real-mednlp — 共享标签:医疗NLP / 临床文本 / 命名实体识别 / 评测基准
  • annotation-opioid-use-notes — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 命名实体识别
  • mednli — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 评测基准
  • er-reason — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 评测基准
  • medsecid — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 评测基准
  • tcm-sd — 共享标签:医疗NLP / 电子健康记录 / 临床文本 / 评测基准

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集