Deidentified Medical Text — 2,434 份护理笔记的 HIPAA 去标识金标准语料库

INFOBOX — Deidentified Medical Text 一屏速览

维度	内容
本质	HIPAA 去标识软件 deid 的配套金标准评测语料（不是独立采集的临床数据集）
官方名	Deidentified Medical Text（PhysioNet 词条名）
载体	physionet.org/content/deidentifiedmedicaltext/1.0/，Version 1.0
发布	2007-12-18（PhysioNet 词条页）；配套论文 BMC 2008
团队	MIT 计算生理学实验室（LCP）+ Harvard-MIT HST + MIT CSAIL
规模	2,434 份护理笔记 / 163 名患者 / ≈334,000 词 / 1,779 处 PHI
来源	MIMIC-II 数据库随机抽取子集
流水线	3+ 名临床专家独立复核 → 高灵敏度算法补漏 → 第 4 名专家裁决 → 真实感替代数据重标识
金标准	recall ≈1.0 / precision ≈1.0（“almost perfect”）
类别	NAME / DATE / LOCATION / PHONE / AGE>89 / other（BMC 6 类）；工具解析 7 类
文件	id.text（替代后正文）/ id.res（标签化正文）；PHI 位置见 deid 软件包
获取	Credentialed Access（PhysioNet 认证 + CITI + DUA）
软件	deid v1.1（GPL 开源，可自由再分发）
历史地位	临床文本去标识领域最早的公开金标准之一，比 i2b2 2014 挑战赛早约 7 年
互链	mimic-iv-note(47)、i2b2-n2c2-nlp(14)、mtsamples(350)、medmentions(390)

§0 导读：这个数据集解决什么问题

如果把医疗 AI 比作一座城市，那么「数据能不能共享」就是这座城市的水电煤——而横在所有临床文本数据共享面前的第一道闸门，不是伦理审查，也不是算力，而是 PHI（Protected Health Information，受保护健康信息）。

美国的 HIPAA（Health Insurance Portability and Accountability Act）隐私规则规定：任何可能用于识别患者身份的信息，都不得随意交换；而不含 PHI 的医疗数据则豁免于 HIPAA 限制，可以自由共享。于是，一个看似简单的技术问题变成了整个领域的瓶颈：

如何把一份充满姓名、日期、地址、床号、电话的护理笔记，可靠地变成「不含 PHI」的干净文本，同时又不把有价值的临床内容一起抹掉？

手工去标识（de-identification）成本高得吓人：一份份笔记逐字排查，既耗时又极易出错。要开发自动化软件，就必须先有一个标准答案——一段所有 PHI 都被精确标注出来的文本，用来客观、定量地衡量软件的检测性能。

Deidentified Medical Text（去标识医疗文本）正是这个「标准答案」。

它不是一份普通的临床数据集，而是一份 gold standard corpus（金标准语料库）：2,434 份来自 MIMIC-II 数据库的 ICU 护理进展笔记（nursing progress notes），每一处 PHI 都被三名以上的临床专家独立标注过，再由自动算法补漏，最后由第四名专家裁决所有分歧，并逐处替换为真实感但无保护的替代数据（surrogate data）。

它解决的核心问题可以概括为三句话：

1. 给了评测一个「锚」：没有金标准，任何去标识算法的 recall/precision 都只是自说自话；有了它，不同方法才能被客观比较。
2. 给了合规一个「样本」：它示范了在 HIPAA 约束下，一份「不含 PHI、可自由共享」的临床文本长什么样。
3. 给了方法学一个「起点」：它伴随 GPL 开源的 deid 软件一同发布，把「标注—算法—评测」三者打包成一套可复现的研究工具链。

发布至今已有十余年，临床文本去标识领域后来涌现出 i2b2/n2c2 2014 挑战赛、MIMIC-IV-Note 等大批资源，但几乎每一条研究脉络向上追溯，都会回到 2007 年 PhysioNet 上这份 2,434 份笔记的语料及其附带的 deid 软件。它是这个领域的「寒武纪化石」——不是最先进的，但奠定了后来的形态。

本条目将围绕它展开：它到底是什么、由谁如何造出来、硬数字有哪些、性能基准如何、如何获取、以及在千方病案医数集库内如何与相邻条目互链。

§1 数据集速览：十问十答

Q1：这是什么类型的数据？
一份临床自由文本语料库——具体说是重型监护病房（ICU）护士每班结束时录入临床信息系统的护理进展笔记（nursing progress notes）。属于文本/临床 NLP（medical NLP）数据集，不是影像数据。

Q2：它有多大？
2,434 份护理笔记，来自 163 名随机抽取的患者，约 334,000 词，含 1,779 处 PHI。测试环节另有 1,836 份笔记（约 296,400 词）的第二语料。

Q3：PHI 是什么？
Protected Health Information，受保护健康信息——HIPAA 定义的、任何可能用于识别个人身份的信息。在本语料中包括姓名、日期、地点、电话、年龄（>89 岁）等类别。

Q4：它的「金标准」成色如何？
语料被认定为拥有近完美的 recall（1.0）与 precision（1.0）——因为每一处 PHI 都经过多轮人工 + 算法交叉复核。注意：这是对语料本身标注质量的描述，不代表任何算法达到 1.0。

Q5：笔记里的 PHI 去哪了？
被替换为真实感替代数据（realistic surrogate data）——即用看起来真实但实际无保护的身份信息填补。这样既去除了真实 PHI，又保留了文本的自然性，使其仍可用于算法训练与评测。

Q6：谁做的？
MIT 计算生理学实验室（Laboratory for Computational Physiology, LCP），与 Harvard-MIT 健康科学与技术部（HST）及 MIT 计算机科学与人工智能实验室（CSAIL）合作。PhysioNet 词条署名 Margaret Douglass, Bill Long, George Moody, et al.；正式论文由 Ishna Neamatullah 领衔的 10 人作者组发表。

Q7：什么时候发布的？
数据集条目于 2007 年 12 月 18 日在 PhysioNet 发布（Version 1.0），配套论文于 2008 年 7 月 24 日发表于 BMC Medical Informatics and Decision Making。

Q8：怎么获取？
Credentialed Access（资质认证访问）：注册 PhysioNet 账号 → 完成 CITI 培训课程 → 签署数据使用协议。门槛与 MIMIC-III/IV 相同。没有公开直链。

Q9：配套软件呢？
deid（v1.1，同样 2007-12-18 发布）——一个基于 Perl 的开源去标识软件包，包含词典、正则表达式、启发式规则和 PHI 位置明细文件。软件依 GPL 可自由再分发，与受限的语料形成鲜明对比。

Q10：它今天还有用吗？
有。它是临床文本去标识评测范式的奠基者，至今仍被 pyhealth、nedap/deidentify 等工具链作为基准语料引用；同时也是理解「为何医疗数据共享如此困难」的最佳教学案例。

§2 数据构成与规格

2.1 规模、来源与患者构成

本语料的数据源头是 MIMIC-II（Multi-Parameter Intelligent Monitoring in Intensive Care II） 数据库。构建者从中随机抽取了 163 名患者，并取用这 163 名患者的全部护理笔记，共得 2,434 份。

关键数字一览：

维度	数值
患者数	163（随机抽取）
笔记数	2,434
总词数	≈334,000 words
平均每患者笔记数	≈15 notes/patient
平均每笔记词数	≈120 words/note（富集前）
PHI 总数	1,779
平均每笔记 PHI 数	≈0.64 pieces/note（富集前）

为什么强调「163 名患者的全部笔记」？ 因为护理笔记有显著的患者内相关性——同一患者的多次记录在语言习惯、反复出现的姓名日期上高度相似。若随机抽取笔记而非整患者，会造成数据泄漏式的评测乐观偏差。按患者整取（patient-level），保证了评测的独立性，这是该语料设计上的一个严谨之处。

2.2 笔记的文本形态与内容

这些护理进展笔记是非结构化自由文本（unstructured free text），由护士在每班结束时手工录入临床信息系统。内容涵盖：

• 患者病史观察
• 当前生理与心理状态
• 给药情况（medications being administered）
• 实验室检验结果
• 以及患者在 ICU 期间的病程（course in the ICU）等其他信息

这正是去标识任务最棘手的文本类型：自由、口语化、夹杂大量缩写与该机构特有的书写习惯，且PHI 与临床信息高度交织——一个日期既是隐私风险，也可能是关键病程节点。

2.3 人工富集（Enrichment）：99 份「魔鬼样本」

构建者做了一件对评测极有价值的事：从 2,434 份笔记中随机挑选 99 份进行人工富集（manual enrichment），策略性地插入两类内容：

1. 特别难以去标识的文本——例如「Wilson’s disease（威尔逊病）」「Parkinson’s tremor（帕金森样震颤）」这类本身就是人名但并非 PHI 的医学名词。它们是去标识算法的经典「陷阱」：一个只会做人名匹配的算法会在这里大量误报（false positive）。
2. 更多 PHI 实例——主动增加隐私风险点。

这次富集一共新增了 211 处 PHI。也就是说，1,779 处 PHI 中约 12% 是人为注入的「测试点」。这种**对抗性设计（adversarial design）**让语料不仅衡量「能不能找到明显的 PHI」，还能衡量「会不会把专业术语误伤成 PHI」——后者恰恰是 precision（精确率）的关键。

2.4 文件构成与用法

语料以纯文本形式提供，核心两个文件：

文件	内容
id.text	2,434 份完全去标识的护理笔记，PHI 已替换为真实感替代数据
id.res	2,434 份笔记，PHI 被替换为对应的标签（tags）

另有与 PHI 位置相关的文件（如 id-phi.phrase，逐行给出 PHI 起止位置与类型）随配套的 deid 软件包释出。

这两个文件的设计暗含一个精巧的用法：id.text 是「去标识后的自然文本」，id.res 是「PHI 位置可被机器解析的标注文本」。研究者可据此对齐出每处 PHI 的跨度（span）与类型，进而构造 token 级 BIO 标注，用于训练/评测命名实体识别（NER）模型。这正是现代工具（如 pyhealth 的 PhysioNetDeIDDataset）的做法。

2.5 与 MIMIC 家族的边界

需要特别注意血统与不可回溯性：

• 本语料源自 MIMIC-II（第二代），而非现在流行的 MIMIC-III（rid 106）或 MIMIC-IV（rid 4）。
• 由于经过彻底的去标识与替代数据重标识，语料中的患者/笔记无法与任何 MIMIC 版本的原始记录直接对齐——这是去标识的题中之义，也是它作为「独立评测集」的前提。
• MIMIC-II 本身已不再独立维护，其谱系内容并入后续的 MIMIC-III/IV。因此不要把本语料的 163 名患者与 MIMIC-IV 的患者数直接比较或对齐。

2.6 规格小结：它到底给你什么

一句话概括这份数据集提供的「原料」：

一段被标注了每一处 PHI 起止位置与类型的、约 33 万词的 ICU 护理自由文本，PHI 已被无保护的真实感替代数据替换，且含有人为注入的对抗性难例。

这正是衡量一个去标识算法「找得全不全（recall）」和「报得准不准（precision）」所必需的、也是当年最稀缺的东西。

2.7 为什么「护理笔记」是去标识的理想试金石

在众多临床文本类型中，团队偏偏选择了护理笔记作为金标准的载体，这不是偶然，而是因为它集中了去标识任务的所有难点：

难点一：非结构化程度最高。
护理笔记是护士随手录入的自由文本，没有固定模板、没有结构化字段约束。相比之下，检验报告的数值、影像报告的结构化描述，都相对「规矩」。自由文本意味着 PHI 可以出现在任何位置、任何语法形态中。

难点二：PHI 与临床信息深度交织。
一份护理笔记同时包含患者观察、给药、检验结果与病程——一个日期既是隐私风险，也是关键病程节点；一个人名既是 PHI，也可能是医疗团队协作信息。删除得太狠会破坏临床价值，删得太松会泄露隐私。这种纠缠性是去标识最本质的困难。

难点三：高密度 PHI 且形式多样。
护理笔记中 PHI 的形态极其多样——不仅是标准的人名日期，还包括床位号、医院政策编号等非典型模式，甚至出现「本身是人名的病名」这类陷阱。语料中约 0.64 处 PHI/笔记的平均密度，意味着几乎每一份笔记都至少涉及一处隐私判断。

难点四：书写者（护士）的语言习惯差异大。
不同护士的缩写、表达、书写风格差异显著，增加了算法泛化的难度。

因此：把金标准建立在护理笔记上，等于选择了最难的一类文本。如果算法能在这类文本上达到 0.94+ 的 recall，那么它在更结构化的文本（如出院小结、X 光报告）上的表现通常会更好。这是本语料难度设定上的刻意。

2.8 数据设计的三个「讲究」

回看整个语料的设计，有三处体现了超出「随便标个数据集」的用心：

讲究一：按患者整取，而非按笔记抽样。
前面已述——避免同一患者跨集造成泄漏。这是评测科学性的底线，也是很多后来者容易忽视的细节。

讲究二：主动注入难例（富集）。
99 份笔记的人工富集，让语料不止测「能不能找到明显的 PHI」，更测「会不会把专业术语误伤」。对抗性设计是高质量基准的标志。

讲究三：保留边界模糊样本。
那 3 例 undefined 没有被粗暴地归类或删除，而是如实保留并标注其模糊性。这种诚实让使用者能看到「去标识的边界到底在哪里」，而不是被一个过于干净的语料误导。

2.9 与「合成临床文本」的界线

值得澄清一个常见混淆：本语料不是合成文本（synthetic data）。

• 合成文本：完全由算法生成、与真实患者无关的假文本。
• 本语料：真实的 MIMIC-II 护理笔记，只是其中的标识信息被替换成了替代数据。

差别至关重要：本语料的临床内容、语言分布、书写习惯都是真实的，只有身份标识被清洗。因此它保留了真实世界文本的全部复杂性——这正是它能作为评测基准的价值。而合成文本往往过于「干净」，无法暴露真实场景中的困难。

§3 注释流水线：多轮去标识是怎么炼成的

3.1 为什么需要「多轮（multi-pass）」

去标识的难，难在一个残酷的现实：人也会漏。MIT 团队自己的实验给出了触目惊心的证据——单个临床医生的去标识 recall 在 0.63 到 0.94 之间浮动，且呈现出「误报少、漏报多」的系统性倾向（few false positives and many false negatives）。换句话说，如果只让一个人标一遍就拿去当金标准，这个「金标准」本身就漏掉了 6%–37% 的 PHI。

于是构建者设计了一条 multi-pass（多轮）流水线，用冗余 + 交叉 + 裁决把漏检率压到近乎为零。

3.2 四步流水线

第 1 步：三名临床医生（来自当地医院）各自独立复核 2,434 份笔记
        → 标注并分类所有 PHI（不互相参考）
第 2 步：高灵敏度原型去标识算法运行
        → 定位临床医生可能漏掉的 PHI（"highly sensitive"——宁多勿漏）
第 3 步：第四名临床医生复核全部结果，裁决（adjudicate）所有分歧
第 4 步：同一裁决者用类型别词典的建议替换值，将每处 PHI 重新标识为
        真实感替代数据（surrogate）

这套设计的精髓在于两种误差的互补：

• 人类专家：擅长语义判断（认出「Wilson’s disease 不是人名」），但会疲劳、会漏。
• 高灵敏度算法：宁滥勿缺，能捞回人漏掉的，但会大量误报。
• 第四名裁决者：把两者的结果合并、去冲突，得到既全又准的最终标注。

最终产出的语料被评估为拥有近完美的 recall（1.0）与 precision（1.0）。作者用了 “almost perfect” 这个措辞——既是自信，也留了余地（毕竟理论上无法证明绝对为零漏检）。

3.3 替代数据（surrogate）为什么这么关键

第 4 步「用真实感替代数据重标识」常被忽视，却是这个语料能被用于训练而非仅仅评测的原因。

设想两种极端做法：

• 直接删除 PHI → 文本变得千疮百孔、语法破碎，模型学到的语言分布严重失真。
• 用占位符如 [NAME] → 语法通了，但位置信息暴露，且无法模拟真实替代流程。

而 surrogate（真实感替代） 的做法是：用看起来真实、实则无保护的姓名、日期、编号来填补原位。例如把真实患者名替换为一个假名，把真实日期替换为一个假的合理日期。这样：

• 文本保持自然流畅；
• 去标识后仍可自由共享（因为不含真实 PHI）；
• 从标签文件（id.res）又能精确还原每处 PHI 的位置与类型。

替代数据策略是该语料最重要的工程遗产之一，后来的合成临床文本、去标识训练数据大量沿用了这一思路。

3.4 与「多人委员会标注」模式的对照

这套流水线可以看作一种**「独立标注 + 算法补漏 + 专家裁决」**的三段式共识机制，与更常见的「多人投票取多数」模式不同：

模式	机制	优点	局限
多数投票	N 人独立标，取多数	简单、可统计一致性	少数派正确时被淹没；无法发现全员都漏的
本语料模式	多人独立 + 算法补漏 + 专家裁决	能捕获「全员漏报」；结合人机长处	依赖一名权威裁决者；流程重、成本高
单专家标注	一人标完即用	快	recall 低（0.63–0.94 实测）

本语料的设计因此可迁移到其他隐私敏感标注任务（如社交媒体去标识、法律文书脱敏）：先分布式的广撒网找候选，再集中式的一锤定音。

§4 PHI 类别体系：6 类还是 7 类

4.1 BMC 论文口径：6 大类别

原始论文将语料中的 PHI 归入以下类别（带子类）：

类别	子类 / 说明
name（姓名）	患者姓名 / 患者姓名首字母 / 亲属或代理人姓名 / 临床医生姓名
date（日期）	含日/月/年的完整日期；仅含年份的日期
location（地点）	医院名称 / 城市或城镇名称
phone number（电话）	电话号码 / 手机号码 / 传真·呼机·传呼号码
age over 89（89 岁以上年龄）	HIPAA 特别规定：89 岁以上年龄视为可识别
other（其他）	其余 PHI，含 3 例归为 “undefined” 的模糊模式

4.2 三个值得注意的细节

细节一：临床医生姓名也算 PHI（>45% 的名字是医生名）。
论文指出，姓名类整体占全部 PHI 的 >45%，而其中约三分之二（两个 thirds）是临床医生姓名。这在直觉上有争议——HIPAA 严格定义下，医生姓名通常不属于 PHI，但因为它可能被用来反向推断患者身份（知道你在哪个医生的病房），团队将其纳入了扩展 PHI 集（extended PHI set）。

细节二：约 36% 的 PHI 是「非关键（non-critical）」的。
论文明确区分：critical PHI 是 HIPAA 定义的受保护健康信息；non-critical PHI（如临床医生姓名、姓名首字母、年份）并非 HIPAA 定义下的 PHI。1,779 处 PHI 中约 36% 属后者。这一点对理解「去标识强度」至关重要：一个只满足 HIPAA 最低要求的系统，可以合法地保留这 36%。

细节三：3 例 “undefined”。
有三处 PHI 被归为「未定义」——它们是笔记中出现的字母数字模式与编号，类型或含义不明，是否应视为 PHI 存在歧义。论文举例如「一个院内政策编号，其字母数字模式可能被用来推断医院身份」。这类边界模糊样本的保留，体现了语料的诚实与对抗性。

细节四：为什么「89 岁」是一道分界线。
HIPAA 的 Privacy Rule 有一条著名规定：89 岁以上的具体年龄被视为可识别信息（因为该年龄段人口稀少，具体年龄可能指向个人）。因此语料单列 “age over 89” 类别；在 deid 软件的扩展 PHI 集中，这一规则被明确实现。这是一个法规细节直接映射到标注体系的鲜活例子。

4.2.1 从「是否算 PHI」看标注的哲学难题

本语料在类别设计上触及一个反复困扰去标识领域的根本问题：什么才算 PHI？ 有三种层次：

1. 法定最低（HIPAA 严格定义）：姓名、完整日期、地址、电话、SSN、>89 岁年龄等。满足这一层即合规。
2. 扩展集（本语料采用）：额外纳入临床医生姓名与仅年份的日期——它们在字面上未必是患者 PHI，但可能被用于反向识别。
3. 情境敏感（最难）：如那 3 例 undefined，是否构成风险取决于具体语境与攻击者的外部知识。

语料选择了「扩展集」而非「法定最低」，这是一种保守取向：宁可按更严的标准标注。这直接抬高了 recall 要求，也解释了为什么作者把医生姓名这种争议类别也收进来——他们押注的是「隐私优先」。

对使用者的含义：如果你的应用只需满足 HIPAA 最低要求，本语料的标注会过度保守（标出了你法律上可以保留的内容）。反之，若你的场景对隐私要求极高，它正好匹配。用之前先想清楚你在哪一层。

4.3 工具生态口径：7 类

现代工具封装时常把 PHI 重整为 7 类（pyhealth 的 PhysioNetDeIDDataset 口径）：

AGE、CONTACT、DATE、ID、LOCATION、NAME、PROFESSION

这实际是把 BMC 的 6 类做了重切分：把 “phone number” 归入更宽的 CONTACT（联系方式），把 “clinical names” 单列为 PROFESSION（职业/身份），并把其它可识别编号归入 ID。

读数字前先核对口径。 若你看到某篇论文报「7 类 PHI 的 F1」，那多半用的是软件标签体系；若报 6 类，则是 BMC 原文口径。二者不可直接数字对比。

4.4 类别分布对建模的影响

几个直接影响建模策略的分布特征：

• 姓名与日期是主力：姓名占 >45%，日期也是大头，两者合计构成 PHI 检测的主要工作量。任何去标识系统的第一个瓶颈都是 name + date。
• 长尾类别稀少：传真/呼机号码、超出 89 岁的年龄等出现频次极低，属于典型长尾，模型在该类别上的统计学习会很吃力。
• 边界样本稀缺但有价值：3 例 undefined + 富集的难例，构成 precision 的「试金石」。

§5 算法性能基准：deid 做到了什么

5.1 配套软件 deid 简介

语料是随软件发布的。deid（v1.1，2007-12-18）是一个用 Perl 编写的自动化去标识软件包，其技术栈为：

• 词典查找表（lexical look-up tables）——内置人名、地名等词典
• 正则表达式（regular expressions）——匹配日期、电话、编号等模式
• 简单启发式（simple heuristics）——处理上下文规则

它同时能识别 HIPAA PHI 与一个扩展 PHI 集（额外包含医生姓名与日期中的年份）。软件设计上「一般可用于大多数自由文本医疗记录」（护理笔记、出院小结、X 光报告等）。

5.2 性能数字

论文在两套语料上评测了 deid：

开发语料（development corpus，2,434 份，即本语料自身）：

指标	数值
recall（召回率）	0.967
precision（精确率）	0.749
fallout（虚警率）	≈ 0.002

测试语料（test corpus，1,836 份，算法开发中未使用）：

指标	数值
估计 recall	0.943
假阴性总数	90 例（约 27 per 100,000 words）
漏检的完整日期	1 个
漏检的 >89 岁年龄	1 个
漏检的患者姓名	0 个

关键结论：软件在 recall 上超过了单个人工去标识者（single human，0.81），并至少持平于两名人工的共识。这在 2008 年是相当有说服力的论证——自动化不仅更便宜，而且比一个人做得更全。

5.3 如何正确解读这组数字

读法一：这是 2008 年的基准，不是今天的天花板。
0.943 的 recall 在当年优秀，但用现代深度学习（BioBERT、CRF、BiLSTM-CRF 等）在同类护理笔记语料上早已超过。引用时应定位为历史基准。

读法二：precision 0.749 揭示了去标识的固有张力。
开发语料上 recall 高（0.967）而 precision 仅 0.749——意味着每去掉 3 个 PHI，就有约 1 个是误伤（把非 PHI 当 PHI 抹掉）。这正是 §2.3 富集难例（Wilson’s disease 之类）带来的代价。去标识永远在「漏放隐私」与「误伤临床信息」之间走钢丝，0.749 是对这根钢丝的定量刻画。

读法三：fallout 0.002 极小，说明系统很「克制」。
fallout（假阳性率相对于全部非 PHI 的位置）极低，说明软件不会满篇乱标——它只是在少数位置做了错误判断。

读法四：测试语料 recall（0.943）低于开发语料（0.967），是正常的泛化衰减。
开发语料上软件见过、调过参，测试语料是全新的。这个 2.4 个百分点的落差，恰好量化了「过拟合到开发集」的程度——这也是本语料设置「开发集 + 测试集」双集的意义。

5.4 一个可复现的现代用法

现代研究者若要在本语料上训练/评测自己的模型，典型流程是：

id.text（去标识文本）+ id.res（标签化文本）/ id-phi.phrase（PHI 位置）
        ↓ 对齐
构造 token 级 BIO 标注（B-NAME / I-NAME / B-DATE ... / O）
        ↓ 60/20/20 划分（注意按患者划分，防泄漏）
训练 NER 模型 → 在测试集上算 per-class P/R/F1

本库内的相邻条目（mimic-iv-note、i2b2-n2c2-nlp）均可作为跨语料泛化的对照——在同一套去标识任务上，比较「2007 年护理笔记」与「2014 年出院小结/2014 挑战赛」上的模型迁移表现，是这个领域一个经典的研究切口。

5.5 现代方法在本语料上的表现预期

虽然本条目不逐一罗列 2008 年后各方法的成绩（避免二手转述失真），但可以给出定性的预期框架，供检索者判断：

方法代际	代表技术	相对本语料基准的预期
规则/词典（本语料年代）	deid（Perl）	基线：recall 0.967 / precision 0.749
统计序列标注	CRF	recount 高、precision 改善，需特征工程
神经序列标注	BiLSTM-CRF	上下文建模更好，长尾类别改善
预训练语言模型	BioBERT / ClinicalBERT 微调	在中文语境外的英文临床文本上通常进一步领先
大模型零样本	LLM 直接抽取	precision 波动大，需严格评估

使用建议：若要做方法比较，务必在同一划分（按患者 60/20/20）与同一类别口径下进行，否则数字不可比。这也是 nedap/deidentify 提供统一转换脚本的价值所在——它把「原始文件 → brat → 统一 corpus → 统一划分」的链路固化下来，消除了大部分人为口径差异。

5.6 评测指标的三个常见误读

误读一：只看 recall，不看 precision。
去标识系统若把整篇文本全部标为 PHI，recall 必然 1.0、precision 归零——毫无用处。必须成对看指标，或看 F1 与 fallout。

误读二：用 micro-F1 掩盖类别不平衡。
姓名与日期占绝大多数 PHI，若用 micro-F1，模型在长尾类别（如年龄）上的糟糕表现会被淹没。研究安全性相关的去标识时，应看逐类 recall——漏掉一个罕见类别可能正是隐私事故的入口。

误读三：忽略「残余 PHI」这一绝对指标。
在隐私合规语境下，最该关心的或许不是百分比，而是绝对漏检数：本语料配套软件在测试集上漏了 90 例，其中 1 个完整日期、1 个 >89 岁年龄。每漏掉的 1 处都是潜在的真实风险点——论文专门报告了这些绝对值，体现了去标识评测应有的敬畏。

§6 获取与许可：一扇「两分」的门

6.1 核心结构：软件自由、语料受限

本条目最值得反复强调的一点，是一个设计上的两分（dichotomy）：

资产	许可	能否再分发
deid 软件	GPL（GNU General Public License）	✅ 可自由再分发
金标准语料	Credentialed Access	❌ 仅授予获批者

为什么软件开放、语料封闭？ PhysioNet 页给了直白的答案：

语料之所以仅授予已获 PhysioNet Clinical Databases（如 MIMIC-III）访问权的人，是因为存在极小的可能性，其中仍残留一处或多处未被检出的 PHI。

这是一个极其诚实的「自曝其短」——作者承认：即便是 multi-pass + 三名以上专家 + 算法裁决的流水线，也不能 100% 保证零漏检。而正因为这微小的残余风险，语料就不能像软件那样自由流通。这条逻辑本身就是医疗数据合规的一堂示范课。

6.2 获取前置：三道门

要拿到本语料，需依次通过：

1. 注册 PhysioNet 账号（physionet.org）
2. 完成 CITI 培训课程（Collaborative Institutional Training Initiative，研究伦理与受试者保护培训，PhysioNet 官方课程）
3. 签署数据使用协议（DUA, Data Use Agreement）

这套门槛与 MIMIC-III/MIMIC-IV 完全一致，属于 PhysioNet 体系内的 Credentialed Access（资质认证访问） 级别。没有公开直链，没有一键下载。

6.3 版本链与稳定性

• 语料：Version 1.0（2007-12-18）——至今唯一版本，无后继升级。这意味着它的内容自发布以来保持稳定，适合做长期可复现的基准。
• 软件 deid：Version 1.1（同为 2007-12-18 发布条目，软件本体后续有维护）——https://www.physionet.org/content/deid/

一个实用提示：语料的 PHI 位置明细文件（id-phi.phrase）是挂在 deid 软件包下释出的，而不是挂在语料条目下。检索者若只申请了语料，可能还需要同时关注软件包。

6.4 AI-Ready 评估：这份语料的「可获取性光谱」位置

在千方病案医数集关注的 AI-Ready 框架下，本语料的定位是典型的：

高标注质量 + 强合规约束 + 受限获取。

• 优点：标注质量达金标准级别（近 1.0/1.0），来源明确（MIMIC-II），有配套软件与评测脚本，文本可用性强，历史稳定。
• 短板：Credentialed Access 门禁意味着无法作为「即取即用」的开放数据集；对赶时间做原型、或身处无 CITI 培训渠道环境的研究者，是实质障碍。
• 权衡建议：若研究需严格可复现的开放基准，可优先考虑库内更开放的相邻条目（如 mtsamples，rid 350；或 i2b2-n2c2-nlp，rid 14 视其具体子集许可）；若研究核心是去标识算法本身，则本语料的标注质量与历史地位不可替代，值得投入资质申请成本。

6.5 与库内可获取性光谱的对照

条目	rid	获取	备注
Deidentified Medical Text	本条目	Credentialed Access	金标准，2007
mimic-iv-note	47	Credentialed Access	MIMIC-IV 派生，2023
i2b2-n2c2-nlp	14	多为 DUA 制	临床 NLP 共享任务
mtsamples	350	公开	临床文本样本集
medmentions	390	公开（NCBI）	生物医学 NER

可以看到，库内高质量临床文本条目大多带门禁——这不是巧合，而是 PHI 合规的必然结果。本条目位于光谱的「高质量—高门槛」一端。

§7 生态与历史地位：为什么 2007 年的它依然重要

7.1 时间线上的坐标

把本语料放进临床文本去标识的时间轴：

2003  Levine MIT 硕士论文：ICU 记录去标识
2004  Douglass et al., Computers in Cardiology 31:341-344（MIMIC-II 自由文本去标识）
2005  Douglass 硕士论文 + Computers in Cardiology 32:331-334（护理笔记去标识算法）
2007-12-18  ★ PhysioNet 发布 Deidentified Medical Text v1.0 + deid 软件
2008-07-24  Neamatullah et al., BMC Med Inform Decis Mak 8:32（正式论文）
  ⋮
2014  i2b2/n2c2 de-identification 挑战赛（约晚 7 年）
2023  MIMIC-IV-Note 发布（约晚 16 年）

它的历史地位可以精确表述为三点：

1. 最早的公开金标准之一：在它之前，去标识研究普遍缺少可公开、可比的标注语料；它把「金标准 corpus + 软件 + 评测脚本」打包成基础设施。
2. 定义了评测范式：用 recall/precision/fallout 在标准语料上量化 PHI 检测——这套范式至今是该领域论文的标准写法。
3. 示范了「人机协同标注」：独立专家 + 高灵敏度算法 + 权威裁决的三段式，是多轮标注方法学的一个经典范例。

7.2 下游生态

本语料被多个现代工具链采纳为基准：

• pyhealth：PhysioNetDeIDDataset 类专门封装本语料，解析 id.text / id.res，产出 token 级 BIO 标签（7 类 PHI），并明确要求 PhysioNet 资质认证。
• nedap/deidentify（HDSM 2020 论文配套）：在其「英文数据集基准」文档中，把本语料的 nursing notes 与 i2b2/UTHealth 2014 并列为两大英文去标识基准，并提供从 id.text + id-phi.phrase 转换到 brat 格式、再按 60/20/20 划分训练/验证/测试的完整脚本。
• 众多综述与教学材料：作为临床文本去标识的入门基准被反复引用。

这些工具的存在，反过来证明了本语料的长期可用性：一个 2007 年的纯文本语料，仍能被 2020 年后的深度学习工具直接消费。

7.3 与后续资源的谱系关系

• → i2b2/n2c2 2014（库内 rid 14）：更侧重出院小结（discharge summaries），任务更复杂（含日期归一化等），规模更大，但方法学上承接了本语料确立的评测思路。
• → MIMIC-IV-Note（库内 rid 47）：MIMIC-IV 谱系下的去标识临床自由文本，2023 年，文本形态更现代，获取同样走 Credentialed Access。可视为本语料在 MIMIC 谱系上的「直系后代」。
• → 命名实体识别语料群：本语料是临床 PHI NER 分支的源头，与生物医学 NER 语料（medmentions rid 390、bc5cdr rid 415、chemdner rid 450）同属「文本 + 实体标注」家族，但目标实体不同（隐私实体 vs 生物医学实体）。

7.4 学术与工程启示

启示一：金标准的价值不在「完美」，而在「可比」。
本语料坦承有极小残余风险，但正因为它把标注质量、类别体系、评测指标全部显式化，才让不同方法能被放在同一把尺子上量。

启示二：合规约束会塑造数据集形态。
PHI 的敏感性直接决定了「Credentialed Access + 无公开直链」这一形态；而软件的 GPL 开源，则让方法论得以广泛传播。数据封闭、方法开放，可能是隐私敏感领域最务实的组合。

启示三：去标识没有终点，只有权衡。
recall 0.967 / precision 0.749 这组数字提醒我们：任何去标识系统都在「删得干净」与「留得完整」之间取舍。不存在既零漏检又零误伤的系统，只有针对用途的最优权衡。

7.5 一条清晰的学术谱系：从硕士论文到公共基础设施

本语料不是凭空出现的，它有一条可以完整追溯的学术谱系，理解这条脉络有助于判断它在方法上的位置：

（1）Levine 2003（起点）
J. M. Levine 的 MIT 硕士论文《De-identification of ICU patient records》率先处理 ICU 记录的去标识问题，确立了研究场景。

（2）Douglass 2004 / 2005（方法成形）
Margaret Douglass 连续发表两篇 Computers in Cardiology 论文，逐步发展出护理笔记去标识算法；其 2005 年硕士论文《Computer-Assisted De-identification of Free-text Nursing Notes》（导师 Roger G. Mark）系统评估了多种计算机辅助方法，并明确提出了构建「gold standard reference database」的目标，这正是本语料的直接前身。论文摘要已预告该语料将"be made freely available on the Physionet web site"。

（3）Neamatullah 2006 / 2008（集成与扩张）
Ishna Neamatullah 的硕士论文将方法进一步推进，最终由 10 人作者组于 2008 年在 BMC 发表完整的软件与语料评估——这是本语料的正式学术论文。

（4）2007-12-18 PhysioNet 发布（基础设施化）
语料与软件同时在 PhysioNet 上线，从「一篇论文的附属材料」升格为「领域公共基准」。

这条谱系的意义：它解释了为什么本语料的构建流水线如此讲究（三名以上专家独立标注 + 算法补漏 + 裁决）——这是四五年、数位研究者接力打磨的成果，而非一次性项目。也解释了为什么它能被后续十余年的工具链反复采纳：它的设计从一开始就是奔着「公共基准」去的。

7.6 为什么它至今没被「淘汰」

一个 2007 年的语料为何仍在被引用？三个结构性原因：

1. 纯文本基准的可迁移性：文本格式（id.text / id.res）简单通用，任何时代的工具都能直接消费，不像影像数据受制于格式与算力。
2. 标注质量的稀缺性：金标准级别的多次人工复核成本极高，后来者即便规模更大，也未必在标注密度上超越它。
3. 作为「早期分布」的价值：任何想做时间泛化（模型在历史文本上的表现）或跨语料泛化的研究，都需要一个「早期的、来源明确的」文本基准——本语料正好填补了这个生态位。

一句话：它不是最先进的，但它是坐标原点。许多现代研究的「相对于 2007 年护理笔记基线的改进」，都依赖它作为那把最初的尺子。

§8 与库内条目的关系：家族图谱与检索路径

8.1 家族图谱

本条目在千方病案医数集库内的「亲属」可分三层：

第一层——去标识直接同域（最相关）：

条目	rid	关系
mimic-iv-note	47	最近邻：MIMIC 谱系的去标识临床自由文本，2023，可做年代对照
i2b2-n2c2-nlp	14	同任务：临床 NLP 去标识/信息抽取共享任务，含 2014 de-id 挑战赛

第二层——MIMIC 谱系源流：

条目	rid	关系
mimic-iv-clinical-database	4	MIMIC-IV 主库（本语料源自其前身 MIMIC-II）
mimiciii	106	MIMIC-III（MIMIC-II 谱系承接者）
mimic-iv-ed	116 / 567	MIMIC-IV 急诊分册
mimic-iv-note	47	见上

第三层——文本 / NER 生态：

条目	rid	关系
mtsamples	350	临床自由文本样本集（可获取性更开放）
medmentions	390	生物医学实体标注语料（NER 家族）
bc5cdr	415	化学—疾病关系 NER
chemdner	450	化学实体 NER
pharmaconer	504	药物实体 NER
pubmedqa	49	医学文本问答

8.2 检索路径建议

• 若你关心去标识算法本身 → 本条目 + mimic-iv-note(47) + i2b2-n2c2-nlp(14) 三点连线，即可覆盖 2007–2023 的方法演进。
• 若你关心临床文本的可获取性 → 对照 mtsamples(350)（开放）与本条目（门禁），理解合规如何塑造数据形态。
• 若你关心文本实体标注方法学 → 沿 medmentions(390) → bc5cdr(415) → 本条目，可观察「生物医学实体」与「隐私实体」两类标注任务的异同。
• 若你关心MIMIC 生态全景 → 从本条目出发，经 MIMIC-II → mimiciii(106) → mimic-iv-clinical-database(4) → mimic-iv-note(47)，理清四代谱系。

8.3 一处诚实的边界声明

本语料的患者无法与库内任何其他 MIMIC 条目对齐（去标识后无映射关系），因此不要做跨条目的患者级联合分析。它们之间是方法学与谱系上的关系，不是样本上的关系。

8.4 三个可迁移的研究命题

若检索者想以本条目为起点做研究，以下三个命题具有明确的可操作性与价值：

命题一：跨语料去标识泛化。
在「2007 MIMIC-II 护理笔记」上训练 PHI 检测模型，在「i2b2/n2c2 2014」（rid 14）或「MIMIC-IV-Note」（rid 47）上评测。核心问题：二十年间的文本形态变化，会让去标识模型性能衰减多少？这类时间泛化研究目前仍属稀缺。

命题二：类别口径对齐方法学。
既然同一语料存在 6 类与 7 类两套标签口径，可研究标签体系差异对模型评估的影响——同一模型在两个口径下 F1 相差多少？这属于评测方法学的基础问题。

命题三：极小残余 PHI 的风险量化。
本语料因「极小残余 PHI 风险」而受限访问。可研究：在现代算法下，这份语料的残余 PHI 到底还剩多少？这既是一个技术问题，也是一个合规问题——它为「去标识达到何种程度才可视为安全」提供了可量化的案例。

8.5 对本库结构的贡献

本条目在千方病案医数集库内填补了一个特定的生态位：「去标识」这一任务本身的源头基准。在此之前，库内的临床文本条目（如 mimic-iv-note、mtsamples）多聚焦「文本内容」；本条目则把焦点转向**「如何让文本可以被安全共享」**——即数据治理层面。

它与库内条目的组合价值在于：

• 与 mimic-iv-note(47) 组合 → 构成「去标识临床文本的 16 年演进」对比组；
• 与 i2b2-n2c2-nlp(14) 组合 → 构成「临床 NLP 去标识任务谱系」；
• 与 mtsamples(350) 组合 → 构成「可获取性光谱两端」的对照。

因此，本条目不仅是新增一条数据，更是激活了库内一组关于临床文本隐私与共享的关联阅读路径。

§9 与库内条目的互链建议（供主会话参考）

说明：frontmatter 中的 relatedLink 只允许纯 URL 占位；以下互链关系写于正文。实际 URL 形态为 https://www.qianfanghub.com/ai-ready-dataset/<slug>/<rid>。

目标条目	rid	建议互链理由
mimic-iv-note	47	去标识临床自由文本的最直接对照（MIMIC 谱系、年代对照 2007 vs 2023）
i2b2-n2c2-nlp	14	临床 NLP 去标识共享任务，方法学同域
mtsamples	350	临床文本可获取性光谱对照（开放 vs 门禁）
medmentions	390	生物医学 NER 语料，文本实体标注家族
bc5cdr	415	实体标注语料群
mimiciii	106	MIMIC 谱系（MIMIC-II 承接者）
mimic-iv-clinical-database	4	MIMIC 谱系主干
pubmedqa	49	医学文本 NLP 生态

§10 避坑清单：八个已踩过的坑

坑 1：把「金标准 1.0/1.0」误读为「算法性能」

现象：看到语料被描述为 recall 1.0 / precision 1.0，误以为用它可以轻松达到完美去标识。

真相：1.0/1.0 描述的是语料自身标注的完整性（几乎每处 PHI 都被标出），不是任何算法的成绩。算法的实际成绩要另算——配套 deid 软件在开发语料上只有 recall 0.967 / precision 0.749。

规避：区分「语料质量」与「算法性能」两个词。

坑 2：忽略 Credentialed Access 的获取成本

现象：以为和普通 PhysioNet 数据集一样能直接下载。

真相：必须 PhysioNet 账号 + CITI 培训 + DUA，与 MIMIC-III/IV 同级别。无公开直链。CITI 培训需时间，且部分机构无现成渠道。

规避：立项前把资质申请周期计入排期；或先用可开放的 mtsamples(350) 做原型。

坑 3：把 MIMIC-II 患者与 MIMIC-IV 对齐

现象：想在 MIMIC-IV 里找到这 163 名患者的对应记录做联合分析。

真相：语料已彻底去标识并替换替代数据，没有任何可回溯映射。MIMIC-II 也已不再独立维护。

规避：把本语料当作独立评测集，不做跨库患者级对齐。

坑 4：PHI 类别数口令混用（6 类 vs 7 类）

现象：拿 BMC 原文的 6 类结果与某工具 7 类的 F1 直接比较。

真相：BMC 口径为 name/date/location/phone/age-over-89/other；工具（如 pyhealth）口径为 AGE/CONTACT/DATE/ID/LOCATION/NAME/PROFESSION。两套标签不可直接数字对比。

规避：引用前先声明口径；跨工具实验先做标签映射。

坑 5：忽视「富集难例」造成的 precision 陷阱

现象：用本语料训练模型后，在真实数据上 precision 反而更高，怀疑评测有误。

真相：语料含 99 份人工富集笔记（新增 211 处 PHI），故意塞入了「Wilson’s disease」这类本身是人名却非 PHI的难例。在语料上 precision 偏低是设计使然，它测的正是抗误伤能力。

规避：理解富集设计，不要把它当作数据脏。

坑 6：笔记数口径混用（2,434 vs 2,600+）

现象：不同文献写 2,434 份，Douglass 2005 学位论文写 “over 2600”。

真相：正式发表口径为 2,434 份 / 1,779 处 PHI；学位论文（2005，早期版本）摘要写 “over 2600 notes / over 1800 instances”。属同一研究不同阶段的口径差异。

规避：以正式发表（PhysioNet + BMC 2008）为准，引用学位论文时注明其为早期版本。

坑 7：把配套软件许可当成语料许可

现象：看到 deid 是 GPL 开源，以为语料也能自由分发。

真相：软件 GPL ≠ 语料开放。语料因极小残余 PHI 风险走 Credentialed Access，不可再分发。

规避：许可判断逐资产核对，不要把软件的开放度外推到数据。

坑 8：按笔记随机划分训练/测试（数据泄漏）

现象：构造 BIO 训练集时按笔记随机 60/20/20 划分。

真相：同一患者的多次护理笔记高度相关（反复出现的姓名、日期、书写习惯）。按笔记随机划分会让同一患者同时出现在训练与测试集，造成乐观偏差。

规避：按患者（patient-level）划分，确保患者不跨集。这也是本语料当初按患者整取的原因。

§11 总结

11.0 一个关于「信任」的案例

在技术条目里谈「信任」似乎抽象，但本语料恰恰是一个极好的具体案例。它让我们看到：一份数据能否被共享，最终取决于它能否被信任；而信任无法自证，只能靠机制构建。

这套机制由四层构成：

第一层——冗余标注。 三名以上专家独立标注（而非一起讨论），减少群体思维；差异本身成为信号，而不是噪声。

第二层——人机互补。 高灵敏度算法补人类的漏，人类裁决算法的误报。二者的误差方向相反，恰好互相兜底。

第三层——权威裁决。 第四名专家对所有分歧做最终裁定，把分布式的判断收敛为单一可信的答案。

第四层——透明声明。 最关键的一点：作者公开承认「仍有极小残余风险」，并据此设定了访问门禁。

第四层最反直觉——通常数据发布者倾向于宣称「完全安全」。而这份语料选择了诚实：它不假装自己是零风险，而是把风险量化并写明，再用访问控制来管理。正是这种诚实，让它可以被信任。 一个声称绝对安全的去标识语料，反而值得怀疑；一个承认残留风险并设防的语料，才是负责任的。

这个案例对今天的启示是：做数据集，不只是造数据，更是造「可信度」。 而可信度来自可审计的流程、可复现的标注、以及坦诚的局限声明——本语料在三者上都做到了。

11.1 三句话总结

1. 它是什么：Deidentified Medical Text 是 2007 年 PhysioNet 发布的 2,434 份 MIMIC-II 护理笔记的 HIPAA 去标识金标准语料，含 1,779 处 PHI，配 GPL 开源 deid 软件。
2. 它为什么重要：它是临床文本去标识领域最早的公开金标准之一，确立了「用标准语料量化 recall/precision」的评测范式，比 i2b2 2014 挑战赛早约 7 年、比 MIMIC-IV-Note 早约 16 年。
3. 它怎么用：需通过 Credentialed Access（PhysioNet 认证 + CITI + DUA）获取，用于训练/评测 PHI 检测（NER）模型；引用时务必区分 6 类/7 类口径、语料质量与算法性能、2,434 与 2,600+ 两个计数口径。

11.2 适合谁

• 去标识 / 隐私保护算法研究者：需要一个权威、可比、历史稳定的基准。
• 临床 NLP 教学者：理解医疗数据合规与「人机协同标注」的绝佳案例。
• 医疗数据合规研究者：研究 PHI 定义边界、去标识强度与数据共享的实证样本。
• 信息抽取 / NER 研究者：临床文本 token 级标注的高质量语料。

11.3 不适合谁

• 想即取即用的开放数据原型开发者：门禁会拖慢节奏，建议先用 mtsamples(350)。
• 追求现代规模与形态的研究者：2,434 份笔记规模不大、年代较早，可优先 mimic-iv-note(47)。
• 需要多模态/影像的研究者：这是纯文本语料。

11.4 30 秒决策卡

问题	答案
我要做去标识算法评测？	✅ 首选基准之一
我能拿到吗？	需 PhysioNet 认证 + CITI + DUA
有公开直链吗？	❌ 无
规模够吗？	2,434 份 / 163 患者 / 33 万词，基准够用
年代太老？	作历史基准可以，追精度用 MIMIC-IV-Note(47)
软件能拿走吗？	✅ deid 是 GPL，可自由使用
类别是 6 类还是 7 类？	BMC 6 类；工具 7 类，先核对口径

FAQ（高频问答）

问：这是影像数据集吗？
不是。这是纯文本的临床护理笔记语料。

问：2,434 是笔记数还是患者数？
笔记数。患者数为 163。

问：为什么要用替代数据而不是直接删除 PHI？
为了让去标识后的文本保持自然语言分布，既可用于评测，也可用于训练。删除会造成语法破碎。

问：金标准的 1.0/1.0 可信吗？
它是多轮人工 + 算法 + 裁决的结果，被作者评估为 “almost perfect”。作者同时诚实承认仍有极小残余风险——正是这一点导致语料受限访问。

问：为什么临床医生姓名也算 PHI？
严格 HIPAA 定义下通常不算，但团队将其纳入扩展 PHI 集，因为它可能被用来反向推断患者身份。约 2/3 的姓名类 PHI 是医生名。

问：语料有版本更新吗？
语料至今仅 v1.0（2007-12-18），无后继版本。配套软件 deid 为 v1.1。

问：PHI 位置文件在哪？
id-phi.phrase 挂在配套 deid 软件包下释出，不在语料条目页。

问：能自己拿去做商业应用吗？
取决于 DUA 条款。务必仔细阅读数据使用协议——Credentialed Access 通常限定研究用途。

问：为什么按患者划分而不是按笔记划分？
防数据泄漏。同一患者笔记高度相关，混入训练与测试会造成乐观偏差。

问：测试语料的 1,836 份笔记也公开吗？
它是论文中的独立测试语料，用于评估算法泛化；获取情况随语料整体受同一门禁约束。

问：它和 i2b2/n2c2 2014 有什么区别？
本语料是 ICU 护理笔记（2007）且更早；i2b2 2014 面向出院小结，任务更复杂、规模更大。二者是先驱与继承关系。

问：它和 MIMIC-IV-Note 是什么关系？
同属 MIMIC 谱系的去标识临床文本，但本语料源自 MIMIC-II、年代早约 16 年，且患者不可对齐。

问：笔记是医生写的还是护士写的？
护士写的。是护士在每班结束时录入临床信息系统的护理进展笔记（nursing progress notes）。

问：为什么只选了 163 名患者？
这是随机抽取的结果。关键在于取用这些患者的全部笔记（而非随机抽笔记），以保证评测独立性。163 名患者共产出 2,434 份笔记。

问：deid 软件是什么语言写的？
Perl。它使用词典查找表、正则表达式和简单启发式规则来定位 PHI。

问：deid 能处理出院小结、X 光报告吗？
论文称其「一般可用于大多数自由文本医疗记录，例如护理笔记、出院小结、X 光报告等」——即设计上具有泛用性，非仅限护理笔记。

问：什么是 fallout？
假阳性占全部非 PHI 位置的比例，衡量系统「乱标」的程度。deid 的 fallout 约 0.002，非常克制。

问：这份语料有图像或波形吗？
没有。纯文本。若需生理信号或影像，请看库内其他条目（如 mimic-iv-waveform、mimic-iv-ecg）。

问：什么是「扩展 PHI 集」？
deid 软件除了识别 HIPAA 定义的标准 PHI，还额外识别医生姓名与日期中的年份——这两类在严格 HIPAA 下未必算 PHI，但可能用于反向推断身份。

问：MIMIC-II 现在还能单独下载吗？
MIMIC-II 已不再独立维护，其内容并入 MIMIC-III/IV 谱系。本语料是其历史子集的去标识版本，独立存在。

问：语料适合做中文临床文本研究吗？
不适合直接使用——它是英文（美国 ICU）文本。中文临床去标识需另找中文语料，但本语料可作为方法学参照。

问：怎么引用这份语料？
建议同时引用 PhysioNet 条目（Douglass et al. 2007, 含具体 URL 与版本号）与正式论文（Neamatullah et al. 2008, BMC，含 DOI）。见附录 L。

问：如果我只想要一个公开可用的临床文本练习集？
用 mtsamples(rid 350)——它是公开的临床文本样本集，适合入门与教学。

问：富集的 99 份笔记是怎么选的？
从 2,434 份中随机挑选 99 份，然后人为插入难去标识的文本（如本身是人名的病名）与更多 PHI 实例。

问：为什么说它是「寒武纪化石」？
因为它出现得早、奠定了后来的形态（评测范式、人机协同标注、替代数据策略），但本身并非最新的资源——就像寒武纪化石，形态古老却定义了生命后续的蓝图。

问：这份语料和「匿名化」是一回事吗？
「去标识（de-identification）」与「匿名化（anonymization）」在 HIPAA 语境下常混用，但严格讲：去标识是移除标识符，匿名化是使数据完全不可回溯到个人。本语料做的是彻底的去标识 + 替代数据重标识，接近匿名化目标，但作者仍保留了「极小残余风险」的诚实声明。

事实清单（硬事实）

1. 官方名：Deidentified Medical Text
2. 出版方：PhysioNet
3. 载体 URL：physionet.org/content/deidentifiedmedicaltext/1.0/
4. 版本：1.0
5. 发布日期：2007 年 12 月 18 日
6. 署名作者：Margaret Douglass, Bill Long, George Moody, et al.
7. 论文作者：Ishna Neamatullah 等 10 人
8. 论文：BMC Med Inform Decis Mak 2008;8:32
9. 论文 DOI：10.1186/1472-6947-8-32
10. 论文 Published：2008 年 7 月 24 日
11. 论文 Received：2007 年 12 月 19 日
12. 机构：MIT Laboratory for Computational Physiology
13. 合作机构：Harvard-MIT HST、MIT CSAIL
14. 笔记数：2,434
15. 患者数：163
16. 总词数：约 334,000
17. PHI 总数：1,779
18. 富集新增 PHI：211
19. 富集笔记数：99
20. 富集前每笔记均词数：约 120
21. 富集前每患者均笔记数：约 15
22. 富集前每笔记均 PHI：约 0.64
23. 非关键 PHI 占比：约 36%
24. 姓名类占全部 PHI：>45%
25. 姓名的约三分之二：临床医生名
26. 测试语料笔记数：1,836
27. 测试语料词数：约 296,400
28. 测试语料假阴性：90 例（27/100,000 词）
29. 语料金标准 recall/precision：近乎 1.0 / 1.0
30. 单人去标识 recall 范围：0.63–0.94
31. deid 开发语料 recall：0.967
32. deid 开发语料 precision：0.749
33. deid 开发语料 fallout：约 0.002
34. deid 测试语料估计 recall：0.943
35. 漏检的完整日期数：1
36. 漏检的 >89 岁年龄数：1
37. 漏检的患者姓名数：0
38. 单个真人对比 recall：0.81
39. PHI 原始类别数：6（含 undefined）
40. 工具解析类别数：7
41. 访问级别：Credentialed Access
42. 软件许可：GPL
43. 软件名前缀：deid（Perl）
44. 核心文件：id.text、id.res
45. PHI 位置文件：id-phi.phrase（随软件包）
46. 数据源库：MIMIC-II
47. 笔记类型：nursing progress notes
48. 培训要求：CITI
49. 前置协议：数据使用协议（DUA）
50. 学位论文源流：Douglass 2005、Levine 2003、Neamatullah 2006

术语表

术语	英文	释义
去标识	de-identification	移除可识别个人身份信息的过程
匿名化	anonymization	使数据无法关联到个人的处理
PHI	Protected Health Information	HIPAA 定义的受保护健康信息
HIPAA	Health Insurance Portability and Accountability Act	美国医疗隐私法规
护理笔记	nursing notes / nursing progress notes	护士每班结束录入的病程记录
金标准语料	gold standard corpus	标注被公认可信、可作评测基准的语料
替代数据	surrogate data	真实感但无保护、用于替换 PHI 的数据
富集	enrichment	人为向语料注入难例与额外 PHI 的过程
裁决	adjudication	专家对分歧标注做最终裁定
召回率	recall	检出的 PHI 占全部 PHI 的比例
精确率	precision	检出中真正是 PHI 的比例
虚警率	fallout	假阳性占全部非 PHI 位置的比例
假阴性	false negative	本应检出却漏掉的 PHI
MIMIC-II	Multi-Parameter Intelligent Monitoring in Intensive Care II	麻省理工主导的重症监护数据库第二代
自由文本	free text	非结构化的自然语言文本
CITI	Collaborative Institutional Training Initiative	研究伦理培训课程
DUA	Data Use Agreement	数据使用协议
BIO 标注	BIO tagging	序列标注格式（Begin/Inside/Outside）
NER	Named Entity Recognition	命名实体识别
GPL	GNU General Public License	开源软件许可协议
LCP	Laboratory for Computational Physiology	MIT 计算生理学实验室
资质认证访问	Credentialed Access	PhysioNet 需认证的访问级别
span	—	实体在文本中的起止跨度
Perl	—	一种脚本语言，deid 软件的实现语言
token	—	分词后的最小文本单元

附录

附录 A：条目信息速查卡

字段	值
slug	deidentified-medical-text
官方名	Deidentified Medical Text
出版方	PhysioNet
URL	https://physionet.org/content/deidentifiedmedicaltext/1.0/
版本	1.0
发布	2007-12-18
论文	BMC Med Inform Decis Mak 2008;8:32
DOI	10.1186/1472-6947-8-32
规模	2,434 笔记 / 163 患者 / 334,000 词 / 1,779 PHI
类别	医疗NLP、临床文本、电子健康记录、命名实体识别、评测基准、临床电子病历
访问	Credentialed Access
软件	deid v1.1（GPL）

附录 B：DAIMS 评估全表

DAIMS（Data And Information Management System / 数据就绪度评估）七维评分（1–5 分）：

维度	评分	依据
Data Documentation（文档完备度）	5	PhysioNet 条目页 + BMC 论文 + 学位论文 + 会议论文，源流与用法文档齐全
Data Quality（数据质量）	5	多轮人工 + 算法 + 裁决，金标准近 1.0/1.0，含对抗性难例
Data Access（可获取性）	2	Credentialed Access + CITI + DUA，无公开直链，门槛较高
Data Provenance（来源可溯）	5	明确源自 MIMIC-II，163 名患者随机抽取，作者与机构可考
Data Ethics（伦理合规）	5	严格遵循 HIPAA，含 PHI 风险评估声明，设门禁防残余风险
Data Interoperability（互操作性）	3	纯文本 + 标签文件，需自行构造 BIO；无标准化 schema，靠工具链适配
Data Timeliness（时效性）	2	2007 年发布，未随现代 EHR 形态更新；作历史基准仍有效
加权总评	3.86 / 5	高质量、高合规、低可获取、中等时效

读表要点：本语料在质量、文档、来源、伦理四项满分，短板集中在可获取性与时效性——这恰是其「金标准 + 合规门禁」双重身份的必然结果。

附录 C：逐项证据链自证

硬数字	来源
2,434 份笔记	PhysioNet 条目页 Abstract/Data Description；BMC 2008 原文
163 名患者	BMC 2008 原文（163 randomly selected patient records）
≈334,000 词	BMC 2008 原文
1,779 处 PHI	BMC 2008 原文
211 处富集新增	BMC 2008 原文
99 份富集笔记	BMC 2008 原文
>45% 为姓名	BMC 2008 原文
约 36% 非关键 PHI	BMC 2008 原文
recall 0.967 / precision 0.749	BMC 2008 原文 Results
测试集 recall 0.943 / 90 例假阴性	BMC 2008 原文 Results
单个真人 0.81	BMC 2008 原文 Conclusion
2007-12-18 发布	PhysioNet 资源列表页
deid v1.1	PhysioNet 资源列表页
7 类 PHI（工具口径）	pyhealth 文档
60/20/20 划分	nedap/deidentify 文档

附录 D：数据获取决策树

你是否需要做「去标识算法」研究？
├─ 是 → 本语料是权威基准
│         ↓
│    能否完成 PhysioNet 认证 + CITI + DUA？
│         ├─ 能 → 申请本语料（本条目）
│         └─ 不能 → 用 i2b2-n2c2-nlp(14) 或公开子集替代
└─ 否 → 你需要的可能不是去标识语料
          ├─ 要临床自由文本样本 → mtsamples(350)
          ├─ 要现代去标识文本 → mimic-iv-note(47)
          └─ 要生物医学 NER → medmentions(390) / bc5cdr(415)

附录 E：PHI 类别映射对照表

BMC 原始（6 类）	pyhealth 工具（7 类）	说明
name	NAME + PROFESSION	工具把人名与临床医生名（职业）拆开
date	DATE	一致
location	LOCATION	一致
phone number	CONTACT	工具用更宽的「联系方式」
age over 89	AGE	一致
other	ID	其他可识别编号归入 ID
（undefined，3 例）	ID 或忽略	边界模糊样本

附录 F：构造 BIO 标注的伪代码

# 伪代码：从 id.text + id.res / id-phi.phrase 构造 token 级 BIO 标签
# 注意：需先通过 PhysioNet Credentialed Access 获取数据
texts = read("id.text")          # 2,434 份去标识笔记
spans = read("id-phi.phrase")     # 每处 PHI 的 (note_id, start, end, type)

for note_id, note in texts:
    tokens = tokenize(note)
    labels = ["O"] * len(tokens)
    for (s, e, phitype) in spans_of(note_id):
        first = token_index_covering(s)
        last  = token_index_covering(e)
        labels[first] = f"B-{phitype}"
        for i in range(first+1, last+1):
            labels[i] = f"I-{phitype}"
    yield (tokens, labels)

# 划分务必按患者（patient-level）而非按笔记，防同一患者泄漏

附录 G：deid 软件性能复现要点

• 语言：Perl；方法：词典查找 + 正则 + 启发式。
• 目标：HIPAA PHI + 扩展 PHI（医生名、年份）。
• 评测函数在 stats.pm；id.deid 文件含语料中 PHI 位置，作计算性能统计的参考。
• 预期结果（原论文）：开发语料 recall 0.967 / precision 0.749 / fallout ≈0.002。

附录 H：PHI 类别分布示意（定性）

姓名 name      ████████████████████████  >45%
日期 date      ██████████████
地点 location  ██████
电话 phone     ███
年龄 >89       █
其他 other     ██
（占比为定性示意，非精确比例；论文称姓名>45%，其中2/3为医生名）

附录 I：时间线总表

时间	事件
2003	Levine MIT 硕士论文：ICU 记录去标识
2004	Douglass et al., Computers in Cardiology 31:341-344
2005	Douglass MIT 硕士论文（导师 Roger G. Mark）
2005	Douglass et al., Computers in Cardiology 32:331-334
2006	Neamatullah MIT 硕士论文
2007-12-18	★ PhysioNet 发布 Deidentified Medical Text v1.0 + deid 软件
2007-12-19	BMC 论文投稿（Received）
2008-07-24	BMC Med Inform Decis Mak 8:32 正式发表
2014	i2b2/n2c2 de-identification 挑战赛（约晚 7 年）
2020	nedap/deidentify HDSM 论文，将本语料列为英文基准
2023	MIMIC-IV-Note 发布（约晚 16 年）

附录 J：许可与访问细读

项	内容
语料访问级别	Credentialed Access
前置条件	PhysioNet 账号 + CITI 培训 + DUA
可否再分发语料	❌ 不可
软件许可	GPL（可再分发）
设计理由	语料存在极小残余未检出 PHI 风险
对照资源	MIMIC-III/IV 同级门禁

附录 K：与相邻条目的对照总表

条目	rid	年代	文本类型	任务	获取
本条目	—	2007	ICU 护理笔记	PHI 去标识	Credentialed
mimic-iv-note	47	2023	MIMIC-IV 笔记	去标识文本	Credentialed
i2b2-n2c2-nlp	14	2006–2014	出院小结等	去标识/NLP 共享任务	DUA
mtsamples	350	较早	临床文本样本	教学/示例	公开
medmentions	390	较新	生物医学文献	实体标注	公开
bc5cdr	415	2015	文献	化学-疾病 NER	公开

附录 L：引用格式建议

Douglass M, Long B, Moody G, et al. Deidentified Medical Text (version 1.0).
PhysioNet. 2007. https://physionet.org/content/deidentifiedmedicaltext/1.0/

Neamatullah I, Douglass MM, Lehman LH, Reisler A, Villarroel M, Long WJ,
Szolovits P, Moody GB, Mark RG, Clifford GD. Automated de-identification of
free-text medical records. BMC Med Inform Decis Mak. 2008;8:32.
doi:10.1186/1472-6947-8-32

附录 M：双口径存照清单

项	口径 A	口径 B	处理
署名作者	词条页：Douglass, Long, Moody, et al.（3+）	论文：Neamatullah 等 10 人	两口径并列，正文注明
笔记数	正式发表：2,434	Douglass 2005 学位论文：over 2600	以 2,434 为准并注
PHI 数	正式发表：1,779	学位论文：over 1800	以 1,779 为准并注
发布日期	数据集条目：2007-12-18	论文：2008-07-24	双写
PHI 类别数	BMC：6 类	工具：7 类	双口径，正文说明

附录 N：检索关键词建议

Deidentified Medical Text、PhysioNet nursing notes、PHI de-identification corpus、MIMIC-II nursing notes、deid software、gold standard de-identification、clinical text anonymization、BMC 8:32 de-identification、Douglas nursing notes corpus、pyhealth PhysioNetDeIDDataset。

附录 O：坑点档案（与 §10 对照）

编号	坑	一句话规避
坑 1	金标准 1.0 当算法性能	分清语料质量与算法成绩
坑 2	忽视认证获取成本	立项先算 CITI+DUA 周期
坑 3	MIMIC-II 对齐 MIMIC-IV	无映射，勿对齐
坑 4	6 类/7 类混比	先核对标签口径
坑 5	富集难例当脏数据	那是刻意设计的 precision 试金石
坑 6	2,434/2,600 混用	以正式发表为准
坑 7	软件 GPL 当语料开放	逐资产核对许可
坑 8	按笔记划分训练集	必须按患者划分

附录 P：使用本语料的完整工作流（SOP 模板）

阶段 0：资质准备
  ├─ 注册 PhysioNet 账号
  ├─ 完成 CITI 培训课程（留证书）
  └─ 签署数据使用协议 DUA（确认用途范围）

阶段 1：获取与清点
  ├─ 从语料条目下载 id.text / id.res
  ├─ 从 deid 软件包获取 id-phi.phrase（PHI 位置）
  └─ 核对：是否 2,434 份笔记？是否含患者 ID 字段？

阶段 2：口径统一
  ├─ 决定用 6 类（BMC）还是 7 类（工具）标签
  ├─ 显式写出类别映射表，存档
  └─ 全文统一，避免混用

阶段 3：构造标注
  ├─ 由 id.res / id-phi.phrase 对齐出 (start, end, type)
  ├─ 转 token 级 BIO 标签
  └─ 检查：跨度是否覆盖完整？有无跨界？

阶段 4：划分
  ├─ 按患者（patient-level）划分，如 60/20/20
  ├─ 校验：患者不跨集
  └─ 固定随机种子，存档

阶段 5：训练与评测
  ├─ 逐类计算 P / R / F1（尤其长尾类别）
  ├─ 同时报告 fallout 与绝对漏检数
  └─ 与 deid 基线（recall 0.967 / precision 0.749）对比

阶段 6：报告
  ├─ 声明：数据版本 v1.0、标签口径、划分方式
  ├─ 声明：本语料残余风险不适用于临床部署
  └─ 引用 PhysioNet 条目 + BMC 论文

附录 Q：常见误解对照表

误解	正解
这是影像数据集	纯文本，护理笔记
有 2,434 名患者	163 名患者，2,434 份笔记
算法达到 1.0 recall	1.0 指语料标注质量，非算法成绩
能自由下载	Credentialed Access，需认证
软件开放=数据开放	软件 GPL，语料受限
MIMIC-II 患者可在 MIMIC-IV 找到	去标识后无映射，不可对齐
6 类和 7 类 PHI 可直接比数字	口径不同，须先映射
笔记数就是 2,600	正式发表口径 2,434

附录 R：检索决策树

你要找什么？
├─ 去标识算法基准
│    ├─ 英文、够权威 → 本条目（Credentialed Access）
│    └─ 想要开放获取 → i2b2-n2c2-nlp(14) / mtsamples(350)
├─ 现代临床自由文本
│    └─ mimic-iv-note(47)
├─ 生物医学实体标注
│    └─ medmentions(390) / bc5cdr(415) / chemdner(450)
├─ 医学文本问答
│    └─ pubmedqa(49)
└─ 生理信号 / 影像
     └─ 见库内对应条目（非本条目）

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• medsecid — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 评测基准 / 临床电子病历
• labelled-notes-hospital-course — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 评测基准 / 临床电子病历
• discharge-summary-templates — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 命名实体识别 / 评测基准
• mediqa — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 评测基准 / 临床电子病历
• ehrsql — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 评测基准 / 临床电子病历
• synsum — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 评测基准 / 临床电子病历
• semclinbr — 共享标签：医疗NLP / 临床文本 / 命名实体识别 / 临床电子病历
• mimic-patient-json — 共享标签：临床文本 / 电子健康记录 / 评测基准 / 临床电子病历
• brateca — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 临床电子病历
• meddec — 共享标签：医疗NLP / 临床文本 / 电子健康记录 / 命名实体识别

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。