npj Digital Medicine：919783 份临床记录抽取 11 类物质使用障碍，规则加语义接地剔除 14.59% 无依据结果，主模型 F1 0.80

数据视角 × 医疗数据从业者 ｜ 事实报道 × 监管与合规专家 ｜ 深度研报

卡住临床信息抽取规模化的，往往不是模型抽不出来，而是没法说清抽出来的东西有多少可信。《npj Digital Medicine》2026 年 10 月 16 日刊出的一项工作把六个验证环节串成闭环，在 919783 份临床记录上抽取 11 类物质使用障碍诊断，规则和语义接地剔掉 14.59% 无原文支持或结构不合理的阳性结果，主模型 F1 0.80。

开场：卡住病历抽取的不只是模型能力，而是没有可扩展、可信的验证手段

大模型从非结构化病历里读信息早已不是难点，真正的瓶颈在验收环节：传统评估依赖人工密集标注的参考标准，而结构化字段本身又不完整，用作对照会低估模型的真实表现。结果是，跑通几万份病历的实验很多，能装进人群规模数据管线的很少。该团队把问题重新表述为一个弱监督下的不确定性度量问题——不必给每条结果都盖上人工金标准的章，而是通过多策略交叉降低成本，把不确定性量化到可以交付的程度。这一定位对医疗数据从业者尤其贴合：评估环节若能吃下百万级语料，抽取结果才能从一次性研究走向日常生产，否则每条新数据上线都要重做一轮标注预算。

六环节流水线：提示校准、规则过滤、语义接地、裁判 LLM 评估、专家复核、预测效度分析依次串成闭环

框架由六个互补环节组成。第一步是提示校准，先在少量样本上稳定模型的抽取口径，减少同一语义在不同表述下的漂移；第二步规则过滤，用确定性规则扫掉明显违背常识与结构约束的抽取结果；第三步语义接地，把每条抽取与原文中的具体片段对齐，无出处支撑者不予保留；第四步引入裁判 LLM 评估，用另一个模型对抽取结果逐条判分；第五步专家复核，由主题专家只针对高不确定性样本介入；第六步预测效度分析，检验抽取结果能否预测下游的真实临床行为。六环节的价值在于互为补充而非互相替代：前三环节成本低廉且可规模化处理百万级记录，后三环节昂贵却提供可靠性的锚点，昂贵的人工判断因此被集中投放到信息量最大的那批样本上。整套设计并未试图取代参考标准，而是把参考标准的使用范围压缩到可控规模。

规模与清洗：919783 份临床记录上抽取 11 类物质使用障碍诊断，规则过滤与语义接地剔除 14.59% 无原文支持或结构不合理的阳性抽取

任务设定为从 919783 份临床记录中识别 11 类物质的物质使用障碍诊断，这是一个足够大、也足够脏的规模，足以暴露小样本实验中看不到的问题。清洗环节给出了一枚关键数字：规则过滤与语义接地合计剔除了 14.59% 由 LLM 判为阳性的抽取，剔除理由分为两类——原文中找不到支撑依据，或诊断陈述在结构上不成立。从数据治理的角度看，这 14.59% 正是单纯依赖模型自述置信度时会一路带到下游的噪声；把它量化出来，等于给整条抽取链路加了一道可审计的容错层，也让后续 F1 的分子分母有了明确边界。对每天要决定是否把 LLM 抽取结果写进数据仓库的人来说，这个百分比比任何精度指标更实用：它直接说明，跳过接地与规则环节的产品，每七条阳性结果里大约就有一条站不住脚。

证据落到监管口径：高不确定性样本上裁判 LLM 与主题专家达 substantial agreement，以裁判为参照主 LLM 的 F1 为 0.80，且比结构化数据基线更能预测后续 SUD 专科就诊参与

可靠性证据分三层。第一层是裁判 LLM 与主题专家的一致性：在模型最不确定的那批高不确定性样本上，二者达到 substantial agreement，说明用裁判替代全量人工标注是可辩护的折中。第二层是主模型的表现：以裁判评估作为参照标准，主 LLM 的 F1 为 0.80。第三层是预测效度——用 LLM 抽取出的物质使用障碍诊断去预测患者后续是否实际参与 SUD 专科诊疗，其准确度高于结构化数据基线。第三层最值得监管关注，因为它不依赖任何标注质量，只看抽取结果是否与真实世界行为同向——即便上游参照存在偏差，预测效度仍能独立证明这批数据有用。三层证据若共用同一套假设，容易互相印证也容易一起出错，因此作者刻意把它们设计成参照标准互不相同的独立检查，任一环节失效都不至于让整份结论一起塌掉。论文 2026 年 3 月 27 日收到、9 月 19 日接受，DOI 为 10.1038/s41746-026-03341-7，通讯作者为 Oak Ridge National Laboratory 的 Maria Mahbub，合作方包括退伍军人事务部多个医疗体系、范德堡大学医学中心与耶鲁医学院，作者声明无竞争利益。

冷静观察：F1 0.80 的参照是裁判 LLM 而非全量人工金标准，语料来自退伍军人健康管理局体系且建模为该体系定制，结果明确不外推至 VHA 之外

数字的含义需要连同口径一起读。F1 0.80 的参照是裁判 LLM 的评估，而不是全量人工标注的金标准，因此它证明的是在这一人机闭环内的稳定表现，而非对该任务的绝对精度；剩余误差空间意味着这套输出更适合人群监测、队列构建与质量改进等下游分析，尚不足以直接落到个体的诊断决策上。语料来自美国退伍军人健康管理局系统，建模针对该体系的文书习惯与诊疗路径定制，论文明确写明结果不外推至 VHA 之外，且被 VHA 正式视为非研究。数据与计算资源依托退伍军人事务部与能源部科学办公室在 Oak Ridge National Laboratory 建设的知识发现基础设施，Oak Ridge National Laboratory 就患者数据的二次使用取得了机构审查委员会批准；这些合规安排本身也是这类流水线能否被复制的前提。此外，论文只报告了综合 F1，未逐类给出 11 类物质的精确率与召回率，低发物质的抽取表现无法从现有数字中还原。还有一个容易被忽略的前提：14.59% 的剔除基于规则与接地环节的判断，这套判断本身也会误伤，论文未给出被剔除样本的人工复核结果，因此它应被读作保守筛除而非精确纠错。把这些限定摊开后，这项工作的核心贡献反而更清楚——交付的是一套可复用的验证脚手架，而不是某一个不可迁移的分数。

原文链接：npj Digital Medicine

千方医数集编辑部 出品