病历里一句「近12个月就诊17次」,让近10%高风险患者被AI分诊降级:UTSW两中心研究揭示急诊大模型继承临床污名
UT西南医学中心10月20日发表于npj Digital Medicine的研究,用斯坦福医学中心与贝斯以色列女执事医疗中心两家学术急诊科的病历做配对,让三个开源大模型预测哪位患者更可能恶化。加入「12个月内17次就诊」等与即刻病情无关的污名化信息后,最高近10%的高风险患者被模型错误降级;频繁急诊与精神急诊史影响最显著,与人类分诊中「frequent flyer」标签的偏见同构。
影响分析 × 医院信息化/临床医生 | 数据视角 × 医疗数据从业者 | 深度研报
UT西南医学中心团队10月20日发表于npj Digital Medicine的研究,把两家学术中心急诊科的病历两两配对,让三个开源大模型判断哪位患者更可能恶化、更该优先救治。加入与即刻病情无关的污名化措辞后,最高近10%的高风险患者被错误降级,其中频繁急诊使用者与精神急诊史标签的效应最强。而在未加入人口学、社会性信息的基线条件下,三个模型识别高风险患者的比率都远高于随机,反差由此格外锋利。
开场:一句病历措辞,让AI把最需要救治的患者往后排
急诊分诊本质上是资源竞争下的排序决策,谁先看诊、谁先占检查设备,取决于对恶化风险的判断。当大模型介入这一判断,它读到的几乎唯一输入是病历里被人写下的词句,而不是躺在推床上的那个人。第一作者、UT西南医学中心急诊医学助理教授Philip Jarrett的表述很直接:措辞要紧,因为AI模型处理的是我们用来描述患者的语言,污名化措辞会把临床医生的方向引离最需要救治的患者。
作者把这项研究归进一个更大的课题:临床信息应当以什么方式呈现给AI,它才能安全地帮助急诊患者在有限资源下排序。这个定位决定了结论的落点不在某款产品的好坏,而在信息呈现这一上游环节的工程属性。
研究设计:两家学术中心急诊病历配对,三个开源大模型预测恶化
素材取自两家大型学术机构的急诊科病历:加州的Stanford Medicine与马萨诸塞州的Beth Israel Deaconess Medical Center。研究者先按初始病情严重程度相近的条件把患者两两配对,再让三个开源大语言模型预测哪一位更可能恶化、更应获得优先救治。基线条件下,也就是尚未追加人口学、社会性或可能带污名的信息时,三个模型识别高风险患者的比率都远高于随机水平。
随后,研究者分批往病历里加入不同类型的信息,包括精神健康与物质使用史、年龄、急诊使用模式,观察模型决策如何改变。核心设计是中性与污名化措辞的直接对照:一边是「established patient with multiple chronic conditions」,即患多种慢性病的长期随诊病人;另一边是「17 visits in the past 12 months」,即近12个月内就诊17次。物质使用场景同样成对出现:「opioid use disorder, on maintenance therapy」对上「active IV drug use, heroin, last use today」。事实没有变,改变的只是描述方式。
以最小的措辞扰动去测量输出排序的变化,是本设计最值得临床借鉴的一点。它没有试图复现真实分诊台的全部变量,而是把 Sensitivity 问题压缩到可控范围内,使结果可以被归因,也可以被别的团队用同样方法复跑。
核心发现:污名化信息加入后,最高近10%高风险患者被错误降级
结果是,与即刻病情无关的信息确实改写了排序。部分情形下,这些细节会让模型下调那些后来发生严重恶化的患者的优先级;研究给出的量级是,加入污名化信息后接近10%的患者被错误降级。对急诊科来说,这个数字的分量在于方向错误,被推后的恰恰是后来病情转重的那批人。
效应最强的两类标签是频繁急诊使用者与精神急诊既往史。这两项一旦写入,模型就更倾向于把实际处于更高恶化风险的患者往后排。但并非所有信息都以同一方式起作用:部分物质使用场景中,模型的反应与研究者预期不一致;年龄也影响了部分决策,研究者认为那更可能反映高龄本身携带的更高医疗风险,而非年龄偏见。语言到模型内部表征的映射并不线性,这层复杂性不是一句「少写污名词」能覆盖的。
两位作者的表态分别对准操作与技术两端。Jarrett强调偏见因模型而异,每款AI工具在使用前都应针对真实患者结局做检验;Jamieson则用一句话概括风险形态:在这项研究中,有时仅仅增加一个细节,就把模型的优先级从后来真正恶化的患者身上移开了。
偏见机制:frequent flyer标签如何与人类分诊偏见同构
「frequent flyer」是急诊语境里长期存在的非正式标签,指反复就诊的患者;人类分诊给这类患者较低优先级,是文献与临床经验都承认的现象。这项研究的发现是,大模型把这一偏见从人类写下的文本里读了出来,并在排序任务上复现了它。模型并未被显式告知频繁就诊等于低风险,它只是从语料与语境中学会了这两个词之间的距离。
这意味着偏见不必藏在模型权重里,而是可以沿着病历文书这条通道被直接送进去。对数据从业者有两层含义:其一,去标识与脱敏通常盯的是姓名、证件号、日期这类标识符,而在本场景中真正驱动差别的,是完全合规的历史就诊计数与诊断措辞;其二,偏见随模型而变,供应商之间不可互换,任何评测结论都必须绑定到具体模型版本与具体提示形式。
从临床一侧看,约束语言也不是单向收益。医生写下「频繁就诊」往往是为了传递真实的社会处境与随访困难,粗暴删词可能削弱信息的有效性。作者给出的方向是把注意力放在「病史如何被描述」上,而不是简单要求医生少写几个词。
冷静观察:单一细节即可改变排序,病历文书标准化已成AI时代前置工程
口径必须收紧。这项研究用的是两家学术中心急诊病历的配对构造,让模型在受控条件下做相对比较,它证明的是输入措辞能够改变输出排序,而不是某款商用分诊产品在真实部署中的伤害率。研究未涉及具体商用产品,也未报告匹配的真实患者结局数据;作者把下一步定义为结合结构化数据与临床文本开发恶化预测模型,等于承认从措辞敏感到临床影响之间仍有距离。资助来自UT西南医学中心校长办公室的机构经费,以及国家急诊医学基金会用于后续研究的资助,这是评估时应记录的背景。
即便如此,结论对准备上线AI分诊工具的医院已经可以直接使用。Jarrett的建议是逐个工具针对真实患者结局做检验,等于把厂商提供的通用准确率排除在验收标准之外;Jamieson提醒每个大模型的偏见形态不同,则意味着评测要分版本、分任务完成,不能用一次招标覆盖后续所有升级。
真正的前置工程在病历这一侧。当排序结果可以被一个短语推动,文书规范与措辞就不再是质控部门的格式要求,而是模型输入的确定性保障。医院在比较供应商参数之前,先盘点自己病历里有哪些高频评价性表达,可能更能决定上线后的公平性表现。
原文链接:UT Southwestern Medical Center(npj Digital Medicine)
千方医数集编辑部 出品

