多中心实证:年轻医生只识破15.8%的GPT-4o医学幻觉,风险越高的错反而没被查得更严
9月24日,《npj Digital Medicine》在线发表一项多中心横断面研究:研究者系统检测并分类GPT-4o在多种临床场景下生成的医学幻觉,再量化评估初级职称临床医师的实际识别能力。结果显示幻觉总体识别率仅15.8%,13.1%的医师在所有场景中一个幻觉都没发现;更值得注意的是,识别率并不随临床风险升高而改善,且识别能力的变异主要来自医师之间的差异而非场景之间的差异。作者据此指出「clinician-in-the-loop」这一主流安全设定在真实使用中未必成立。
15.8%与13.1%:「医生在环」这道安全假设第一次被数据自己否掉
趋势前瞻 × AI技术供应商/创业者 | 影响分析 × 医院信息化/临床医生 | 深度研报
2026年9月24日,《npj Digital Medicine》在线发表一项多中心横断面研究:研究者系统检测并分类GPT-4o在多种临床场景下生成的医学幻觉,再交由初级职称临床医师逐一辨认,总体识别率只有15.8%,13.1%的医师在所有场景中一个幻觉都没发现。更刺眼的是第三点,识别率并不随临床风险升高而改善。行业多年把 clinician-in-the-loop 当作最后一道安全网,默认医生看一遍就能兜住模型的错,而这一次数据否掉的正是这个前提。
开场:把「医生看一遍就行」当成安全网,行业默认了很久
大模型会胡说早已不是新闻。产业界的回应不是消灭幻觉,而是在流程末端放一个人:说明书里写仅供参考、须由医师确认,医院把审核写进操作规程,监管把辅助二字作为风险分级前提。这些安排共用一个前提:人的复核是有效的。它长期未被追问,是因为便宜且难以证伪,出错时归咎于个人疏忽即可,制度与产品都不必为设计负责。
这个前提承担的重量远超流程图上的一格。既然医生在环被假定有效,模型幻觉率就不再是唯一验收指标,产品方可以把精力放在交互与覆盖面上,医院把培训压缩成一次告知,审评把风险等级稳稳压在低档。承重的假设最需要测量,却往往最晚被测量,因为测量它会同时威胁供应商的产品叙事、医院的管理成本与监管的分级逻辑。
这次的测量方式相当朴素。多中心横断面研究不做干预,只做一件事:先把GPT-4o生成的医学幻觉找准、分类,再让初级职称临床医师辨认能抓住多少。论文已开放获取,DOI为10.1038/s41746-026-03294-x。设计上没有刻意刁难,只是把医生看一遍单独称了一次重量,结果让三方都不太好接。
15.8%与13.1%:两个数字讲了两件不同的事
15.8%讲的是平均水平。把不同临床类别、不同风险等级的幻觉放在一起,初级医师能识别出的比例约为六分之一。它衡量的是这支人群的能力基线,也暗含一种乐观读法:只要有人在,总能拦下一部分。但平均值在安全语境里最易被误用,它把抓得多的人与一个都抓不住的人压成同一个数字,而出事的永远在后者那一侧。
13.1%讲的是尾部。有13.1%的医师在所有场景中一个幻觉都没发现,识别数为零。安全工程以尾部为设计依据:系统不会只在其余时间里出错,它会在那13.1%的人手上完整地错一次,并带着临床后果落地。两个数字并排放着,说的是两件不同的事,一个是能力不足,一个是能力缺失,后者无法靠拉高平均值消除。
对供应商而言,这两个数字把提示用户核实这类免责式设计的效力压到了低点。免责声明的实际效力取决于阅读者有能力发现错误,当发现概率只有六分之一、且有一成多人完全发现不了时,提示不构成控制措施,只构成责任转移。这不是措辞问题,而是架构问题:有效的控制不能依赖复核者当时的识别能力。
风险越高越查不出:这条反直觉结论的分量
正常的直觉是风险敏感。面对高危决策,人会提高警觉、核对更多来源、放慢节奏,这也是高风险场景被认为自带一层保护的原因。研究结论恰好相反:识别率并不随临床风险升高而改善。最危险的幻觉没有换来更严格的检查,它和其他幻觉一样以大致相同的概率被放过去,风险等级在人工复核这一环没有产生可观测的增益。
这条结论关闭了一条退路。若识别率随风险上升而改善,行业还能说:低风险场景出错无妨,反正高风险时医生会盯得更紧。数据不支持这种分层乐观。风险分级界面、红色警示、强制二次确认,这些按风险强度递增的交互,前提是人对风险强度作出相应反应;当这种反应在实测中不出现,分级提示就只剩形式,甚至制造出已经把住关的错觉。
对临床一侧,它提示了一件更不舒服的事:医生的注意力分配未必由客观风险决定,而更可能由内容的可信外观决定。大模型输出的共同特征是表述流畅、结构完整、语气确定,这类外观对复核的杀伤力不随风险等级变化。问题于是从医生不够认真,转向复核本身缺少抓手:没有参照、没有出处、没有矛盾点可寻时,认真就没有着力处。
差异来自医生之间,不在场景之间
研究对变异来源给出了方向明确的判断:识别能力的差异主要来自医师之间,而不是场景之间。这个区分很关键。若差异主要来自场景,说明某些类型的幻觉格外隐蔽,解法在模型与提示侧;若来自人,那么同一道题在不同医师手上结果不同,短板落在复核者一侧,而落在人一侧的问题通常难靠一次版本更新解决。
落在人一侧还意味着加强培训并非天然有效。泛化培训假设所有医师缺的是同一件东西,而医师间差异占主导恰恰说明缺的东西并不统一:有人缺核对习惯,有人缺领域知识,有人缺对模型输出应有的不信任基线。统一培训或许能抬高平均值,却未必触及那13.1%。这也解释了同一套系统在不同科室为何会分叉得厉害。
作者的指向是可操作的:未来临床应用需要结构化的人机协作流程与分级临床认证路径,用制度而非自觉来确保患者安全。对医院信息化一方,这应当改写采购与验收语言。评估一套临床AI,只问准确率不够,还要问它是否提供可核查的出处、是否强制关键字段人工确认、是否记录复核行为。把医生在环从一句承诺变成可审计的流程,是这项研究最实际的工程含义。
冷静观察:模拟场景会放大还是缩小真实缺口,需要一个真实部署的答案
局限必须摆在同一页上。这是模拟场景下的研究,不是真实诊疗流程中的观察;被测模型只有GPT-4o一个,且是2024年7月网页版本,结论不能自动外推到其他模型或更新版本;论文早访问版本尚未披露参与的中心数与医师人数,样本规模与中心间异质性无从判断。这些限制决定了15.8%与13.1%不能当作普适常数引用。
更值得追问的是偏差方向。模拟场景可能放大缺口,因为真实诊室里有病历、检验值与既往用药可供交叉验证;也可能缩小缺口,因为真实环境有时间压力、频繁中断与疲劳,而这些恰是复核最容易失效的时刻。两种作用同时存在,因此在真实部署中被测出来之前,这组数字宜被理解为一个量级提示,而非可写进标书的刻度。
该做的事因此很清楚。供应商需要把用户能否发现错误当作可测的产品指标,而不是一句使用条款;临床机构也需要在自己的工作流里做一次识别率测量,用本院数据、医师与场景。模型版本的限定也是个提醒:任何声称已解决幻觉的产品,都该说明它在什么版本、什么场景、什么人群上被验证过。安全假设进入流程后,就该像其他临床环节一样定期复测。
原文链接:npj Digital Medicine(DOI: 10.1038/s41746-026-03294-x)
千方医数集编辑部 出品

