深度研报

《内科年鉴》基准:6个大模型4050条答复中过度医疗建议率5.4%,甲状腺结节超声一项却高达42.8%

发布于
阅读 10
#深度研报#Annals of Internal Medicine#Choosing Wisely#过度医疗#大语言模型#基准测试#甲状腺超声#心电图#临床决策支持#美国
《内科年鉴》基准:6个大模型4050条答复中过度医疗建议率5.4%,甲状腺结节超声一项却高达42.8%

以色列本-古里安大学与 Clalit 团队以 Choosing Wisely 的 15 条推荐为标尺,构造 225 个临床情景,让 6 个商用大模型各跑 3 次、共形成 4,050 条答复。结果是整体过度使用率仅 5.4%、错误克制率 0.6%,但集中度极高:甲状腺结节超声达 42.8%、低危成人常规心电图 28.3%,其余推荐在 0.6% 至 3.3% 之间,且同一病例上不同模型的过度使用比例从不到 10% 到 80% 不等。需注意这是单轮提示的基准测试,并非真实世界使用情况。

事实报道 × 医院信息化/临床医生 | 趋势前瞻 × 监管与合规专家 | 深度研报

6个商用大语言模型面对225个临床情景、各重复作答3次,共留下4050条答复:整体过度使用率为5.4%,错误克制率为0.6%。但平均值掩盖了明显的风险集中,偶发亚厘米甲状腺结节的超声建议过度使用率达到42.8%,低危成人常规心电图也有28.3%;同一病例上,不同模型给出不必要检查的比例可从不到10%拉开到80%。

开场:AI的临床克制如何被量化

语言模型从人类临床文献中学习,不只会继承知识,也可能把医生不够自律的检查习惯一并学走。Clalit家庭医生、研究第一作者Dean Ariel由此追问:模型是否也学会了克制。以色列本-古里安大学内盖夫分校与Clalit健康服务、Rabin医学中心团队,把这个抽象问题变成了一套可计数的测试。

团队以国际Choosing Wisely运动的15条推荐为骨架,为每条推荐构造10个应当克制的场景和5个应当行动的场景,共形成225个临床情景。来自OpenAI、Anthropic、Google生产API的6个商用大语言模型,对每个场景各运行3次,最终生成4050条答复;模型调用发生在2026年2月至3月。研究关注两个共同主要结局:不该做时仍建议行动的过度使用率,以及该做时反而建议不做的错误克制率。

这套设计的价值,在于同时放入了克制题与行动题。只看模型会不会拒绝检查,可能把一味保守误当成谨慎;同时检查它会不会拦住必要行动,才能判断所谓克制是否以漏掉治疗为代价。AI会不会开出多余检查,也因此从担忧变成了可以逐项核对的比例。

5.4%与0.6%意味着什么

整体结果比最悲观的想象更克制。模型过度使用率为5.4%,95%置信区间为0.6%至12.2%;15条推荐中有8条一次过度使用也没有出现。错误克制率为0.6%,95%置信区间为0.1%至1.2%;15条推荐中有11条保持为0。错误克制最高的项目是PSA筛查,比例也只有3.3%。

从临床医生立场看,这两个方向必须合在一起读。5.4%说明模型并非从不追加不必要项目,却也没有普遍把检查与治疗推向更多;0.6%则显示,它们很少用表面的谨慎挡住本该采取的行动。多数推荐上的零记录进一步说明,问题不是均匀散布在每一种临床决策中,而是聚集在少数特定情景。

但点估计不能被写成稳定不变的能力。过度使用率的95%置信区间从0.6%延伸至12.2%,明显比错误克制率的区间更宽。对医院来说,5.4%可以描述这组构造场景上的总体表现,却不能直接换算成门诊真实对话中的多余检查频率,更不能据此跳过逐专科、逐场景验证。

平均值下面的两块高风险区

把5.4%拆开后,风险形状立刻改变。偶发亚厘米甲状腺结节场景中,42.8%的答复建议了不必要的甲状腺超声;低危成人常规心电图场景中,过度使用率为28.3%。其余5条出现过过度使用的推荐,比例落在0.6%至3.3%之间。少数项目把总体平均数抬高,说明一个总分不足以告诉临床团队模型究竟会在哪里失守。

作者给出的解释并不是模型单方面不懂医学。美国甲状腺协会与美国放射学会对亚厘米结节是否需要影像随访本来就存在分歧,模型面对的是医学界尚未完全统一的灰色地带。心电图项目则多在患者主诉心悸时触发,而心悸情景下做心电图本就是合理的鉴别手段。看似违反克制推荐的回答,部分来自指南原则与具体症状之间的张力。

Guy Laban又补充了交流层面的原因:告诉焦虑患者不需要某项检查,是一种微妙的社会行为。人类医生需要顶住患者的坚持,语言模型却可能倾向顺着面前的人。更值得警惕的是模型间差异:完全相同的病例上,一个模型建议不必要检查的比例不到10%,另一个高达80%。医院选择哪一个模型,可能实际改变临床建议的边界,不能把不同产品视为可互换的同类工具。

从监管标尺看版本化评测

站在监管与合规专家立场,这项研究首先提供的不是一张厂商排行榜,而是一种可复用的外部评价结构。Choosing Wisely的15条推荐分别展开为10个克制场景和5个行动场景,让过度行动与过度保守同时接受检验。相较由厂商自行选择有利题目,这类固定临床标尺更适合作为准入评估或持续评价的共同底稿。

监管报告还不能只列5.4%和0.6%两个总数。42.8%与28.3%的局部高值说明,逐条推荐的分布必须披露;模型间不到10%到80%的跨度说明,模型间差异也必须保留。调用时间同样不能省略,本研究锁定的是2026年2月至3月期间的生产API。模型更新后,即使产品名称不变,原有结果也未必还能代表新版本,合规记录应把实际调用版本与时间一并锁定。

适用范围也要写进结论。研究采用单轮提示,没有追问;答复先由大语言模型评判,再由医生复核裁定;测试对象是构造情景,而非真实世界对话。研究者还明确提醒,结论可能不适用于直接面向患者开放的消费级聊天机器人。把这些限制写清,不是削弱结果,而是防止一个基准分数被越界用于患者端宣传或替代本地验证。

冷静观察:量化担忧不等于给出选型答案

这项研究最扎实的贡献,是把AI会不会推荐多余医疗从印象判断推进到可复核的数字,同时揭示平均表现与局部风险可以完全不同。模型总体上知道何时该停,却主要在医生自己也犹豫的地方绊倒。42.8%既暴露模型问题,也映照了专业学会之间原本存在的分歧,不能脱离这一背景单独使用。

它仍不是门诊效果研究。225个情景由推荐规则构造,单轮问答没有焦虑患者反复坚持的互动,也没有医生结合体征、既往史继续追问的过程。因此,这组结果不能直接回答模型进入真实诊疗后是否减少检查、是否影响患者结局,更不能仅凭总体过度使用率选择供应商。

下一步真正值得持续追踪的,正是研究者提出的压力测试:当患者坚持要求加做检查时,AI还能否维持正确的临床克制。对医院而言,现阶段更稳妥的读法是保留逐场景评估、关注模型版本,并把灰色地带单独列为高风险测试集。量化担忧是治理的起点,不是自动放行的终点。

原文链接:Annals of Internal Medicine(本-古里安大学 / Clalit 医疗服务)

千方医数集编辑部 出品

返回医药AI前沿资讯