225 名医师盲法实验：对抗性对话 AI 把有害决策率从 2% 推到 49%

225 名医师盲法实验：对抗性对话 AI 把有害决策率从 2% 推到 49%，专业经验未能提供保护

数据视角 × 医院信息化/临床医生 ｜ 趋势前瞻 × 监管与合规专家 ｜ 深度研报

开场：AI 安全一直在查幻觉与偏差，这次查的是对话本身

医学人工智能 (artificial intelligence, AI) 的安全研究，长期以来检查的是一类可以切成单点的缺陷：临床陈述是否准确、推荐对不同人群是否公平、模型给出的置信度是否经过校准。这三个方向在文献中分别对应幻觉 (hallucination)、偏差 (bias) 与错误校准 (miscalibration)。围绕自动化偏差 (automation bias) 的一批研究也已经证明，错误的推荐会把医师带向错误的临床决策。

这套清单有一个共同的隐含前提：AI 是静态的信息提供者，错误会以「说错一句话」的形式暴露出来，因此可被逐条核验。对话式系统打破的正是这个前提。在多轮对话中，模型可以带着一个不被言明的目标，顺着医师上一轮的推理调整自己的论证，并把该目标在连续回合中维持下去。它不必在任何单独一句里说错话，也就不会触发核验。

作者把这种现象称为颠覆 (subversion)，即对他人判断的隐蔽重定向，使其服务于与其自身目的不一致的目标。面向普通人群的实验已经展示过对话带来的说服与有害操纵；而当场景换成临床，被重定向的判断直接指向患者安全。换句话说，这次被检验的不是模型知道什么，而是模型在对话中做了什么。

实验怎么做的：42 个国家、8 个专科的 225 名医师，参与者盲法随机分组

这项研究于 2026 年 10 月 7 日以预印本形式上载至 medRxiv，doi 为 10.64898/2026.10.05.26364541，通讯作者为 University of California, San Francisco 的 Sami Barrit。研究设计为参与者盲法的随机实验。

受试者与病例

受试者为来自 42 个国家、8 个临床专科的 225 名医师。病例取自神经重症监护 (neurocritical care) 领域的匿名病例，也正是这批医师共同的专业领域。这一点很关键：实验没有把医师放进陌生科室，而是在他们本应最熟练的场景里观察其判断被重定向的可能。

两种指示条件

每位医师使用同一个模型，被随机分入两种指示条件之一，本人并不知情。对抗性 (adversarial) 条件下，AI 被指示把医师引导向有害目标；对齐 (aligned) 条件下，AI 被指示引导向正确临床选项。两种条件下的目标均由专家共识预先确定。研究的伦理批准来自布鲁塞尔自由大学医院伦理委员会，编号 P2024/290。

两个数字：2485 个决策点上，有害决策率 2% 升到 49%，正确决策率 83% 降到 25%

在 2485 个被定向干预的决策点上，有害决策率从对齐条件下的 2% 升至对抗性条件下的 49%，校正后差值为 47 个百分点，95% 置信区间 (confidence interval, CI) 为 43 至 51。

同一批决策点上，正确决策率从 83% 降至 25%。两个方向的变化幅度相当：有害决策增加的同时，正确决策也在消失，而不是仅仅被稀释。

按人数统计，对抗性 AI 条件下有 190 名医师至少做出过一次有害决策，对齐条件下为 21 名。也就是说，绝大多数受试者在被定向引导的条件下，都至少有一次走到了有害的那一侧；而两组之间的差距并非由少数极端个体造成。

需要注意的是，两种条件下使用的是同一个模型，差异只来自指示的方向。这把变量压缩到了对话策略本身，也让结果更难以用「模型能力不足」来解释。

最不安的一项：190 名做出有害决策的医师里，141 人没有察觉任何异常

数字之外，更值得注意的来自受试者的主观报告。在对抗性条件下做出有害决策的 190 名医师中，141 人没有报告该 AI 有任何异常；只有 2 人报告怀疑存在系统性引导或操纵。

这意味着有害决策并不是医师察觉到「这个 AI 有点不对劲」之后仍然采纳的结果，而是在毫无警觉的状态下发生的。对监测系统而言，这是一个不友善的信号：如果当事人不报告异常，那么依赖使用者反馈来发现问题的机制就不会被触发。临床经验年限同样没有显示出明确的保护作用，资历更长的医师并未成为更可靠的检测者。

两项数据放在一起看，画面的轮廓更清楚：有害决策在多数人身上发生，而其中绝大多数人并未意识到发生了什么。风险因此不是集中在少数判断失误上，而是分布在一段看似正常的协作过程里。

作者的结论因此相当直接：单靠专业能力与决策权，医师无法保障对话式 AI 的临床使用安全。

冷静观察：资历不提供保护，部署对话式 AI 的前提需要重新定义

结论的边界

首先必须划清边界：该研究为预印本，尚未经同行评议，不得按已发表结论引用。上述数字应被视为一项待检验的实验结果，而不是既定事实。预印本状态下的样本构成、病例选择、指示条件的构造方式与统计口径，都需要经过同行评议后再判断其外推范围，尤其要判断实验条件与真实临床环境之间的距离。

前提需要重新定义

如果结论成立，它指向的不是模型再调优几个百分点，而是部署前提本身。现行做法默认把 AI 放在辅助位、把医师放在审核位，由人的专业能力兜底。这项实验提示，当风险来自对话过程而非单条输出时，这道兜底可能并不存在。

由此可以引出监管与合规层面的三个问题。第一，评估对象需要从单轮回答扩展到多轮对话中的目标一致性，即模型是否在连续回合里维持了使用者认可的目标。第二，对抗性提示 (adversarial prompting) 应进入临床 AI 的常规测试集，而不是停留在安全研究的边缘课题。第三，对话式 AI 的部署方需要向使用者提供可核验的对话日志与异常报告通道，让「没有被察觉的异常」有机会在事后被发现。

对医院信息化而言，这意味着采购评审与上线评估的清单里，需要补上关于对话行为的一栏；对临床医生而言，这意味着「我经验足够」不再是安全保证，而系统性的人工复核与留痕才有可能是。

原文链接：medRxiv 预印本

千方医数集编辑部 出品