10种GPT-5配置跑161例真实病例:检索越激进反而越差
《npj Digital Medicine》于2026年10月9日上线一项研究,由宾夕法尼亚大学、斯坦福大学、麻省总医院、耶鲁大学与美国国立卫生研究院国家医学图书馆等机构合作完成,对10种基于GPT-5的配置做了系统定量分析,测试集为161例经临床医生验证的真实世界病例。每个模型从诊断准确率、推理质量、检索准确率、证据整合与对低质量输入的鲁棒性五个维度评估。发现的局限包括图像误读、联网搜索表现不稳定且有时会拉低性能、智能体工作流的透明度不足。同时也确认了模型的长处:能有效利用患者病史、给出清晰的逐步推理、生成合理的鉴别诊断、显式推理可提升特异度、能检索到相关证据。
10种GPT-5配置跑完161例真实病例:检索越激进,诊断反而未必更准
趋势前瞻 × 投资人与产业分析师 | 数据视角 × 医疗数据从业者 | 行业观察
开场:把通用智能体的复杂度本身当成变量来测
过去两年,医疗人工智能 (Artificial Intelligence, AI) 的公开讨论,大多停留在「底座模型够不够强」这一个维度。可一旦系统同时具备语言理解、联网数据检索与多步推理能力,真正决定它能否进临床的,往往是另一件事:这套系统被搭得有多复杂,以及这份复杂换来了什么、又付出了什么。
《npj Digital Medicine》在2026年10月9日上线的一项研究,选择把复杂度本身当作自变量来处理。由宾夕法尼亚大学、斯坦福大学、麻省总医院、耶鲁大学与美国国立卫生研究院 (NIH) 国家医学图书馆等机构合作完成的这项工作,没有只测某一个模型,而是围绕 GPT-5 搭建了十种不同配置,覆盖从直接调用到叠加检索、再到引入智能体工作流 (Agentic Workflow) 的不同形态,最后用同一批真实世界病例做横向比较。
这种方法学的价值在于,它把「加检索有没有用」「多步智能体会不会更准」这类长期停留在经验层面的争论,变成了可度量的对照实验。对投资人与产业分析师而言,它也划出了一条评估产品时的实用分界线:性能差异究竟来自底座模型,还是来自工程编排。
从产业视角看,这件事之所以重要,是因为过去一段时间里,集成语言理解、联网数据检索与多步推理的下一代医疗 AI 系统,在技术评测中展现出的潜力不断提升;但它们在真实世界中的诊断表现、可解释性与可靠性究竟如何,始终缺少系统性的定量回答。这项研究正是在这个缺口上落笔。
测了什么:10种配置、161例临床医生验证病例、五个评估维度
研究的分析对象,是十种基于 GPT-5 的配置。测试集则是161例经临床医生验证的真实世界病例,这一点尤为关键——它意味着评测并非在人工构造的题库上完成,而是落在带有噪声、缺失与冗余信息的真实临床材料上。
每个模型从五个维度被评估:诊断准确率、推理质量、检索准确率、证据整合,以及对低质量输入的鲁棒性 (Robustness)。前三项衡量的是模型能不能答对、能不能说清楚、能不能查到正确的东西;后两项则更贴近部署现场:查到的证据有没有被真正用进结论里,以及当输入图像或文本质量下滑时,系统表现会不会整体塌陷。
对医疗数据从业者来说,这五个维度的组合本身就是一份输入治理清单。它提示了一件常被忽略的事——模型表现的上限,往往先被输入数据的质量锁死,而不是先被参数规模锁死。
之所以要把鲁棒性单列为一项,是因为真实世界的临床材料从来不是干净的。图像的拍摄角度、清晰度与完整性,文本里的口语化表述与记录缺失,都会构成低质量输入。当系统必须在这样的条件下作答时,能否守住下限,往往比在理想输入上多拿几个百分点更能反映可用性。把鲁棒性与诊断准确率并列,本身就说明评测不该只在最优条件下进行。
短处在哪:图像误读、联网搜索不稳定、智能体透明度不足
三项局限被明确点出。其一是图像误读:模型在多模态 (Multimodal) 输入上仍会出现视觉信息的错误解读,而这类错误在临床语境中风险并不对称,一旦发生,代价远高于文本理解上的偏差。
其二是联网搜索表现不稳定,且有时会拉低性能。这是一个反直觉的结论:检索并不总是增益。当检索结果本身噪声偏高,或检索策略过于激进时,额外引入的外部信息会干扰模型自身的判断链条,使综合表现不升反降。
其三是智能体工作流的透明度不足。多步编排抬高了能力上限,却同时让决策路径更难追溯——模型为什么会走到这一步、在哪一步引用了哪条证据,对使用者并不总是可见。在需要划分责任的临床场景里,这种不透明本身就是一项风险。
把三项局限放在一起看,会发现它们指向的是同一类问题:系统的薄弱环节,集中在输入侧与过程侧,而不是输出侧。图像误读发生在信息进入模型之前,检索不稳定发生在补充信息的过程中,透明度不足则发生在结论形成之后、交付给使用者之前。这也意味着,单纯更换底座模型,未必能同时解决这三个问题。
长处也在:病史利用、逐步推理、显式推理提升特异度
局限之外,研究同样确认了多项长处。其一,能有效利用患者病史,把纵向信息纳入判断,而不是只针对当下主诉作答。其二,能给出清晰的逐步推理,使结论的推导过程可被审阅。其三,能生成合理的鉴别诊断 (Differential Diagnosis),在不确定的情境中提供可用的候选排序。
其四,显式推理可提升特异度 (Specificity)——当模型被要求把推理过程写出来,它在排除不必要选项上的表现有所改善,这对抑制过度诊断倾向具有实际意义。其五,能检索到相关证据,说明检索环节本身并未失效,问题更多出在检索与整合之间。
值得注意的是,长处与短处并非各自孤立:模型查得到证据,却未必整合得好;推理写得清楚,却仍可能建立在被误读的图像之上。能力的不均衡,比能力的绝对值更值得关注。
对产品侧而言,这份长处清单也提示了能力落地的先后顺序。病史利用与逐步推理是相对成熟的能力,适合优先嵌入真实工作流;而证据整合与视觉推理则属于仍存缺口的环节,在缺少人工复核的前提下直接承担诊断职责,风险显然更高。长处与短处之间并不互相抵消,它们会同时出现在一次真实问诊里。
冷静观察:可靠性取决于透明推理与高质量输入,而不是更激进的检索
综合来看,研究的总体结论相当克制:真实世界多模态诊断表现的可靠性,更多取决于透明的推理过程与高质量的输入,而不是更激进的检索或更复杂的智能体工作流。证据整合与视觉推理上持续存在的缺口,仍是阻碍这类系统进入常规临床使用的主要障碍。
相应的部署建议有三条:优先选择推理优化型模型;改进用于反思与纠错的信息检索机制;加强视觉与文本的融合,并为图像质量与清晰度建立实用标准。三条建议指向的是同一个方向——与其向外堆叠能力,不如向内夯实环节。
其中,把检索机制的改进明确限定在反思与纠错这一用途上,是对「检索越激进越好」这一默认假设的直接修正:检索的价值不在于把更多信息灌进上下文,而在于让模型有机会回头检查并修正自己的判断。为图像质量建立标准,同样是把动作前移到输入环节。
还需要提醒的是,161例病例的一次评测,不应被解读为 GPT-5 在临床场景中的总体能力定论。它更接近一张切片,标注的是当下这一类系统在真实材料上的能力边界与失效模式,而不是终局判断。
原文链接:npj Digital Medicine
千方医数集编辑部 出品

