412例儿童肘部创伤:GPT-5.2 Instant判读敏感度56.10%、阳性预测值31.08%,41例骨折漏掉18例
土耳其 Van 培训与研究医院的前瞻性单中心研究连续纳入 412 名 0 至 17 岁急性肘部创伤患儿,把去标识化 X 光片经普通 ChatGPT 网页交由 GPT-5.2 Instant 判读。参考标准确认 41 例骨折,模型只认出 23 例、漏掉 18 例,敏感度 56.10%、阳性预测值 31.08%、kappa 仅 0.312。这只是单一接入方式与单一提示词下的结果,医生与 AI 的协作尚未被评估。
影响分析 × 医院信息化/临床医生 | 趋势前瞻 × AI技术供应商/创业者 | 深度研报
在412名急性肘部创伤患儿中,参考标准确认41例骨折,患病率为10.0%。GPT-5.2 Instant把74例判为骨折阳性,却只找出23例真骨折,漏掉18例:敏感度56.10%,阳性预测值31.08%,与参考标准的Cohen kappa仅0.312。总准确率83.25%和阴性预测值94.67%看似更高,但阴性似然比只有0.51,研究结论仍是不足以支持独立诊断或排除使用。
开场:把网页聊天模型放进急诊读片场景
急诊里,一个因急性肘部创伤就诊的孩子,留下正位与侧位肘关节X光片。土耳其Van培训与研究医院的急诊医学医生选择了最朴素的模型接入方式:从医院PACS导出去标识化影像,保存为PDF,再通过普通ChatGPT网页界面交给GPT-5.2 Instant判读。每个病例只提交1次,使用固定提示词,不做任何任务特定微调。
这是一项前瞻性、单中心诊断准确性研究,连续纳入2025年12月至2026年5月间因急性肘部创伤就诊的412名0至17岁患者。它评估的不是专门开发并集成到影像系统中的医疗器械,而是一位临床医生当下能够接触到的通用网页工具及其固定用法。因此,结果必须绑定这条输入链路、这个模型版本与这套提示条件来解释。
参考标准由人类专家建立。两名急诊医生独立评估每个病例,意见一致时形成最终诊断;意见不一致时,再交由独立放射科医生复核裁定。研究已经获得Van培训与研究医院非干预性临床研究伦理委员会于2025年10月24日批准,每位参与者的父母或法定监护人均签署书面知情同意,并且无外部资助、无利益冲突。
10.0%患病率如何放大假阳性
参考标准在412人中确认41例骨折,患病率为10.0%。换句话说,队列里大约每10名孩子中有9名没有骨折。这一基数决定了特异度、阳性预测值与总准确率必须结合起来看,任何倾向多报阳性的模型,都会在大量无骨折病例中积累假阳性。
GPT-5.2 Instant把74例判为骨折阳性,占全部病例的18.0%,明显高于真实骨折的41例。模型正确识别其中23例,因此其余判阳结果中包含大量错误判断。特异度为86.25%,孤立来看并不极低,但放进10.0%的低患病率队列,就得到仅31.08%的阳性预测值。按照研究中的直观换算,模型每报告3次骨折,约有2次是错的。
总准确率83.25%也容易制造错觉。由于大多数患儿原本没有骨折,只要较多地判断为阴性,就能获得不低的整体准确率。急诊医生真正需要知道的不是模型在全部病例上答对多少,而是它能否找到真实骨折、一次阳性提示有多可信,以及一次阴性结果能否把风险降到足以停止后续判断的程度。
替代读片与安全排除两条路都未打开
先看能否替代医生读片。41例真骨折中,模型只正确识别23例,漏掉18例,敏感度为56.10%,95%置信区间为39.75至71.53。也就是说,在这组输入与使用条件下,接近一半的真实骨折没有被模型标出。与参考标准的一致性Cohen kappa仅0.312,按惯例只能算一般;骨折亚型的分类一致性同样有限。
再看能否把它当作排除工具。阴性预测值为94.67%,表面上很高,但这一指标受到10.0%患病率影响。阴性似然比为0.51,阴性结果只能温和降低骨折概率,达不到儿科创伤安全排除所需的接近确定。阳性似然比为4.08,也远低于通常认为有用的10以上门槛。研究作者因此明确警告,不能依据较高阴性预测值把模型用于排除骨折。
补充分析也没有改变主结论。关于手术重要性与固定建议的分析仅包含10例医生阳性病例和3例模型真阳性,阳性似然比估计不稳定,只能视为探索性结果。桡骨头半脱位主要依靠临床诊断而非影像诊断,因此未被纳入评估。论文最终把边界写得清楚:模型敏感度与一致性有限,不足以支持独立诊断,也不足以支持排除使用。
阴性研究为产品定义下一步
站在AI技术供应商/创业者立场,这组负面结果首先说明产品性能不能脱离接入方式。PACS影像导出为PDF,经普通网页上传,配合固定提示词和单例单次提交,构成了本研究完整的输入条件。供应商若更改导出格式、提示结构或模型版本,就需要重新给出对应证据,不能借用56.10%或83.25%去证明另一条产品链路。
其次,单一的是或否输出暴露了信息不足。kappa为0.312,骨折亚型分类一致性也有限,说明产品至少需要让用户看见不确定性,并在证据不足时把判断交回医生。10.0%患病率下,模型判阳比例达到18.0%,阳性预测值只有31.08%,还提示阈值表现会与使用人群的疾病基数相互作用。产品验证应明确适用人群,而不是只公布一个跨场景总准确率。
更重要的是,本研究只评估模型单独使用,并未评估医生与AI协作。论文已被EUSEM 2026巴黎会议接收为口头报告,但下一阶段真正关键的证据仍是前瞻性比较:医生独立判断、模型独立判断以及医生结合模型后,敏感度、一致性与假阳性分别怎样变化。负面结果不是产品空间的终点,它把可复现接入、适用人群和人机分工变成了必须回答的规格问题。
冷静观察:结论只覆盖被测试的那种用法
研究的优势与边界来自同一套现实化设计。前瞻性连续纳入减少了只挑典型影像的空间,普通网页、固定提示词又接近临床医生可能自行尝试的方式;但它仍是单中心研究,只测试一种模型接入方式和一种提示词。更换影像传输方式或模型版本后,结果可能不同,当前数字不能自动外推。
敏感度56.10%也不宜被扩写成所有通用多模态模型都无法读儿童肘部X光片。它准确描述的是GPT-5.2 Instant在论文报告条件下的表现。反过来,总准确率83.25%与阴性预测值94.67%也不能被截取为可用证明,因为漏掉18例真骨折、阴性似然比0.51和kappa 0.312共同指向同一个限制。
临床上最稳妥的结论仍是作者原话所划定的边界:不能独立诊断,不能作为排除工具,医生与AI协作效果尚未评估。与其从单个漂亮数字寻找放行理由,不如等待专门的人机协作前瞻性研究,确认模型究竟能否在医生工作流中增加信息,而不是增加另一层需要医生纠正的判断。
原文链接:BMC Medical Imaging(土耳其 Van 培训与研究医院)
千方医数集编辑部 出品

