行业观察

JMIR:24名博士级专家辨别AI伪造生物医学图像准确率仅50.5%,最佳商用检测器AUC 0.790

发布于
阅读 22
#行业观察#科研诚信#生成式AI#图像伪造#western blot#学术不端#AI检测器#同行评审#研究伦理#JMIR
JMIR:24名博士级专家辨别AI伪造生物医学图像准确率仅50.5%,最佳商用检测器AUC 0.790

发表于JMIR的一项诊断研究使用104张western blot与皮下异种移植瘤图像,由高保真生成模型产生足以改变研究结论的伪造图。24名博士级专家评审无法可靠区分伪造图与真实图,平均准确率50.5%(SD 6.9%);表现最好的商用AI检测器仅达到中等判别能力,AUC 0.790(95% CI 0.695-0.885)。作者据此指出现有科研诚信保障存在关键漏洞。

104张图、24位专家,正确率停在50.5%

趋势前瞻 × 医疗数据从业者 | 事实报道 × 药企研发负责人 | 行业观察

2026年10月2日,Journal of Medical Internet Research在线刊出一项诊断研究,PMID 42826371,DOI 10.2196/100710。研究用了104张western blot与皮下异种移植瘤图像,由高保真生成模型造出足以改写研究结论的伪造图,交给24名博士级专家评审分辨真伪,平均准确率只有50.5%(SD 6.9%)。作者据此判断,现有科研诚信保障存在关键漏洞。

获取路径要交代一句:jmir.org文章页反爬返回空响应,摘要与元数据经Europe PMC的REST接口取得。可依据的信息止于摘要,本文出现的每个数字都来自这里。

开场:104张图里,专家猜对了一半

实验的形态先说清楚。判别对象不是海量图像,而是104张western blot与皮下异种移植瘤图像,参与者是24名博士级专家评审。这两类图在转化研究中属于基础证据:western blot给出蛋白表达的相对量,异种移植瘤图给出瘤体大小与形态的直观结果,许多结论直接挂在它们上面。

从数据链条看位置更清楚。图像一旦进入实验记录、论文图版或注册申报资料,下游环节默认它是采集所得,很少有人倒查生成过程。信任原本建立在采集设备与实验流程之上,生成模型把这套前提取消掉了。

对药企研发负责人来说,事实层面的含义并不抽象。内部项目的读片结论、合作单位提交的实验结果、作为支撑材料的公开文献,三条输入源共用同一套默认信任;其中任何一条失真,追溯成本都由自己承担。

50.5%:这个数字为什么和抛硬币差不多

50.5%要和随机水平放在一起读。二选一任务随机猜测的期望值就在50%附近,平均值落在50.5%,另有SD 6.9%标注离散程度。摘要没有提供能进一步拆解的量:敏感度、特异度、P值均未获取,也未说明这一SD之外是否还有其他统计口径。所以能说的只是整体平均值贴近随机,不能推断专家是普遍看不出,还是有人看出、有人系统性判反。

参与者的资质让结果更有分量。摘要写明是24名博士级专家评审,不是学生或众包标注员。在这件事上,领域训练没有转化为判别能力。

样本口径也留着缺口。104张图中伪造图与真实图的比例未获取,看不出任务是均衡设计还是某一类占多数,也就无法据此推算判别的先验概率。这一点不澄清,50.5%只能整体引用,不能拆开细读。

最好的检测器也只有0.790:0.695到0.885说明什么

机器这边的数要分开看。表现最好的商用AI检测器AUC 0.790,这是本次参评检测器中的最优值,不是这一类产品的普遍水平;参评检测器的名称与数量均未获取,不能写成某个工具的实测排名。

0.790后面的95% CI是0.695至0.885。这个区间不算窄,下沿0.695已接近参考价值有限的一端。宽度本身提示两种可能:样本量有限,或不同伪造图之间的判别难度差异很大,摘要没有说明是哪一种。

有一种读法必须纠正:不能写成AI识别不了伪造。准确的说法是专家与检测器双双受限——人工判别停在随机水平,最好的自动检测器停在中等判别能力,两者都不足以支撑常态化筛查。

落到流程上推论很短。把图像审查整体外包给一款检测器,在这个性能区间内不成立;勉强可用的形态是让检测器做排序,把高疑似样本推给人工复核,而人工这一环同样没有表现出可靠性。研发侧能做的是另一条路:图像入库时落时间戳、设备编号与处理日志,委托环节要求提供原始文件,稿件的图版自查多一道生成来源说明。

能改变结论的伪造:危害不在以假乱真,而在结论被改写

摘要对伪造图的定性值得单说:高保真生成模型产生的伪造图可以改变一项研究的结论。衡量危害的尺度不是肉眼能否看出瑕疵,而是它能否推翻由这张图支撑的判断。一条被抹掉的条带、一张被改大的瘤体图像,改写的可能是整个实验算不算阳性。

这让问题从检测精度转向证据底座。科研图像管理要回答的是:原始采集文件存不存在,从原始图到论文图版之间经过哪些处理,处理有没有留痕,原始文件能不能拿来比对。这些全是元数据与溯源问题,不是算法问题。

从这个角度看趋势也清楚:既然生成侧的能力已经足以改写结论,治理重心只会向采集端的存证倾斜。谁来定义原始图像的格式与元数据要求是还没定的事,但纸面上那种省事的做法——先发表、事后抽查——在这组数据面前站不住。

冷静观察:摘要只给了四个数,剩下的问题一个都没答

本篇可引用的量一共四个:104张图、24名评审、50.5%加SD 6.9%、AUC 0.790加95% CI 0.695至0.885。其余一概未见。

材料构成先缺一块。伪造图与真实图的比例未获取,这两类图像来自哪些实验、是否经过同一预处理、由哪个生成模型产出,摘要都没有列出,生成模型名称也一并缺失。没有这些就没有复现路径,别人无法做同等条件的对照。

统计口径同样没补全。SD 6.9%是否为跨评审者的离散度,摘要没有进一步展开;专家判别的敏感度、特异度与P值均未获取;检测器在哪个判定阈值上运行也没有说明。缺了阈值与列联表,0.790就只能当整体判别力看,不能换算成任何筛查场景下的漏检或误报比例。

结论的外延也要收窄。实验只在western blot与异种移植瘤两类图像上做,结果不能直接推到病理切片、内镜或放射影像;所谓科研诚信保障存在关键漏洞是作者的定性判断,漏洞指向同行评审、期刊图版审查还是机构数据管理,摘要没有细分。

所以这条只能停在风险登记层面:专家与当前最好的商用检测器都没有拦住这类伪造,公开信息还不足以判断差距有多大、工程手段能补到什么程度。在拿到全文与评测材料之前,别把它当成已量化的失守概率来引用。

原文链接:Journal of Medical Internet Research(DOI 10.2196/100710)

千方医数集编辑部 出品

返回医药AI前沿资讯