npj Digital Medicine综述:100篇Shapley可解释性研究抽样,91%未披露所用算法,97%未说明参考人群
发表于npj Digital Medicine的范围综述与指南,系统检视Shapley值在临床预测模型解释中的应用现状。研究随机抽取100篇使用Shapley值解释临床预测模型的文献,发现91%未披露计算Shapley值所用的具体算法,97%未披露参考(基线)人群的来源或规模。纳入研究仅涉及表格型输入特征。作者归纳出四类使用动机:识别关键特征、临床决策支持、建立可信度、探索性分析。五位作者全部来自荷兰乌得勒支大学医学中心Julius中心,通讯作者为Maarten van Smeden,获ZonMW VIDI资助。
解释模型的那套数学是对的,但没人说清楚它是怎么算出来的
数据视角 × 医疗数据从业者 | 趋势前瞻 × 监管与合规专家 | 行业观察
2026年10月3日,npj Digital Medicine 在线刊出乌得勒支大学医学中心团队的范围综述:随机抽取100篇用 Shapley 值解释临床预测模型的同行评议文献,逐篇检视报告方式,撞上两个九成以上的缺口——91%未披露所用算法,97%未披露参考人群的来源或规模。
开场:解释一个模型,比训练它更容易糊弄过去
Shapley 值源自合作博弈论,思路是把一次预测的结果按贡献分摊到各个输入特征上。在医疗场景里,它被越来越多地用来给黑箱预测模型增加透明度——模型说这位患者风险高,Shapley 值负责回答高在哪个特征上。
问题出在验证环节的不对称。训练一个模型,有AUC、校准曲线、外部验证这些可核对的标尺;而解释的产出通常是一张蜂群图或一组数值,读者既看不到计算过程,也拿不到对照基准,很难判断它算得对不对、换种算法会不会变。于是解释成了整条建模链路里最容易被信任、也最少被审视的一环。这篇综述做的,就是把这一环拉到有证据可查的位置上。
100篇抽样里,两个九成以上的缺口
研究方法需要先讲清楚,否则数字会被误读。作者做的是随机抽样:从使用 Shapley 值解释临床预测模型的同行评议文献中随机抽出100篇,不是把全部命中文献都纳入。因此下文两个百分比只描述这100篇样本,不能说成全部文献中有多少比例。
在这批样本里:
- **91%**的文献未披露计算 Shapley 值所用的具体算法;
- **97%**的文献未披露计算中参考(基线)人群的来源或规模;
- 纳入研究仅涉及表格型输入特征,即血压、年龄这类测量患者特征的预测因子,未覆盖影像等非结构化输入。
两个数字放在一起看,指向的不是作者偷懒,而是整个领域还没有形成该写什么的共识。表格型输入这一限定条件也很关键:目前这批证据只覆盖结构化数据上的解释实践,影像与文本场景下的报告状况并未被评估。
缺了参考人群,Shapley值就缺了锚点
这两个缺口中,算法不披露相对容易理解——Shapley 值有精确算法,也有多种近似与采样实现,在特征彼此相关时不同实现给出的结果并不必然一致。不写算法,等于别人无法复现你的解释,也无法判断偏差来自模型还是来自算法。
更难被意识到的是第二个。Shapley 值衡量的从来不是一个特征的绝对作用,而是它相对于某个参考分布的贡献。同一个患者、同一个模型,换一批参考人群,同一个特征的 Shapley 值就会变。所以不写参考人群的来源与规模,解释实际上没有锚点:读者不知道这句年龄推高了风险是相对于本院住院患者说的,还是相对于一般人群说的。而参考人群的规模同样关键——用50人算出的基线,与用5万人算出的基线,稳定性不在同一量级。
- 缺算法,导致不可复现——别人算不出你算的那个数;
- 缺参考人群,导致不可比较——两篇论文给出的同一个特征的重要性无法放在一起看;
- 两者叠加,则是不可解释的解释:既不知道它是怎么算的,也不知道它是相对谁算的。
对医疗数据从业者,这三点有直接后果。解释常被写进模型交付物、甚至作为临床沟通依据,而一份无法复现、无法跨机构对照的解释,是不能承担证据责任的。
四类动机:人们到底拿它来干什么
综述把文献中使用 Shapley 解释的动机归为四类:
- 识别关键特征(identification of key features)——找出哪些变量在驱动预测,常用于模型理解与变量筛选回顾;
- 临床决策支持(clinical decision support)——把解释直接用于支持个体患者的判断;
- 建立可信度(trustworthiness)——用可解释性换取临床用户对模型的接受;
- 探索性分析(exploratory analyses)——把 Shapley 值当作探索数据结构与假设生成的工具。
这四类的分量并不相同。若只是探索性分析,参考人群的选取宽松一些尚可接受;若落到临床决策支持与建立可信度,参考人群就成了结论的一部分——它决定了这条解释适用于谁。综述同时梳理了常见的解读与误读,并讨论了 Shapley 值解释本身面临的挑战,最后给出了面向临床预测模型的实用建议。
从数据视角看,动机分类其实提供了一条判断线索:报告规范的严格程度应当与解释的用途挂钩,用途越靠近临床决策,缺失的信息越不能被容忍。
冷静观察:可解释性正在变成一项需要被规范的动作,而不只是一个数学工具
这篇综述的分量不在发现新问题,而在把分散的印象变成了可引用的比例。五位作者全部来自乌得勒支大学医学中心 Julius 中心,通讯作者为 Maarten van Smeden,资助来自 ZonMW VIDI 项目(编号09150172310078),作者声明无利益冲突。
对临床建模者,可操作的含义其实相当具体:
- 在方法部分写明计算 Shapley 值所用的算法及其实现,版本一并给出;
- 写明参考人群的来源与规模,说明它是否来自建模队列、外部队列还是人工构造;
- 明确本次解释属于哪一类动机,避免把探索性结果读成决策依据;
- 在解释图上标注参考人群,让读者一眼看到这个数是相对谁算的;
- 复核他人工作时,不要把不同研究给出的 Shapley 值直接比较大小;
- 多中心建模时为每个中心单独记录参考人群,避免把池化数据算出的解释直接套到单个中心。
这几条都不涉及新的数学,只是把已经做过的事写清楚。也正因为如此,执行阻力主要来自篇幅与习惯,而不是成本。
趋势上值得留意的是监管含义。当可解释性被写进审评材料、被当作模型可信的证据时,它就不再只是一个数学工具,而是一项需要被规范的动作——不可复现的解释,无法承担举证功能。这与医学影像AI清单CLAIM、预测模型报告规范TRIPOD的方向是一致的:规范正在从模型性能这一端,延伸到解释过程这一端。
需要保留的限定是:100篇是随机抽样而非全量,91%与97%只描述这批样本;纳入文献均为表格型输入;当前可见的是 accepted article preview 版本,正式发表时措辞可能调整。
原文链接:npj Digital Medicine(Nature)
千方医数集编辑部 出品

