641项研究筛出57项：LLM把电子病历多模态预测平均拉高6.4%，但三条路各有代价

数据视角 × 药企研发负责人 ｜ 趋势前瞻 × 医疗数据从业者 ｜ 深度研报

一篇发表在npj Digital Medicine的系统综述，梳理了大语言模型用于电子病历多模态预测建模的研究现状：作者在筛选641项研究后，有57项符合纳入标准，归纳出嵌入、抽取、文本融合三条整合路径，三种策略相对单模态模型平均提升6.4%。6.4%大概率会被反复引用，但它是异质性很大的57项研究算出来的跨研究平均，不是加权汇总，也不构成对任何一个具体场景的承诺。

开场：电子病历里有一半信息传统模型读不到

电子病历同时包含结构化与非结构化数据，两者对完整呈现患者病史都不可或缺。这是综述开篇给出的前提。

落到建模现场，传统机器学习模型主要吃的是结构化字段：诊断编码、检验数值、用药记录、生命体征。而占患者信息相当大比重的自由文本——病程记录、出院小结、影像报告——长期处在两种状态里，要么被直接丢弃，要么只用词袋、关键词匹配这类简陋方法处理一次。

大语言模型的出现改变了这个格局，它让非结构化数据模态能够被纳入基于电子病历的机器学习模型。这正是这篇综述要梳理的对象：用了LLM做多模态预测建模的研究，到底在怎么做。

对做真实世界研究的团队来说，这条链路的意义很直接：可挖掘的变量池被显著扩大，尤其是那些从来没有进过结构化字段的临床描述。

综述由华盛顿大学医学院信息学、数据科学与生物统计研究所的Levi Kaster、Abigail E. Lewis、Philip R. O. Payne与Aditi Gupta完成，2026年5月7日收到，9月21日接受，10月22日发表。

三条路：嵌入、抽取、文本融合

作者归纳出三种基于LLM的多模态整合策略：embedding（嵌入）、extraction（抽取）与text fusion（文本融合）。划分依据是融合发生时非结构化数据所处的形态。

按三种策略的命名与这条划分依据，可以直接读出它们各自对应的形态：嵌入对应向量，抽取对应结构化变量，文本融合对应文本。需要说明，摘要只给出划分依据，并未逐条展开每种策略的具体形态。

策略	融合时数据形态	LLM承担的工作	主要代价
嵌入 embedding	向量	生成病历嵌入供下游预测使用	表征不可读，可解释性成本高
抽取 extraction	结构化变量	从文本中抽取有临床信息量的变量	依赖抽取准确率，误差向下游传导
文本融合 text fusion	文本	在整合之前总结长文本	多一次生成调用，计算开销与延迟上升

LLM在建模中扮演的三种作用也被单独列了出来。

• 为下游预测生成病历嵌入
• 抽取有临床信息量的变量
• 在整合之前总结长文本文档

第三条值得单独拎出来看：长文本总结解决的是上下文长度与噪声问题，先压缩再整合，与前两条路的着力点不同。它不是把文本变成模型能吃的形态，而是先把文本变短。

平均6.4%：提升是真的，但分布很宽

摘要给出的结论是：三种策略相对单模态模型都带来了性能提升，平均提升6.4%。

三种策略相对单模态模型均带来性能提升，平均提升6.4%。这是跨研究的平均，不是按样本量或效应量加权的汇总值。

这句话值得拆开读。纳入的57项研究在任务类型、数据来源、基线模型上各不相同。把它们各自的提升幅度放在一起取平均，得到的6.4%掩盖了分布：可能有研究提升很小甚至为负，也可能有研究远高于此。平均值只说明整体上正向，不说明任何一项研究上的幅度。

另一组数字同样重要：641项研究筛到57项，纳入率不到一成。摘要没有披露筛选的具体排除标准，读者因此无法判断被排除的研究与纳入的研究之间存在什么系统性差异。对任何一篇系统综述来说，纳入口径与效应量同等重要。对做技术选型的人来说，更有用的信息其实是三条路各自的代价，而不是这个平均值。

三笔账：样本量、可解释性、计算成本

作者在自己综述的基础上，列出了落地时需要权衡的三项因素。

• 样本量：LLM引入的表征维度远高于传统特征工程，需要足够样本才能把增益稳定估计出来；样本不足时，高维嵌入容易过拟合，6.4%这样的平均增益在小队列上未必复现
• 可解释性：嵌入路径把病历变成向量之后，临床侧很难追溯是哪些表述驱动了预测结果；抽取路径保留了变量名，可解释性天然更好，代价是信息损失
• 计算成本：生成嵌入与总结长文本都要额外的推理开销，队列越大、文本越长，这笔账越贵；对需要定期重训的模型来说，它还包括重复计算的成本

三项因素之间互相牵制：想要更好的可解释性，往往要往抽取路径走；想要保留文本的全部信息，就得接受嵌入的黑箱与算力开销。摘要只列出这三项，没有给出量化的取舍门槛，这意味着每一家机构都得自己算。综述的价值因此不在于给出答案，而在于把这三个变量摆到台面上，让选型从比数字变成算账。

冷静观察：6.4%是平均值，不是承诺值

先把能说和不能说的分开。能说的是：在57项符合纳入标准的研究里，用LLM把非结构化数据纳入电子病历预测建模，相对单模态模型普遍带来了正向提升；作者给出了一个可操作的策略分类框架，并指出了落地时要算的三笔账。

不能说的是下面几条。

• 6.4%是跨研究平均值，不是加权汇总，不能拿它预测任何一个具体任务上的提升幅度
• 纳入研究的任务、数据源、基线模型各不相同，平均值掩盖了分布，摘要未给出各研究的提升区间
• 641项筛到57项的排除标准未在摘要中披露，无法判断纳入研究是否存在选择偏倚
• 摘要未说明纳入研究的设计类型与外推验证情况，回顾性数据上的增益能否迁移到前瞻性多中心场景，这篇综述没有回答
• 作者声明无竞争利益，本研究未获专项资助，其中一位作者由Gilbert Family Foundation支持其他相关工作

对做模型的人，真正要算的不是那6.4%，而是三笔账在本场景下的取值：手上有多少样本、临床侧能不能接受一个无法逐条追溯的表征、在线推理的预算上限在哪里。这三个问题的答案决定了该走哪条路，平均值决定不了。

原文链接：npj Digital Medicine

千方医数集编辑部 出品