给临床大模型智能体搭一套FHIR沙盒，43项任务量出记忆机制的真实增益

数据视角 × 医疗数据从业者 ｜ 趋势前瞻 × AI技术供应商/创业者 ｜ 深度研报

开场：FHIR的复杂度卡在临床工作流上，智能体被寄予厚望却没处量

医疗数据交换对 HL7 FHIR 的依赖持续加深，但 FHIR 自身的实现复杂度，正在成为临床工作流上的实际障碍。规范给出了资源模型与交互框架的完整定义，落到具体系统里，却需要工程人员把一次业务动作拆成一串资源读写，字段、状态与交互约束中任何一处偏差，都会让流程走不通。对医院信息化团队而言，这种复杂度不是一次性成本，而是长期摊在每次接口改造、每个新业务接入上的持续负担。

大语言模型智能体被寄望于弥合这道缝隙：把自然语言请求直接翻译为结构化的 FHIR 操作，省掉人工编码的中间层。设想很直接——临床人员说一句要做什么，智能体负责把它拆成合规的资源操作序列，人不再需要理解规范细节。方向并不新鲜，问题在于可靠性缺乏证据。

缺口具体体现在三个层面。其一，能力展示与可靠性是两回事：演示里能跑通一次，不等于在重复执行中稳定。其二，缺少可复现的评测环境，不同工作各用自己的提示与数据，数字之间无法横向比较。其三，失败缺少分层，智能体究竟做对了什么、错在哪里，错在语法、工具选择还是资源类型判断，一直没有统一口径，改进也就无从下手。FHIR-AgentEval 的出发点正在此处：先造尺子，再谈能不能用。

沙盒怎么设计：43项任务、可重置服务器、双重确定性校验

任务集：两类真实工作流

FHIR-AgentEval 被定义为一个可扩展的评测沙盒，主体是 43 项模块化任务，场景取自预约管理与基因检测两类临床工作流。两类流程足够常见、步骤足够清晰，又能覆盖不同形态的资源操作，便于把失败归因到具体环节。

模块化是这一设计的要点。任务被拆成可独立增删的单元，而非一条端到端的长链条，好处是后续研究者可以按自己关心的环节加厚任务集，而不必重做整套环境；可扩展之名也由此而来，沙盒的定位更接近基础设施，而非一份固定榜单。

执行环境：可重置的 FHIR 服务器

每项任务都在一台可重置的 FHIR 服务器上执行。可重置意味着每组实验从同一初始状态出发，任务之间互不污染，结果可重复比对。这恰是智能体评测中最容易被忽略、也最容易让结论失效的一环：真实环境里，多轮操作会不断改写服务器状态，一次任务的残留会悄悄影响下一次，若环境不可复位，观察到的差异就无法确认来自智能体还是来自状态漂移。

校验方式：响应与状态同时判分

更关键的设定在校验口径：采用自定义的确定性校验，同时检查两样东西——智能体返回的响应结果，以及服务器最终落定的状态。之所以强调确定性，是因为它把判分从主观评分拉回可复算的规则判定，同一份结果在任何时候复跑都得到同一结论，评测结论才有可能被第三方复核。

只看回答文本，考的是表达；把服务器状态一并纳入，考的才是执行。临床场景关心的从来是后者：预约是否真的被创建或修改，基因检测相关的资源是否被正确写入，这些都不是从一段话里读得出来的。

消融了什么：规范服务器接入与记忆的规范锚定两两组合

五种配置，两个变量

研究对五种智能体配置做了消融实验，变量有二。其一，是否接入可按需访问的 FHIR R4 规范服务器，即智能体执行时能否实时查阅规范条文；其二，长期记忆在训练时是否带有规范锚定，即记忆内容是否被规范结构约束过。

两个变量指向两种互补的思路。规范服务器对应外部知识可及性：不确定时去查，答案来自规范原文，代价是每次执行都要付出检索与上下文开销。规范锚定的记忆则对应经验内化：把过去跑通过的做法沉淀下来，下次直接复用，代价是记忆本身的质量取决于训练时被喂进什么。二者并非互相替代，因此才有两两组合的必要。

四种设置下的稳定方向

实验在四种设置下展开，结果给出一个相对稳定的方向：记忆持续带来任务成功率的提升。两个变量各自的贡献在摘要层面未作逐项分解，五种配置之间的对照，更多用于把记忆效应与规范可及性效应区分开来，避免把增益笼统归给某一个组件。

对医疗数据从业者来说，这种拆法比单纯的成功率数字更有参考价值。它提示在选择智能体架构时，真正要权衡的不是要不要加记忆，而是记忆应该以什么方式沉淀、沉淀的内容要不要受规范约束。

9.1%意味着什么：提升来自减少战略性失败

增益落在留出任务上

最被引用的数字，是留出任务上最佳记忆配置相对基线提升 9.1%。留出任务不在训练所见范围内，因此这一观测比同分布任务上的提升更难被过拟合解释，也更值得当作信号看待。

减少的是哪一类错误

比数字更值得看的是失败结构的变化。文中指出，记忆同时减少了战略性失败，具体表现为选错工具与混淆资源类型。这两类错误不在语法层面，而在规划层面：智能体调用了不该调用的接口，或把请求映射到了错误的资源类别。改善集中在这一层，说明记忆作用的不是生成质量，而是决策路径。

边界在哪里

需要明确的是，9.1% 属于这一沙盒、这一任务集、这一组配置下的观测值，不得泛化为临床智能体任务的通用增益。任务集仅覆盖两类工作流，摘要亦未给出基线水平，跨场景外推缺少支撑。

冷静观察：要真正部署，评测必须从答对转向做对

这项工作的价值不在给出一个好看的增量，而在把评测重心从答对挪向做对。服务器状态一旦纳入判分，智能体的表现就不再由语言流畅度决定，而由它是否真的把事情办成决定。这大概是临床智能体评测最该先立住的一条底线。

从趋势看，可扩展的沙盒形态意味着任务集可以持续加厚；规范锚定的记忆机制也提示了一条工程路径——与其把规范整体塞进上下文，不如让经验以结构化方式沉淀。与此同时，研究自身的措辞相当克制，把结论定位为通往更稳健临床部署的潜在路径，而非已验证的可部署方案。评测基础设施先于部署能力走向成熟，是这个领域目前的真实位置。

原文链接：npj Digital Medicine

千方医数集编辑部 出品