深度研报

国内首个消化道肿瘤内科专病大模型评测集发布:京东健康联合北大肿瘤医院给专科AI立标尺

发布于
阅读 27
#深度研报#京东健康#北大肿瘤医院#专病大模型#评测集#CSCO#医疗AI
国内首个消化道肿瘤内科专病大模型评测集发布:京东健康联合北大肿瘤医院给专科AI立标尺

9月19日,在第29届中国临床肿瘤学会(CSCO)学术年会胃癌会场上,京东健康联合北京大学肿瘤医院沈琳教授团队正式发布消化道肿瘤内科诊疗评测集及模型成果v1.0。这是国内首个面向消化道肿瘤内科诊疗场景的专病大模型高质量评测集,评测题目来源于真实临床决策点、评测标准对齐权威指南与专家共识,填补了消化道肿瘤内科大模型缺乏权威评测标准的行业空白。配套落地的MedWork医生AI工作台将评测验证过的模型能力嵌入医生工作流,覆盖诊前预问诊、诊中辅助决策与MDT会诊、诊后智能随访。

从通用到专科:国内首个消化道肿瘤AI评测集为什么重要

数据视角 × 数据从业者与工程师 | 深度研报

9月19日,第29届CSCO学术年会胃癌会场上,京东健康联合北京大学肿瘤医院沈琳教授团队发布消化道肿瘤内科诊疗评测集及模型成果v1.0。这是国内首个面向消化道肿瘤内科诊疗场景的专病大模型高质量评测集。它的核心设计在于三点对齐:评测题目来自真实临床决策点,评测标准对齐权威指南与专家共识,评测结果直接反映模型在真实诊疗场景中的可用性。

一、从通用到专科:评测这件事为什么成了瓶颈

医疗大模型过去两年的竞争,大多数发生在榜单上。通用评测集能回答的问题很有限,它能告诉你模型在医学知识问答里排第几,却回答不了另一个问题:这个模型在一位胃癌术后复发患者的实际门诊里,到底能不能用。这两件事之间的距离,就是专科评测存在的理由。

消化道肿瘤恰好是最考验这件事的病种。病种复杂、诊疗路径长、指南更新快,任何一个环节的滞后都会传导到治疗决策上。这对AI的专业性与精准度要求极高,而通用评测集无法衡量专病模型在真实诊疗中的专科水平。更麻烦的是,专科模型的开发者常常自己也不知道差距在哪,因为反馈信号太弱——临床医生的评价是定性的、零散的、无法聚合的。行业缺的不是又一个模型,是衡量模型的那把尺子。

二、拆解评测集:题目从哪来、标准怎么定、结果怎么用

这套评测集值得工程师细看的是它的三条链路。

题目从真实临床决策点提取,意味着考点不是从教科书章节里摘出来的,而是从医生真正要做判断的节点上长出来的。哪些检查该开、哪些方案该排在前、哪种情况下要转MDT,这些是决策点;而某个基因的分子机制是什么,不是。前者的标注难度高得多,因为答案往往取决于分期、体力状态和既往治疗史的组合。

标准对齐权威指南与专家共识,意味着评分不再依赖单一标注者的主观判断,而是把指南条文和共识意见作为判分的锚。这一点对工程实现的要求很高:指南文本是自然语言,要变成可执行的评分规则,中间需要一轮结构化和边界定义。

结果直接反映可用性,意味着分数要能迁移回真实场景,而不是只在封闭题集里成立。业内常见的失败模式是,模型在自建题集上分数很高,换一家医院就掉下来,因为题目分布本身被优化过。

一句话概括这套设计解决的是什么问题:怎么衡量模型好不好。这个表述看起来朴素,却把评测从附加题挪成了必修课。评测标准的专科化,本质上是把临床共识写成了可计算的规则,让模型的输出第一次有了可比性。

三、MedWork的角色:把评测分数翻译成临床工作流

评测集的载体是京东健康旗下MedWork医生AI工作台,由医疗大模型驱动。它承担的功能包括生成门诊病历草稿、梳理病例影像阅片、查看临床医药证据、筹备会诊、辅助科研。这些能力单看都不新鲜,放在一起才构成一条完整链路。

场景上分三段。诊前辅助预问诊,诊中辅助决策与MDT会诊,诊后智能随访。其中AI-MDT功能帮助医生梳理病程、检查和治疗经过,把原本散落在多个系统里的时间线重新拼起来。对多学科会诊来说,病程梳理本身就是最耗时的环节之一。

评测集与工作台的关系值得单独说一句。评测集是验收标准,工作台是交付界面,前者决定模型够不够格上线,后者决定它上线后落在医生的哪一个动作上。两者缺一,专科AI都很难真正进入流程。

交付路径也清楚:通过京东互联网医院搭建北京大学肿瘤医院消化内科专家智能体矩阵。评测集给出分数,MedWork把分数落回工作流,这套组合的价值在于它不再是一个演示,而是一条可交付的链路。

四、对照京东健康的呼吸专科路径,看专病AI的复制逻辑

这不是京东健康第一次走这条路。此前它已与广州医科大学附属第一医院共建呼吸专科大模型,并发布国内首个通过权威4级评估的呼吸医学高质量数据资源。

两次动作放在一起看,路径是高度一致的:找一家顶级专科医院,找一位学科带头人,共建专病模型,配套高质量数据资源或评测集。呼吸专科先跑通,消化道肿瘤接棒。

沈琳教授是国内消化道肿瘤领域极具影响力的学科带头人,长期深耕胃癌、食管癌等消化道肿瘤的个体化精准治疗与多学科诊疗。她的团队提供的是场景与专业判断,这恰恰是通用数据标注团队给不了的东西。指南更新快、路径长,意味着出题的人必须每天都在做决策,而不是读文献。

对行业而言,可复制的不是某个模型,而是这套三方分工:医院出场景与专家,平台出算力与工程,评测集充当两者之间的验收标准。这套分工一旦跑顺,专病AI的扩张就不再依赖单个团队的灵感,而更接近一条可排期的产品线。

五、冷静观察:评测集能解决什么问题、不能解决什么问题

需要说清楚一个边界。评测集解决的是怎么衡量模型好不好,这与提升模型能力本身是两个独立的工程。评测集做得再好,也不会自动让模型的临床判断变得更准,它只是让不准的地方变得可见。把评测当成能力证明,是最容易犯的误读。

第二个边界是评测集自身的更新压力。消化道肿瘤指南更新快,评测题目的时效性会成为持续成本。一套静态题集用上一年,很可能就不再对齐最新共识。谁来维护、多久迭代一次,比首发时有多少道题更关键。

第三个边界是分数与结局之间的距离。可用性评分再高,也不等于患者结局改善,这条线需要更长期、更大样本的验证才能接上。

这套评测集的真正意义,或许不在于它给某个模型打了多少分,而在于它把专病AI的验收问题第一次摆到了台面上。从通用到专科,衡量标准的专科化,是这条赛道走向工程化的必经一步。对数据从业者来说,可复用的经验是:先定义什么叫对,再谈怎么做到对。

原文链接:科技日报


千方医数集编辑部 出品

返回医药AI前沿资讯