HKUST 开源 GSCo 医疗 AI 框架，用低成本方式提升多模态诊断模型表现

HKUST 发布 GSCo 医疗 AI 框架，用低算力方式提升多模态诊断表现

香港科技大学（HKUST）发布了一套低成本医疗 AI 框架 Generalist-Specialist Collaboration（GSCo）。研究团队称，这一框架在疾病诊断相关任务上，表现优于单独使用通用基础模型或专科模型的方案，同时对算力资源的要求更低。

GSCo 如何工作

GSCo 的核心思路，是让一个通用型医疗基础模型与多个轻量级专科模型协同完成诊断支持任务。

研究团队认为，单独使用通用型医疗 AI 模型或专科模型，都难以满足真实临床部署的需求。通用模型覆盖任务广，但诊断精度可能不足；专科模型在单一任务上更精确，却往往需要为不同任务或不同医院分别训练多个模型。与此同时，如果患者数据必须留在院内，重新训练大型通用模型的成本通常过高，也不现实。

HKUST 计算机科学与工程系助理教授、项目负责人 Chen Hao 表示，医疗 AI 中的“通才”和“专才”各有优势：前者灵活，但在多病种场景下精度有限；后者准确，但任务范围较窄。

模型基础与训练方式

GSCo 构建在 HKUST 早前开发的开源通用型医疗基础模型 MedDr 之上。在这项最新研究中，MedDr 使用了超过 200 万条多模态医疗数据进行训练。

与此同时，研究团队还开发了一系列轻量级专科模型，这些模型在训练时仅需一张消费级 GPU。

在推理阶段，专科模型会先识别并比对历史病例，生成诊断预测；随后，MedDr 再把这些证据与自身知识库结合，给出最终诊断结果。

研究结果

研究团队使用 32 个公开数据集、约 26 万张医学图像，对 MedDr 与 GSCo 进行了验证，测试任务覆盖医学影像诊断、视觉问答和放射报告生成等场景。

发表在 Nature Biomedical Engineering 的结果显示，MedDr 的表现优于 RadFM、LLaVA-Med 和 Med-Flamingo 等现有医疗通用模型；而 GSCo 在内部和外部基准测试中都排名第一，超过了 10 个现有视觉基础模型。

在皮肤病灶诊断测试中，GSCo 得分达到 84 分，高于 MedDr 零样本测试的 75.45 分，也高于单独专科模型的最高分 82.92 分。

在胸部 X 光报告生成任务中，GSCo 生成的报告在 7 位委员会认证放射科医生中，有 6 位更倾向于它，而不是专科模型 R2GenGPT 生成的报告。

研究团队还进行了偏置压力测试。即便输入存在系统性偏差，MedDr 仍能正确识别 67.6% 的肿瘤图像。

成本与部署意义

研究还显示，相比微调整个通用基础模型，把 GSCo 适配到一个新的临床任务上，模型开发成本最多可降低约 100 倍。

研究人员表示，GSCo 的专科模型可以在医院本地利用院内数据进行训练，训练完成后再以匿名方式共享。按照 Chen Hao 给出的数据，在研究基准设置下，适配通用模型大约需要 2.5 × 10¹⁹ 次浮点运算，而训练一个专科模型最多只需约 5.2 × 10¹⁶ 次浮点运算。

Chen Hao 表示，在典型部署中，如果一家医疗机构只需要把系统适配到一个新的临床任务上，就只需训练并接入一个轻量级专科模型，而不必重新微调整个通用模型。专科模型甚至可以在 NVIDIA RTX 4090 这类消费级硬件上完成训练，从而在降低计算成本的同时，把敏感数据保留在本地。

后续计划与行业背景

目前，HKUST 团队已经将 MedDr 和 GSCo 开源。下一步，他们计划把 MedDr 扩展到 CT、MRI 等 3D 影像模态以及医疗视频，并继续探索更先进的多模态检索、图结构检索以及通用模型与专科模型之间的协作机制，包括测试时计算等提升推理准确率的方法。

这项工作也延续了亚太地区近年来对本地化医疗基础模型的探索。Google 在 2024 年底推出 Health AI Developer Foundations；新加坡今年 7 月启动 SIMFONI 国家项目，用于把现有基础模型适配到本国人群的健康问题；澳大利亚 Monash University 也在推进本国医疗 AI 基础模型项目。

在 HKUST 自身的 AI 布局中，这一成果也与其数字病理方向的多项研究相呼应。学校此前已推出 AI 无载玻片病理成像系统 Glanzir，以及用于病理全流程自动化的 SmartPath 和无需额外训练即可完成多癌种识别的 PRET。