Healthcare IT News：新 ARISE 框架用于评估和追踪临床 AI 模型

ARISE 推出 MAST 框架，试图更系统地评估和追踪临床 AI 模型

由 Stanford Medicine 发起的 ARISE Healthcare Network 最近发布了一套新的评估框架，名为 Medical Artificial Intelligence Superintelligence Test（MAST）v1.0，目标是更系统地衡量和基准测试 AI 模型在临床与一般医学任务中的表现。

研究者认为，当前医疗 AI 领域虽然已经有不少 benchmark，但它们往往彼此割裂、结论不稳定，也难以真实反映模型在临床场景中的行为差异，因此需要一套能持续维护和快速更新的共享评估基础设施。

MAST 想解决的是“高分模型不一定更可信”的问题

ARISE 在说明中指出，单个模型即便在知识问答上得分很高，也可能无法把知识正确应用到复杂临床情境；它可能能给出正确诊断，却推荐不安全的处理方案；也可能整体看起来流畅、全面，但在某个专科、疾病领域、影像模态或患者亚群中出现灾难性失误。

换句话说，医疗 AI 的真正问题，不是“谁总分最高”，而是“这个模型在临床上会表现成什么样的行动者”。

框架把临床任务拆成多个可比较维度

MAST 框架当前同时覆盖临床和通用两大维度。其中 MAST-Clinical 关注诊断、管理和安全等临床领域；MAST-General 则纳入放射学和多模态推理能力。

研究者希望通过这些分层 benchmark，让不同类别模型之间能够在更细的临床维度上进行比较，而不是只看一个粗略总分。

研究团队认为前沿模型进展并不均衡

ARISE 团队表示，现阶段表现最好的模型在综合排名上彼此非常接近，但在不同临床维度上的排序又会发生变化，没有任何一个模型在所有领域都绝对领先。

他们据此得出的判断是：前沿模型在医疗任务上的进步并不均衡，而且每个模型都呈现出明显不同的临床画像。

这项工作与 NOHARM 等真实临床安全研究相呼应

报道还回顾了 Stanford 和 Harvard 等机构此前推动的 NOHARM 研究。该研究围绕真实医生与患者情境下的临床 AI 安全问题展开，已评估 45 个大语言模型和 4 套临床 AI 系统。

NOHARM 的一个重要意义在于，它强调医疗 AI 评估不能只依赖静态题库，而应锚定真实临床动作及其对患者层面的潜在影响。MAST 可以看作沿着这一方向进一步推进，试图建立更可持续的模型测评与追踪体系。

后续重点会放在跨 benchmark 特征分析

ARISE 表示，MAST 首个版本已经能够维护一批标准化评估和模型运行结果，并对诊断、管理等领域进行公开报告。未来版本还会进一步加入跨 benchmark 的特征分析，借此观察模型在不同任务中的底层行为倾向。

研究者特别提到，像激进程度这类特征，无法通过单个 benchmark 充分捕捉，必须跨任务、跨专科、跨模型家族反复评估。

临床 AI 正从“能做题”转向“能否长期可信”

从行业角度看，MAST 的意义不只是又多了一个新 benchmark，而是医疗 AI 评估逻辑正在发生变化。随着模型越来越多进入临床流程，行业关注点已经从一次性跑分，转向如何持续判断模型是否安全、可靠、稳定以及是否适合真实使用环境。对于医院、研究机构和监管讨论来说，这类动态评估框架会越来越重要。