4350份医学作答只有0.3%需人工复核，大模型一致性还高过人

斯坦福团队给医学在线课程配上大模型评分：4350份开放式作答，只有12份需要人工复核

事实报道 × 药企研发负责人 ｜ 趋势前瞻 × 投资人与产业分析师 ｜ 深度研报

开场：课程本身有效，但开放式作答的评分卡住了规模化

精准医学（precision medicine）正在越来越多地依赖多模态数据与人工智能（artificial intelligence, AI），这直接催生了一项新需求：与之匹配的教育与评估，必须具备可扩展性。隶属 Stanford Deep Data Research Center、Stanford University 的研究团队为此开发了一门糖尿病精准医学在线课程，相关评价结果于 2026 年 10 月 9 日上线于《npj Digital Medicine》。

课程本身并不是这次研究中最棘手的部分，瓶颈出现在评估环节。一门课程若要检验学习者能否把知识用到具体情境里，最有效的题型往往是开放式作答（open-ended responses），而这类作答需要按评分量规（rubric）逐份批阅。人工批阅耗时，且存在变异性，还不可避免地掺杂评分者的主观判断。对一门面向规模化交付的在线课程而言，先触到天花板的往往不是教学内容，而是评分成本与评分波动。

研究因此被拆成两个问题：课程是否有效，以及开放式作答能否被规模化地评分。前者由学习者前后得分的变化来回答，后者交给一套人工校验的大语言模型（large language model, LLM）辅助评分工作流。

课程效果：435名学习者知识提升30.0个百分点，三项均为p小于0.001

课程效果的证据来自 435 名完成课程的学习者。研究采用的形式是单组前后对照的观察性评价，即比较同一批学习者在课程前后的得分，并未设置对照组。

测量覆盖三项指标：知识、信心，以及按评分量规打分的开放式作答。三项在课程后均有提升，知识得分提升 30.0 个百分点，信心得分提升 1.32 分，开放式作答得分提升 0.39 分，三项的 p 值均小于 0.001。三项并列的设置本身值得注意：知识与信心是主观或客观的自评与测验，开放式作答则要求学习者在具体情境中组织答案，三者合起来刻画的是从知道到会用的完整链条。

在口径上需要提醒两点。其一，开放式作答的得分提升幅度是三项中最小的，量纲也不同于知识得分的百分点，不能直接与 30.0 个百分点相互换算。其二，由于研究无对照组，得分提升不能全部归因于课程本身，学习者在课程期间的其他经历同样可能贡献其中一部分。

评分工作流：4350份作答只有12份需要人工复核

评分工作流的设计动机在论文中被写得很直接：开放式作答的人工评分耗时，且受变异性与人工判断影响。团队的做法不是用模型替换人，而是构建一套人工校验的大模型辅助流程，让模型先完成批阅，再把少数不确定或存在分歧的作答交回人工。

在流程跑通后，由大模型辅助工作流评估的作答共 4350 份，其中需要人工复核的为 12 份，占 0.3%。也就是说，人工投入被压缩到全部作答的千分之三量级，而其余作答的批阅由流程自动完成。对课程运营方而言，这个比例决定了开放题型能否被保留：如果每份作答都要人工过一遍，题型的取舍就不得不向客观题倾斜；当复核比例降到千分之三，开放式题目的边际成本显著下降。

需要强调的是，0.3% 描述的是需要人工介入的比例，而不是被放弃的比例。这 12 份作答进入人工复核，是流程设计中的既定环节，而非流程失败的标志。整套方法的名称里保留了人工校验的前缀，正说明人工并未被移出闭环。

机器比人更一致：75.3%完全一致，一致率74.0%对人工65.7%

流程的准确性在一份分层的 300 份验证样本上被检验。以最终人工评分为参照，最终大模型共识评分的完全一致率（exact agreement）为 75.3%，相邻一致率（adjacent agreement）为 99.3%，重大分歧率（major disagreements）为 0.7%。三个数字要合起来读：完全一致率说明每四份作答中约有三份与人工评分落在同一档；相邻一致率说明偏离一档以内的情形几乎覆盖了全部作答；重大分歧率则限定了严重偏离的尾部风险。

另一组对照数据指向评分者自身的一致性。大模型的一致率（unanimity）为 74.0%，人工的一致率为 65.7%。机器在这一指标上高于人，反映的是同一份作答被重复评判时，模型给出的结果比人更稳定，不容易受批阅顺序、疲劳程度与个体标准差异的干扰。

基于上述结果，作者认为人工校验的大模型辅助评估可以成为开放式作答规模化评估的一条可行路径。这句话的重心落在可行路径四个字上，它指向的是工程上的可交付，而非评分质量的某种终局判断。

冷静观察：一致率高不等于判得对，人工校验是这套流程的前提而非可选项

最容易被误读的一组数字，是一致率。完全一致率衡量的是模型评分与人工评分之间的吻合程度，相邻一致率衡量的是偏离幅度，二者都不是与标准答案的对照。换句话说，一致率高说明机器与人判得一样，并不自动说明两者判得都对。在缺乏独立金标准的条件下，74.0% 高于 65.7% 只能被解读为机器比人更稳定，不能被解读为机器比人更正确。

人工校验因此是这套流程的前提，而不是可以随规模扩大逐步摘除的环节。验证样本中的参照物本身就是最终人工评分，0.3% 的复核比例也建立在人工兜底之上。一旦把人工从流程中拿掉，整套方法的校准基准与质量下限都会同时失去锚点。

研究边界同样需要标注。评价对象是一门特定的糖尿病精准医学在线课程，学习者为完成该课程的 435 人，形式为单组前后对照的观察性评价，无对照组。这意味着三项得分提升应被理解为与课程完成相关的变化，而非课程造成的净效应，也不能把结果外推到其他学科、其他题型或其他学习者群体。

对产业侧而言，更值得继续追问的是后续验证：当题型难度提升、量规档次变细、作答语言与专业背景更加多样时，人工复核比例是否还能维持在千分之三的量级，重大分歧率是否仍能保持在 0.7% 附近。在这些条件被逐一测试之前，这套工作流的适用范围应被限定在与本次研究相近的场景之内。

原文链接：npj Digital Medicine

千方医数集编辑部 出品