LiveClin — 无泄漏活临床多模态评测基准

项目	内容
条目名	LiveClin
url_name	liveclin
全称	LiveClin: A Live Clinical Benchmark without Leakage
类型	动态（live）临床多模态评测基准（多选题 MCQ，顺序多轮病例问答）
规模	1,407 例病例 / 6,605 道题（均值 4.7 题/例）/ 3,757 张图 / 634 张表
选项形式	10 选 1（A–J），每题由医师标注唯一正确项
题源	PMC Open Access Subset 2025 年上半年同行评议病例报告
许可	数据集 CC BY-NC-SA 4.0
发表	arXiv:2602.16747（2026-02-18 v1），ICLR 2026
团队	香港中文大学（深圳）+ 蚂蚁医疗（Ant Group）+ 俄亥俄州立大学 + 浙江大学
获取	HuggingFace AQ-MedAI/LiveClin（config: demo 与 2025_H1）
榜单	私有 leaderboard，每月更新，防高频迭代刷分
抓取时点	2026-10-17

LiveClin 是一个「会过期的」临床评测基准。它不收集新病人，也不重金招募标注员去凭空编写考题，而是把 PubMed Central 开放获取子集中最新发表的同行评议病例报告，用一套 AI 与医师协同的流水线改写成「从初诊一路走到随访」的多阶段考试：每例先给一段只有接诊当时信息的临床情境，随后连续抛出若干道十选一题目，每道题都恰好在需要的时候补进新的影像、病理或化验信息。参赛模型必须像真正的主管医生那样，把整条病程记住、串起来、推下去——只要答错一题，整个病例就算错。

2026 年 2 月 18 日，论文以 arXiv:2602.16747 上线，随后被 ICLR 2026 接收。论文标题里的「without Leakage」不是修辞：它把评测集的更新时间固定为每年 1 月与 7 月，并且人为留出六到八个月的「发布滞后窗」，让新题在模型完成数据采集之后才公开，从机制上压低「模型在训练集里见过答案」的可能。论文里最有说服力的证据来自一项时段对照研究——GPT-5 在自家知识库覆盖范围内的病例上能拿到 45.0%，一旦换成发表在其知识截止之后的病例，分数直接掉近十个点。

结果也确实不好看：26 个模型跑下来，整例全对率最高只有 35.7%（o3），GPT-5 以 35.5% 紧随其后，而这两个模型也只是刚刚越过主治医师的平均线，仍旧落后于主任医师。换言之，当临床评测从「答对一道题」变成「走完一整条病程」，当今最强的多模态大模型立刻暴露出它真正的位置。

本条目为 qianfanghub.com「千方病案医数集」AI-Ready Wikipedia 的原始条目，覆盖身份与时间线、数据结构、获取复现、构建方法论、许可合规、评测成绩、生态互链与坑点存照九个维度。全部硬数字经论文全文、HuggingFace 数据集卡（经 hf-mirror 实抓）与论文附录三源互证，凡有出入者，一律在 §9 逐条存照。

导语读法三则：其一，赶时间者只读 §0 要点框与 §1 十问十答即可掌握全貌；其二，准备上手评测者按 §4 → §6 → §9 顺序读，先拿数据、再看许可、最后看口径陷阱；其三，做基准设计或引用成绩者必须通读 §5 与 §7——LiveClin 的构建漏斗与「整例全对」口径，是理解它为何分数如此之低的两把钥匙。

§0 导读：本条目读法与要点速览

本条目记述的是一份「考试卷」，而不是一张「病人表」。LiveClin 的每一条记录都对应一篇已发表的病例报告，经过改写与命题后成为若干道多选题；它不含原始病历、不含影像 DICOM、不含随访时间序列。因此本条目 patient_count 填 0、patient_tags 标注为「非患者队列数据集」——这是数据集规范下的如实填写，并不意味着它与临床无关：恰恰相反，它的每一道题都脱胎于真实患者的真实病程，只是可识别信息在原文发表时已经被脱敏，本基准所做的二次改写与人工复核进一步剥离了任何回溯到个体的可能。

理解这一点，就理解了本条目最重要的一个口径前提：LiveClin 的「病例」不是「样本」，而是「题组」。1,407 例病例等于 1,407 个题组，共 6,605 道题。它衡量的是「一名医生能不能把一整条病程走完」，而不是「一个模型能不能判断这张片子有没有结节」。

五分钟要点框：

• 规模：1,407 例病例、6,605 道题（每例 3–6 题，均值 4.7）、3,757 张医学图像、634 张临床表格；1,407 例全部含多模态信息，41.9% 的题目必须直接读图读表才能作答。
• 覆盖：16 个 ICD-10 一级章节、72 个二级疾病簇、三级细分到具体 ICD-10 编码；肿瘤 19.8%、神经系统 9.9%、消化系统 9.3% 为三大头。
• 罕见病偏重：1,181 例（84%）为罕见病例，226 例（16%）为非罕见；论文用附录 P 做过敏感性分析，称多数模型在两子集上的差距不超过五个百分点、排名基本保持。
• 构建：2,150 份高质病例 → 2,092 套题（Generator-Critic 生成）→ 1,869 套（Judge Agent 预筛）→ 1,822 套（医师验证通过）→ 1,407 套（分层抽样）。239 名执业医师参与，累计 1,772.18 人时、花费 42,304.39 美元。
• 难度：整例全对率（Case Accuracy）最高 35.7%（o3），GPT-5 为 35.5%；开源最强 InternVL-3.5-241B 为 34.4%；医疗专用模型 MedGemma-4B 仅 7.5%。
• 医师基线：主任医师最高，主治医师次之，二者均高于多数模型；仅 GPT-5 与 o3 略微超过主治医师，但仍不及主任医师。
• 反直觉：Claude 3.5 Sonnet（27.3%）高于其后继者 Claude 3.7 Sonnet（25.6%）；Gemini 2.0 Flash（21.4%）高于 Gemini 2.5 Flash（19.0%）。「换代即涨分」的经验在临床推理上并不成立。
• 机制：半年更新（1 月与 7 月），每轮整体替换评测集；六到八个月的发布滞后窗用于防污染；另有仅研究者可见的月度私有榜单。
• 许可：CC BY-NC-SA 4.0，含非商业与相同方式共享两项限制，商用需另行评估（§6）。

全文导航表：

章节	内容	适合谁
§1	十问十答速览	所有读者
§2	身份、团队与时间线	引用者、编辑者
§3	数据结构与字段分布	数据工程师
§4	获取、下载与评估栈	数据工程师、复现者
§5	构建方法论与质量控制	基准设计者
§6	许可、合规与引用规范	法务、引用者
§7	评测成绩与解读	模型研究者
§8	生态位与库内互链	选题策划者
§9	坑点清单与双口径存照	全部引用者（必读）
§10	总结：适用与不适用	决策者
附录 A–M	速查卡、DAIMS、证据链、检查清单	编辑、复核

与「静态基准」的根本区别，用一句话说清：静态基准考的是「你知道什么」，LiveClin 考的是「你能不能在信息逐步揭晓的过程中持续做对判断」。前者可以被背下来，后者只能被推理出来——这正是「live」二字的全部含义。

§1 十问十答：一页读懂 LiveClin

问 1：LiveClin 到底是什么？

一份面向大型视觉语言模型（large vision-language model，VLM）与大型语言模型（LLM）的临床评测基准，形态是「病例 + 顺序多选题」。它的每一例都由病例情境（scenario）起头，随后是 3 到 6 道带临床阶段标签的十选一题目，覆盖从初诊评估、诊断解读、治疗决策到并发症管理与随访的完整病程。

问 2：数据从哪来？

PubMed Central（PMC）开放获取子集中 2025 年 1 月至 6 月发表的同行评议病例报告。流水线程序化抓取全部 XML 格式文件，解析结构，把「病例呈现」类章节聚合成病例叙述，把「讨论」类章节聚合成病例讨论，并把所有表格转成 Markdown、抽取全部插图的持久链接与图注。这也是它能够做到「半年更新」的前提——源头是一条持续流动的新文献河。

问 3：为什么要做「活」基准？

因为静态基准有两个致命伤：数据污染（题目与答案被吸收进训练语料，分数虚高）与知识过时（医学知识不断更新，旧题很快失去临床相关性）。论文用一项跨时段对照实验量化了这两点：GPT-5 在其知识库覆盖的旧数据上可达 45.0%，换到知识截止之后发表的新病例上则下降近十个百分点。这个落差就是「静态分数不等于真实临床能力」的直接证据。

问 4：规模多大？

2025_H1 版本：1,407 例病例、6,605 道题、3,757 张图像、634 张表格。每例 3–6 题，均值 4.7 题。另有 demo 配置 14 例，覆盖 14 个章节，供快速浏览。

问 5：题目长什么样？

十选一（A–J）多选题，配一个临床阶段标签（stage），如 Initial Assessment（初诊评估）、Pathology Evaluation（病理评估）。干扰项要求是「临床上说得通的鉴别诊断」，必须靠推理才能排除，而不是一眼可辨的荒谬选项。

问 6：怎么评分？

Case Accuracy（整例准确率）：一例之内的所有顺序题目全部答对，该例才算对。这是它分数普遍偏低的最主要原因——假设每例 4.7 题、单题正确率 80%，整例全对的概率约 0.8 的 4.7 次方，即约 35%。换句话说，35.7% 的整例准确率，对应的单题正确率其实在 80% 上下，并不算差。

问 7：最强模型能考多少？

o3 以 35.7% 居首，GPT-5 以 35.5% 紧随，InternVL-3.5-241B 34.4%，Gemini-2.5 Pro 33.7%。26 个模型中，七个在 30% 以上，尾部（Qwen2.5-VL-7B、MedGemma-4B）跌到 8% 以下。

问 8：人类医生考得比模型好吗？

好，但差距没有想象中那么大。100 例随机抽样的对照实验中，主任医师最高、主治医师略低，二者都高于多数模型；只有 GPT-5 与 o3 略微超过主治医师，但仍不及主任医师。论文正文与可抓取的附录中没有给出这两组的具体百分数，这是本条目列出的遗留疑点之一（见 §9 存照 3）。

问 9：数据怎么拿？许可如何？

HuggingFace 仓库 AQ-MedAI/LiveClin，两行代码即可加载；评估代码在 GitHub AQ-MedAI/LiveClin。数据许可为 CC BY-NC-SA 4.0——非商业、相同方式共享，商用与再分发要格外小心（§6.3 有场景速查）。

问 10：最大的坑是什么？

三点。第一，版本会过期：2025_H1 是当前版本，2025_H2 已在路线图上，引用不标版本等于没引。第二，整例准确率不能与单题准确率混比：拿 35.7% 去和 MedQA 的 90%+ 比较是彻底的误读。第三，84% 罕见病例带来的分布偏倚：它让分数偏向「罕见病识别能力」，而非「常见病管理能力」。其余五处坑点见 §9。

十问十答速查表

问题	一句话答案	详见
是什么	顺序多轮临床病例 MCQ 评测基准	§2
从哪来	PMC OA 2025 上半年病例报告	§5.1
为什么活	抗污染 + 抗知识过时	§2.4
多大	1,407 例 / 6,605 题 / 3,757 图 / 634 表	§3.1
什么题	十选一，带临床阶段标签	§3.3
怎么评	整例全对才算对	§7.1
最高分	o3 35.7%	§7.2
人机对比	主任 > 主治 > 多数模型	§7.3
许可	CC BY-NC-SA 4.0	§6
主要坑	版本过期、口径混比、罕见病偏倚	§9

§2 身份与定位：从一篇病例报告到一份活基准

2.1 名称、团队与三件套

「LiveClin」由 Live 与 Clin 两截拼成：Live 指向「活体基准」（live benchmark）这一评测范式，Clin 是 clinical 的缩写。这个命名法在同类工作中已有先例——LiveBench、LiveCodeBench 都以「定期换新题、切断训练污染」为核心卖点，LiveClin 把同一思路移植到临床医学，并额外叠加了「多阶段病程」这一维度。

团队构成是典型的「高校 + 产业」组合。九位作者中，Xidong Wang（论文第一作者，标注「本文工作完成于蚂蚁集团实习期间」）、Shuqi Guo、Junying Chen、Benyou Wang 来自香港中文大学（深圳）；Yue Shen、Jian Wang、Jinjie Gu 来自蚂蚁集团蚂蚁医疗（Ant Healthcare）；Lei Liu 同时挂蚂蚁医疗与浙江大学；Ping Zhang 来自俄亥俄州立大学。GitHub 与 HuggingFace 的组织名都是 AQ-MedAI，即蚂蚁集团医疗 AI 团队的缩写。

项目的「三件套」分工明确，缺一不可：

组件	地址	作用
论文	arXiv:2602.16747	方法论、构建漏斗、全部评测结果的权威出处
数据集	huggingface.co/datasets/AQ-MedAI/LiveClin	题面 JSONL + 图像目录 + 许可声明
代码	github.com/AQ-MedAI/LiveClin	评测脚本、CLI、重试与断点续跑、SGLang 部署说明

值得一提的是，三件套的更新时间并不一致：论文 v1 于 2026 年 2 月 18 日上线，数据集卡在 2 月 27 日更新，第三方目录站点的收录时间则迟至 4 月初。这种「论文先行、数据后补、目录更后」的节奏在学术项目中极为常见，也提醒引用者：不同渠道看到的数字可能来自不同快照（详见 §9 坑点 6）。

2.2 时间线：从抓取到 ICLR 的关键节点

时点	事件	证据
2025 年上半年	目标文献窗口：PMC OA 中 2025-01 至 2025-06 发表的病例报告	论文 §3.2
（构建期）	2,150 份病例入库；Generator-Critic 生成 2,092 套题；Judge 预筛至 1,869 套	论文 §3.3–3.4
（构建期）	239 名医师完成验证，产出 1,822 套题，耗 1,772.18 人时 / 42,304.39 美元	论文 §3.4
（构建期）	分层抽样至 1,407 套，形成 2025_H1 版本	论文 §3.4
2026-02-18	论文 v1 提交 arXiv（14,725 KB）	arXiv 提交记录
2026-02-27	HuggingFace 数据集卡更新	HF 仓库
2026-04 上旬	第三方目录站点收录	镜像站记录
2026（会议年度）	ICLR 2026 接收	HF 卡与镜像标题均标 [ICLR’26]
2025-07 / 2026-01 起每半年	计划替换全量评测集、重评已有模型、纳入新模型	论文 §3.6

关于「半年更新」的可持续性，论文给了一张专门的成本表（Table 2），把每个阶段的美元成本与天数逐项列出，结论是「在当前产能下可持续」。更新流程被压缩得很紧：上一半年的病例，在周期开始后的头两周内完成收集、验证与发布。

2.3 引用与定位：它在医学基准谱系里站在哪一格

要理解 LiveClin 的位置，最好把它放进三条坐标轴里看。

第一条轴是「静态 vs 动态」。MedQA、MedMCQA 一类考试题基准自发布之日起就固定不变，模型可以在其中反复刷分；LiveClin 每半年换一次血，把「记住」这条路堵死。

第二条轴是「单轮 vs 顺序」。VQA-RAD、PathVQA、SLAKE 等视觉问答基准每道题独立作答，模型不需要记住上一题说过什么；LiveClin 强制保留完整对话历史，后一题必须建立在前面所有信息之上。论文在相关工作中点名批评了 MedXpertQA 与 AgentClinic：前者虽然难，但仍是「孤立的、合成的快照」；后者虽有交互，但没有覆盖从初诊到长期管理的完整病程。

第三条轴是「合成 vs 真实」。大量医学基准的题干由专家凭记忆编写或由模型凭空生成，LiveClin 的每一道题都必须能回溯到一篇已发表的、经过同行评议的真实病例报告——论文的医师审核准则里，第一条就是「事实校验：与源病例完全一致」。

三条轴合起来，LiveClin 的自画像就清晰了：它是「真实病例 + 多阶段 + 定期换血」这一交叉格子里目前规模最大的公开基准。这也解释了它为何能在短时间内被 ICLR 接收——它补的不是「又难了一点」，而是一种此前缺失的评测形态。

基准	来源	轮次	更新	选项数	主指标
MedQA	医学执照考试	单轮	静态	4–5	单题准确率
MedMCQA	印度医学入学考试	单轮	静态	4	单题准确率
MedXpertQA	专科委员会考试	单轮	静态	5 / 10	单题准确率
HealthBench	医师撰写的对话场景	多轮对话	阶段性	开放	rubric 加权分
LiveClin	PMC 新发表病例报告	顺序多轮	半年	10	整例准确率

2.4 为什么需要「活」：两个失效机制的量化

论文开篇就把靶子立得很清楚：现有医学评测的可信度，正被两件事同时侵蚀。

其一，数据污染。 随着训练语料扩张到网络规模，热门静态基准的题目与答案几乎必然被模型「见过」。这时的高分，测的是记忆而非推理。更麻烦的是，常见的「去污染」手段本质上是反应式的、往往不彻底——你只能在题目发布之后去查有没有被泄漏，防不住。

其二，知识过时。 医学知识本身在持续更新，一篇三年前的病例报告所体现的诊疗路径，可能已经不再符合当前指南。静态基准不但会变成污染目标，还会随时间流失临床相关性。

LiveClin 的应对是把「防污染」从被动清理改成主动设计：题目来自刚刚发表的文献，评测集定期整体替换，并且刻意留出六到八个月的发布滞后窗，让新题在所有被测模型的训练截止之后才露面。

这项设计并非纸上谈兵。论文做了一项纵向试点研究：从 2023 年上半年到 2025 年上半年共五个半年时段，各抽 200 套题（这一阶段为控制成本跳过了医师验证，只走 Generator-Critic-Judge 的纯 AI 流水线），用同一套评估协议跑同一批前沿模型。结果显示，模型在「早于其知识截止」的时段上明显更强。最刺眼的一组数字是：GPT-5 在知识库覆盖的时段上拿 45.0%，在截止日期之后发表的病例上则下滑近十个百分点。而且这一模式在其他模型上同样成立，并非孤例。

这就是「live」二字在方法论上的全部重量：它不是在说「我们的题比较新」，而是在说「新」本身就是一种测量工具。

2.5 命名与识别：三个容易混淆的对象

在检索与引用时，有三个名字容易被混为一谈，需要明确区分：

• LiveClin（本条目）：临床病例多阶段评测基准，2026 年由 AQ-MedAI 发布。注意与活细胞显微分割数据集 LIVECell（库内 livecell，rid=1077）在拼写上只差两个字母，但领域、任务、形态完全不同，绝不可合并。
• LiveBench / LiveCodeBench：通用推理与代码的「活」基准，是 LiveClin 在方法论上的直接参照对象，论文在抗污染章节明确引用了这两项工作的做法。
• 2025_H1 / 2025_H2：不是两个数据集，而是同一基准的两个半年版本。当前公开的是 2025_H1，2025_H2 在目录结构中已被预留（data/2025_H2/ # (future) Second-half 2025），但尚未发布。

此外，demo 配置（14 例）是 2025_H1 的真子集，仅用于在 HuggingFace 网页查看器中快速浏览，不可用于任何正式评测——用 demo 跑出来的分数没有统计意义。

§3 数据结构：字段、分类体系与模态构成

3.1 规模总账与文件清单

LiveClin 2025_H1 的规模可以用一张四行表说完，但每行背后都对应着一段可核查的证据链。

统计项	2025_H1	证据
临床病例数	1,407	论文 §3.5 与 HF 卡统计表
多选题总数	6,605	同上
每例题数	3–6（均值 4.7）	HF 卡统计表
ICD-10 章节覆盖	16	论文 §3.5
罕见病例 / 非罕见	1,181（84%）/ 226（16%）	HF 卡统计表
图像总数	3,757	论文 §3.5 与附录 J
表格总数	634	同上
含多模态信息的病例	1,407（100%）	论文 §3.5
需直接解读多模态的题目	41.9%	论文 §3.5

需要立刻澄清一个常见误读：6,605 除以 1,407 得 4.694，而不是 4.7 的整数关系。论文与数据卡都把均值写作 4.7，这是四舍五入的结果；如果做逐例统计，题数分布是 3 到 6 的离散值，而不是围绕 4.7 的正态分布。这个细节在做「按题数分层分析」时会影响抽样权重。

文件组织采用「一个配置一个目录」的朴素结构：

LiveClin/
├── data/
│   ├── demo/                    # 14 例预览（覆盖 14 个 ICD-10 章节）
│   │   └── demo.jsonl
│   ├── 2025_H1/                 # 全量基准
│   │   ├── 2025_H1.jsonl        # 每行一例病例
│   │   └── image/               # 病例配图，按 image_details.file 引用
│   ├── 2025_H2/                 # （规划中）2025 下半年
│   └── ...
├── assets/                      # 论文配图与 logo
├── LICENSE
└── README.md

jsonl 而非 json，是这份数据集的一个务实选择：每行一个完整病例对象，可以用流式读取、可以按行分片并行、也可以在内存受限的机器上逐行处理。代价是文件不能被人眼直接浏览，必须借用 jq 或 datasets 才能看到内部结构。

另一处值得注意的设计是图像与记录的松耦合。图像文件并不以「病例 ID.jpg」的方式命名保存，而是由每条记录内部的 image_details 列表通过 file 字段引用。读取方必须自己完成「从记录里取文件名 → 到 image 目录下找文件」这一步拼接。好处是同一张图可以被多道题共享引用（比如某个化验表在初诊题和随访题中各用一次），坏处是图像统计必须靠遍历所有 image_details 去重计数，而不能简单数文件个数。

3.2 字段 schema 与标签体系

每条 JSONL 记录是一个两层嵌套对象：外层是病例元数据，内层 exam_creation.final_policy 承载考题。

第一层：病例元数据

字段	类型	含义
pmc	string	来源文章的 PubMed Central 编号，是回溯到原文的唯一钥匙
doi	string	来源文献的数字对象标识符
title	string	来源病例报告的题名
Level1	string	ICD-10 一级章节名（16 类之一）
Level2	string	ICD-10 二级疾病簇名（72 簇之一）
Rarity	string	罕见性标记，取值 rare 或 unrare
ICD-10	string	具体的 ICD-10 疾病编码，对应三级分类
exam_creation	object	考题容器

第二层：exam_creation.final_policy

字段	类型	含义
scenario	string	初始临床情境，只含接诊当时可获得的信息
scenario_image_details	list	情境阶段呈现的图像（含 file、url、caption、type）
scenario_table_details	list	情境阶段呈现的表格
mcqs	list	顺序多选题列表，按临床路径排列

第三层：单道 MCQ

字段	类型	含义
stage	string	临床阶段标签，如 Initial Assessment、Pathology Evaluation
question	string	题干
options	dict	选项字典，A–J 共 10 项
correct_answer	string	正确选项的单个字母
image_details	list	本题新引入的图像（file、url、caption、type）
table_details	list	本题新引入的表格

关于 Rarity 字段有一个极易踩的坑：它的实际取值是 rare 与 unrare，而不是英语中更常见的 common 或 non-rare。unrare 是一个生造词，按字符串精确匹配时若写成 non-rare 会一条都匹配不上。这一点在数据卡字段表中写得很清楚，但因为「unrare」看起来像个拼写错误，很多使用者会下意识地「纠正」它。

同样值得提醒的是 stage 字段的开放取值。论文举例了 Initial Assessment、Pathology Evaluation，正文讨论中还出现了 Presentation & Assessment、Diagnosis & Interpretation、Therapeutic Strategy、Follow-up、Complication Management。这些标签并非来自一个封闭枚举，而是由生成 Agent 依病例内容动态指派，因此在做阶段归并分析时，需要先做一轮文本归一化。

3.3 分类体系：16 章、72 簇、三级编码

LiveClin 的分类框架既不是纯粹的 ICD-10，也不是完全自造的，而是一种「改造后的 ICD-10」：一级沿用 ICD-10 的章，但做了两处调整——把关系紧密的域合并（例如妊娠与围产期合并为一章），并把「症状与实验室征象」这类非特异性章节剔除，因为这类病例更适合归入其原发疾病之下。最终得到 16 个临床连贯的章节。

二级是关键设计。原始的 ICD-10 三级编码过于细碎，直接用于统计会导致每格样本量过小、结果不可靠；于是团队在专家指导下把三级编码归并为 72 个疾病簇，既保留了「呼吸系统」「消化系统」这一层的临床可解释性，又保证了每簇有足够的样本。三级则回到具体 ICD-10 编码，只用于细粒度个案分析。

16 个一级章节与 72 个二级簇的对应关系（节选，完整表见论文附录 D）：

一级章节	二级簇数（示例）
§1 感染与寄生虫病	肠道感染与结核、人畜共患细菌、细菌/螺旋体/衣原体、病毒（含中枢与 HIV）、真菌与原虫、寄生虫与蠕虫
§2 肿瘤	唇口腔咽、消化器官、呼吸与胸腔、骨与软骨、皮肤、间皮与软组织、乳腺、女性生殖、男性生殖、泌尿道、眼脑与中枢、甲状腺与内分泌、淋巴组织、良性与原位
§3 血液与免疫	营养性/溶血性/再生障碍性贫血、凝血与紫癜、造血器官、免疫机制疾病
§4 内分泌营养代谢	甲状腺、糖尿病、内分泌与葡萄糖调节及营养缺乏、肥胖与代谢紊乱
§5 精神与行为障碍	精神与行为障碍（整章合一簇）
§6 神经系统	中枢炎症与系统性萎缩、锥体外系与运动及退行性、中枢脱髓鞘、发作性与阵发性、神经根与丛、多神经病与其他周围神经、肌肉与神经肌接头及瘫痪
§7 眼与附器	眼睑泪器眼眶结膜巩膜等、晶状体视网膜青光眼球玻璃体视神经视路等
§8 耳与乳突	耳与乳突疾病（整章合一簇）
§9 循环系统	风湿性高血压缺血性心脏病、肺源性心脏病与肺循环、其他心脏疾病、脑血管、动脉与小动脉及毛细血管、静脉与淋巴
§10 呼吸系统	急慢性感染与疾病、慢性与环境及胸膜、其他呼吸系统疾病
§11 消化系统	口腔唾液腺与颌骨、食管胃与阑尾、肝、胆囊胆道与胰腺、疝、非感染性肠炎与结肠炎、肠道与腹膜疾病
§12 皮肤与皮下组织	感染性大疱性与湿疹性、丘疹鳞屑性荨麻疹性放射性及其他
§13 肌肉骨骼与结缔组织	关节病、系统性结缔组织病、背痛类、软组织、骨病与软骨病
§14 泌尿生殖系统	肾小球与肾小管间质及肾衰竭、尿石症与其他肾输尿管疾病、泌尿系统与男性生殖器、乳腺与女性生殖系统
§15 妊娠分娩与围产期	妊娠终止与母体疾病、分娩与产褥并发症、受母体与围产因素影响的胎儿
§19 损伤中毒与外部原因	按体区的损伤与异物、烧伤冻伤与药物中毒、非药用物质毒性效应

注意章节编号从 §1 跳到 §19——这不是遗漏，而是刻意保留了 ICD-10 的原编号，让读者能对上国际标准。合并后的 16 章合计 72 簇，这一数字在论文附录 D 中标为「Total 72」。

按病例数统计的章节分布呈现明显的长尾：肿瘤 19.8%、神经系统 9.9%、消化系统 9.3% 为前三，三者合计近四成。这个分布并不意味着基准偏袒肿瘤，而是反映了两件事：一是 PMC 中肿瘤相关的病例报告本就占比高，二是分层抽样按二级簇均匀抽取（每簇 20 例），簇数多的章节自然获得更多病例。肿瘤一章包含了 14 个二级簇，是所有章节中最多的。

3.4 模态构成：3,757 张图与 634 张表的分类学

论文对模态做了三级归纳。第一级由 o3 依据图像内容和原始图注给出细粒度描述性标签（如「腹部 CT」「胸部 PA 位 X 光片」「HE 染色病理切片」），第二级由医师复核确认标签准确性，第三级按专家规则把细粒度标签归并为可供分析的高层类别（如把「CT 血管造影」「螺旋断层扫描」并入「CT」大类）。

归并后形成的图像类别大致包括：

• CT 扫描：含平扫、增强、血管造影、螺旋断层等子类
• 放射摄影与 X 光：含普通摄影、透视等子类
• MRI：各部位各序列
• 病理切片：HE 染色为主，含免疫组化
• 临床与体表摄影：含眼底照相、皮肤镜等
• 示意图与流程图：非影像类的医学图示

表格类别的归并逻辑相同，形成的类别包括：患者人口学与特征表、化验结果表（含系列动态化验）、生命体征与监测表、用药与治疗方案表等。

这个分类体系直接支撑了论文中最有信息量的一组分析之一：不同模态上的模型表现差异极大。八模型平均意义下，示意图（Diagrams）上的正确率高达 75.1%，病理（Pathology）降到 59.6%，生物信号类（Biosignals）最低，只有 53.6%。这组数字揭示了一个反直觉的结论：模型并不是「越像影像越吃力」，而是「越需要专家级推理越吃力」。示意图只有结构没有噪声，模型读起来得心应手；病理切片和波形信号则要求把视觉特征与疾病机制对应起来，模型的短板立刻暴露。

有趣的是，专精训练确实有效——医疗专用模型 MedGemma-27B 在生物信号类上拿到了 71.4%，显著高于平均值。但论文随即指出，这类专精是点状的：同一个模型在别的模态上并无优势，基础稳健性仍是核心问题。甚至连看似最简单的「人口学表格」，最强模型也会翻车。

3.5 多模态需求沿临床路径的分布

论文统计了「需要多模态解读的题目」在不同临床阶段中的占比，结果呈现一个 U 形曲线：路径最前端的 20% 阶段最高，中间 20%–80% 段逐渐下降，最后 20% 又回升。

这个曲线的临床解释相当自然。诊疗早期是信息采集期——接诊时要看化验单、读首诊影像、比对基线数据，多模态需求最密。中段进入路径化管理，医生主要在既定方案上做增量调整，新数据输入相对少。末段评估疗效与结局时，又需要综合随访影像、复查化验与长期监测数据，多模态需求回升。

这条 U 形曲线还有一个实用的推论：如果某模型在整例准确率上表现平平，可以进一步看它在哪个阶段掉队。论文在错误分析中发现，顶尖模型的失败集中在病例中段的综合推理，而专精医疗模型则更多表现为后段上下文丢失——前者是「不会整合」，后者是「记不住」。这两类失败对应完全不同的改进方向。

§4 获取与复现：三条通路与评估栈

4.1 HuggingFace 获取（推荐主渠道）

最简路径是两行代码：

from datasets import load_dataset
ds = load_dataset("AQ-MedAI/LiveClin", "2025_H1", split="test")

2025_H1 是配置名（config），test 是唯一的 split——这份数据集没有训练集，全部记录都是评测用途，这正是「基准」而非「语料」的体现。若只想快速看看数据长什么样，可以用默认的 demo 配置，14 例足够让你理解结构。

浏览一例的标准写法：

case = ds[0]
print(case["title"])
fp = case["exam_creation"]["final_policy"]
print(fp["scenario"])
for mcq in fp["mcqs"]:
    print(f"[{mcq['stage']}] {mcq['question'][:80]}...")
    print(f"  Answer: {mcq['correct_answer']}")
    for img in mcq.get("image_details") or []:
        print(f"  Image: {img['file']}")

这里有一个必须注意的细节：image_details 与 table_details 可能为 None 而不是空列表。论文与数据卡中的字段示例都写成 list，但实际数据里没有图像的题目该字段为 null，因此代码中必须用 mcq.get("image_details") or [] 这种写法兜底。直接写 for img in mcq["image_details"] 会在大量无图题上抛出 TypeError。这是新手最常撞的一堵墙，也是本条目列出的实操坑点之一（§9 坑点 5）。

手动全量下载有两条等价路径：

from huggingface_hub import snapshot_download
snapshot_download(repo_id="AQ-MedAI/LiveClin", repo_type="dataset", local_dir="./LiveClin")

git lfs install
git clone https://huggingface.co/datasets/AQ-MedAI/LiveClin

git lfs 是必须的——图像目录走 LFS 存储，不装 LFS 只能拿到指针文本而非真实图片。这一点在数据卡中没有加粗强调，实际踩坑率很高。

镜像通道提示：若在国内网络环境访问缓慢，可改用 hf-mirror.com 镜像并在环境变量中设置 HF_ENDPOINT=https://hf-mirror.com。本条目编写时的数据卡实抓即通过该镜像完成，字段与原文一致。需要提醒的是，沙箱或海外环境访问 hf-mirror 可能被重定向回主站，此时直接走主站即可。

4.2 GitHub 评估代码

仓库 github.com/AQ-MedAI/LiveClin 提供完整的评测脚本。标准流程三步：

git clone https://github.com/AQ-MedAI/LiveClin.git
cd LiveClin
pip install -r requirements.txt

python evaluate.py \
    --model gpt-4o \
    --api-base https://api.openai.com/v1 \
    --api-key sk-xxx \
    --image-mode url

--image-mode 有两个取值：url 与 local。前者把图像的远程链接直接发给模型 API，适合支持图像 URL 输入的服务商；后者把本地图片编码后发送，适合自建推理服务或 API 不支持 URL 的场景。后者更为稳妥——远程图床一旦失效，整批判分都会中断。

若已经手动下载了数据，可以跳过自动下载：

python evaluate.py \
    --model gpt-4o \
    --api-base https://api.openai.com/v1 \
    --api-key sk-xxx \
    --image-mode local \
    --jsonl-path /path/to/data/2025_H1/2025_H1.jsonl \
    --image-root /path/to/data/2025_H1/image

--jsonl-path 与 --image-root 必须成对指定，前者指向题目文件，后者指向图像根目录。二者错配会出现「题目能读、图片全找不到」的诡异现象——脚本不会明确报错说路径错了，而是逐题记录图像缺失，最终分数远低于预期。

仓库还提供 SGLang 部署说明，用于本地自托管模型的批量评测。对开源模型而言这是更经济的选择：6,605 道题 × 每例多轮对话，API 调用的 token 消耗相当可观。

4.3 评估协议的三条硬约束

复现 LiveClin 的成绩，有三条协议细节不能改，否则分数不可比。

第一，会话式上下文累积。 一例之内的所有题目必须在同一个对话会话中依次提问，且每轮保留完整历史。不能把每道题拆成独立请求——那样模型看不到前一题的信息，整例准确率会显著下降。论文的提示结构（附录 M）明确说明「前序轮次的上下文累积加入后续题目」。

第二，零样本为主。 主成绩单为零样本（zero-shot）结果。论文另做了 one-shot 与 three-shot 对照，多数模型变化不超过 0.8 个百分点，说明强指令遵循模型并不依赖少样本示例。但对若干医疗专用开源模型（MedGemma-27B、LingShu-32B、HuatuoGPT-V），few-shot 反而导致明显下降，原因是示例让提示长度超出这些模型训练时强调的上下文长度。因此若做对照实验，务必同时报告零样本成绩。

第三，答案解析用分层兜底。 模型的回答需要被解析成单个字母。官方实现采用三级策略：优先提取 \boxed{} 命令内的字母（提示中已要求模型用该格式作答）；找不到则搜索「The correct answer is: A」这类显式表述；最后兜底为「回答末尾的单个字母」。这套分层解析对带思维链的推理模型尤其重要——它们的输出常常在正文里提到所有选项，只靠末尾字母判断才可靠。

4.4 评测成本估算与批量策略

一次全量评测的开销不可忽视。6,605 道题，每例平均 4.7 轮对话，且每轮都要携带完整历史——第 5 轮的输入长度约为第 1 轮的 5 倍。按粗算，一例的累计输入 token 大致相当于「5 倍终轮提示长度」，全量跑下来是一个相当可观的数字，图像输入还会进一步放大（每张图按图像 token 计）。

论文本身的做法可供参考：多轮并发评估引擎，配合多层重试机制应对网络不稳定；评估结果按 JSON 保存，含细粒度分析维度，便于断点续跑与横向比较。实践中建议：

• 先用 demo 配置跑通链路（14 例，几分钟即可完成），确认解析、图像加载、计分三处无问题
• 再抽取 100 例做小规模彩排，核对整例准确率是否落在合理区间
• 最后全量运行，并保留每次运行的原始 JSON 输出

论文自己也是这么做的：每个模型跑三次独立运行，用三次的标准差衡量稳定性，大多数模型的标准差在报告精度以内，推理型模型最高到 0.45 个百分点，排名完全稳定。报告成绩时给出三次均值与标准差，比只报一次更有说服力。

4.5 复现偏差排查表

症状	可能原因	排查动作
整例准确率远低于论文	未保留会话历史，逐题独立提问	检查评估循环是否复用同一对话上下文
图像相关题目大面积失分	--image-root 与实际图像目录不匹配	打印首例的 image_details[0].file，手工确认文件存在
大批题目返回空答案	答案解析未覆盖 \boxed{} 之外的格式	增加「末尾单字母」兜底解析
部分请求 429 或超时	并发过高或图床限流	降低并发、启用重试与断点续跑
分数略高但排名紊乱	使用了 few-shot 示例	回退到零样本重跑
与论文数值差 1–2 分	模型版本快照不同	核对 API 侧的模型快照日期并注明

这张表覆盖了绝大多数「跑出来和论文不一样」的情形。最后一行尤其重要：论文评估的是特定日期的模型快照，服务商在后台静默升级版本会导致同名模型分数漂移。做长期对比研究时，必须在报告中写明模型快照标识。

§5 构建方法论：一条 AI 与医师协同的流水线

5.1 三阶段总览与完整漏斗

LiveClin 的构建流程可以概括为三个阶段、九个环节，每个环节都对应着论文中的一个可核查数字。

阶段	环节	输入 → 输出
一、病例构建	程序化检索 PMC OA 2025 上半年 XML	全量病例报告 → 原始文件池
	结构解析：聚合病例叙述、聚合讨论、表格转 Markdown、抽取图注与链接	原始文件 → 结构化病例
	gpt-4.1 三级分类 + 分层抽样（每 L2 簇 30 例，优先 L3 多样性）	结构化病例 → 2,150 份高质病例
二、考题生成	Generator Agent 生成情境与 3–6 道十选一题，动态指派阶段标签	2,150 → 2,150 套初稿
	Critic Agent 闭环评审（临床准确性 + 认知复杂度），10 轮不收敛即弃	→ 2,092 套题
三、质量检查	Judge Agent（o3）预筛，区分「特权信息」与「考生可见信息」	→ 1,869 套题
	医师两阶段核验：Annotation（单人标注）+ Inspection（另一人复核）	→ 1,822 套题
	分层抽样：每 L2 簇 20 例，优先 L3 多样性	→ 1,407 套题（终版）

这条漏斗最值得玩味的地方，是它在两个不同位置都用了「每簇 20–30 例」的分层抽样。第一次在病例层（每簇 30 例），目的是让原始病例池在疾病谱上均衡；第二次在考题层（每簇 20 例），目的是让最终基准在疾病谱上均衡。两次抽样的差别（30 变 20）说明：经过生成与验证两道关卡后，不同疾病簇的「存活率」并不一致，需要重新配平。

从 2,150 到 1,407，整体留存率约 65.4%。这个数字背后是三次独立的淘汰：Critic 淘汰 58 套（2.7%）、Judge 淘汰 223 套（10.7%）、医师核验淘汰 47 套（2.5%），最后一刀是分层抽样的主动削减——从 1,822 到 1,407，主动舍弃了 415 套，占 22.8%。换句话说，最终基准的规模不是被质量问题压缩出来的，而是被「每簇 20 例」的配额决定的。如果放开配额，理论上可以做到 1,822 例。

5.2 病例解析：把一篇论文变成一段病程

从 PMC XML 到「可用于命题的病例」，中间要过四道工序。

工序一，章节切分。 病例报告的结构相对固定，但不同期刊的章节名称差异极大。流水线的做法是：把描述患者历程的章节（Case Presentation、Clinical Findings、Case Report 等）聚合成核心病例叙述，把作者分析类章节（Discussion、Comment、Review of Literature 等）聚合成病例讨论。这个切分至关重要——叙述部分是可向考生展示的「真实信息」，讨论部分是包含答案的「特权信息」，两者必须物理隔离。

工序二，表格结构化。 所有表格被转成 Markdown。这既是为了让模型能读懂（Markdown 表格对 VLM 友好），也是为了后续能按类别归纳（人口学表、化验表、监测表）。

工序三，图像链接抽取。 每一张插图都提取持久 URL 与图注，保留原始引用关系。图注是后续模态分类的重要依据——o3 分类时会同时参考图像内容与图注。

工序四，三级分类。 用 gpt-4.1-2025-04-14 做两阶段层次分类：先定一级章节，再在该章节内定二级簇与三级编码。两阶段而非一次到位，是为了降低跨章节误分的概率——模型先被约束在 16 个选项里选，再在 72 个簇里选，比直接从 72 个里选更稳。

这里有一个容易被忽视的设计智慧：分类用的模型与命题用的模型是分开的。分类用 GPT-4.1，生成用 o3，预筛用 o3。这种分工一方面让每个环节用最适合的模型，另一方面也降低了「同一个模型的系统性偏好贯穿全流程」的风险。

5.3 Generator-Critic 双代理：把一篇病例变成一场考试

命题环节由两个 o3 驱动的 Agent 协作完成，论文称之为 Generator-Critic 架构。

Generator 负责「出题」。 它先把病例压成一段简短的初始情境——只保留患者就诊当时可得的信息，绝不剧透后续发展。然后生成 3 到 6 道递进式十选一题，每题动态指派一个临床阶段标签，保证从诊断到长期管理的逻辑连贯。每道题的情境中策略性地引入新的临床细节，以此检验模型整合演进信息的能力。

Generator 的提示词里有几条硬规矩，值得逐条解读（附录 F）：

• 绝对禁止提及来源体裁。不得出现「病例报告」「病例描述」「讨论」等字样——考生只应看到情境、递进的题目信息与图表。这一条是为了防止「考试穿帮」：一旦模型知道这是从病例报告改写的，可能通过回忆原文献而非推理作答。
• 九个干扰项必须临床上说得通。所有 9 个错误选项都要代表真实的鉴别诊断，必须通过推理才能排除。这一条直接决定了题目的难度上限——如果干扰项一眼可辨，题目就退化成了「认出正确答案」。
• 信息披露节奏。初始情境只给接诊当时可见的信息，后续每题的补充信息要恰好对应那个决策点医生本会拿到的资料。

Critic 负责「审稿」。 它模拟同行评议，从两个维度打分：临床准确性与认知复杂度。若某题被标记，Critic 给出可执行的修改意见，打回 Generator 重写。这个闭环持续到同时满足两个条件为止：全部题目临床准确率 100%，且超过 60% 的题目达到高认知复杂度。任何一套题若 10 轮内仍不收敛，直接丢弃。

这两个门槛的设计很讲究。100% 临床准确是不可妥协的底线——医学评测里一道事实错误的题，其破坏力远超过十道平庸题。而60% 高复杂度则是一个弹性的难度调节阀：它不要求每道题都难，只要求多数题难，从而在「有区分度」与「不失真」之间取得平衡。

这一环节的效果被消融实验量化得很清楚：单 Generator 时，医师验证通过率 84.5%，平凡题（三个基线模型都能答对的题）占 16.5%；加上 Critic 后，通过率升到 93.0%，平凡题占比降到 5.5%（详见 §5.5）。

5.4 Judge Agent：AI 预筛如何提升人的效率

生成之后再设一道 AI 关卡，初看像是叠床架屋。但论文的实验给出了一个反直觉的结论：Judge 的价值不在于「过滤」，而在于「重塑人的判断方式」。

Judge Agent 同样由 o3 实现，扮演一位极度保守的预审员。它的关键能力是区分「特权信息」与「考生可见信息」：前者来自病例讨论部分与原始文献，后者是考生在题面上真正能看到的。它用这两个视角分别执行事实校验与逻辑可解性检查，目标是自主拒掉那些根本站不住脚的题。经它之手，题库从 2,092 套降到 1,869 套，淘汰率 10.7%。

值得注意的是它对最终通过率的影响。表面上看，加入 Judge 后医师验证通过率从 93.0% 掉到 89.5%——像是变差了。但论文的解释完全相反：这是一种质量标准抬高后的自然结果。Judge 会给医师提供结构化的审查线索与源病例直接证据，让医师得以发现此前容易忽略的细微瑕疵。换句话说，通过率下降不是因为题变差了，而是因为审得更严了。

更硬的证据在「Judge 通过子集」上：在这一子集内，医师验证通过率高达 98.4%。这说明 Judge 的判断与医师的判断高度吻合，它并不是在瞎拦。论文据此把 Judge 定位为「医师审阅的增强器」而非「替代品」。

5.5 消融实验：每个组件到底值多少钱

论文在 200 份随机抽样的病例上做了四组对照，把「医师全人工」这条基准线摆在了最左边。

方法	医师验证通过率	平凡题占比	相对成本
医师人工撰写	基准	38.5%	100%（人力基准）
Generator-only	84.5%	16.5%	降近两个数量级
Generator-Critic	93.0%	5.5%	略高于上一档
Generator-Critic-Judge	89.5%（名义）	—	再加一道 AI 关卡

三个结论值得记住。

第一，AI 出题能大幅降低成本。 Generator 单独运行时，时间与金钱成本相比医师人工撰写降低近两个数量级——这是「半年更新」在经济上可行的根本前提。没有这一条，1,407 例 × 半年一轮的更新节奏根本撑不住。

第二，Critic 是准确率的守门人。 从 84.5% 升到 93.0%，涨了 8.5 个百分点；同时平凡题从 16.5% 压到 5.5%。Critic 一箭双雕：既让题更对，也让题更难。

第三，Judge 提升的是「审查质量」而非「通过率」。 名义通过率下降是质量标准提高的副产品，前面已经解释过。

还有一个关键的追问：Generator-Critic 把平凡题从 38.5% 压到 5.5%，这是真的变难了，还是只是把题改得「刁钻」了？论文做了一项归因分析来回答：在被重新归类为「变难」的题目中，超过 80% 可归因于临床相关因素——主要是保留了真实但不完整的临床信息（迫使模型在信息不全下决策）、要求跨阶段或多步推理、以及把干扰项打磨得更贴近真实鉴别诊断。也就是说，难度的提升主要来自「更像真实临床」，而非人为设障。

这项归因分析的方法论意义，甚至超过了它的结论本身：它为「基准难度提升的合法性」提供了一个可操作的检验范式。任何自建基准的团队都可以借用这套逻辑，去证明自己的难题不是「为了难而难」。

5.6 医师核验：239 人、两阶段、1,772 人时

质量检查的最后一道闸门是医师。整个流程由一条保守原则统领：任何可能有瑕疵的题目，一律拒掉。这不是「有疑问先留着」，而是「有疑问先删掉」——在医学评测里，漏放一道坏题的代价远高于错删一道好题。

两阶段核验。第一阶段 Annotation，每套题由一位医师标注；第二阶段 Inspection，由另一位医师复核。两阶段的评判标准相同：事实校验（与源病例完全一致）与逻辑可解性（答案可从给定信息推出）。一旦出现分歧，就进入修订循环，让原标注医师参与，直到达成共识。

分歧统计以「修订轮数」作为标注者间一致性的代理指标。结果显示：审核病例中 8.7% 出现分歧，其中 91.4% 首轮解决、7.8% 次轮解决、仅 0.9% 需要第三轮。这组数据是「两阶段设计足够」的直接证据——绝大多数分歧能在一轮对话内消解，说明医师之间的判断标准相当一致。

团队构成。239 名执业医师覆盖全部主要专科与亚专科。按资历看，高级专家（主任医师 + 副主任医师）占标注团队的 26.3%、审核团队的 38.2%——审核环节资历更高，这符合「复核由更资深者承担」的常识。按专科看，内科占 39.8%（其中心内科、肾内科、消化、呼吸、血液、内分泌各有分布，普通内科与老年医学占大头），外科占 30.1%（普外、胸外、肝胆为主），儿科、妇产科、皮肤科、神经内科进一步扩展覆盖面，急诊、康复、放射、肿瘤、病理等小科室也各有代表。

分派机制是质量的关键。每套题不是随机分给任意医师，而是分给与疾病类别专长匹配的审阅者。这消除了「内科医生审骨科题」带来的系统性误判风险。论文把这套机制称为「领域适配评估」。

成本。整个验证流程耗时 1,772.18 人时，按 24 美元/小时计，合计 42,304.39 美元。这个数字很重要，因为它量化了「高质量医学基准」的真实门槛——四万多美元的医师人力，是任何团队想复刻这条路线时必须先算清的一笔账。

一个易被忽略的工程细节：所有材料都经 o3 翻译成中文，供本土专家审阅（原始文献为英文）。论文附录 H 报告了翻译准确率。这个设计说明团队的主体是中文母语医师，翻译环节是必要的中介——同时也引入了一层需要单独评估的风险（翻译误差是否会改变医学语义）。

5.7 防泄漏机制的三重设计

「without Leakage」的实现不是单点技巧，而是三层设计的叠加。

第一层，源头新鲜。 题目只来自 2025 年上半年发表的文献。模型若在 2025 年上半年之前完成训练，根本没见过这些病例。

第二层，发布滞后窗。 从「模型数据采集」到「基准公开发布」之间刻意留出六到八个月。这个窗口的意义在于：即使某个模型的训练数据采集时间很晚，只要它是在基准发布前完成的，就不可能包含基准内容；而基准发布后新训练出来的模型，其训练数据理论上可能包含公开的题库——这就是为什么需要第三层。

第三层，私有榜单监控。 团队维护一个仅内部可见、每月更新一次的私有 leaderboard。如果某开发者针对公开题库做高频迭代刷分，其私有榜单成绩会出现异常跃升，从而暴露。论文报告了 2025 上半年、7 月、8 月三个时点的比对结果：月度分数变化很小、排名保持稳定，说明监控机制目前未发现明显的刷分行为。

这三层设计与通用「活基准」的做法一脉相承——论文明确说这是follow LiveBench 与 LiveCodeBench 的实践。但 LiveClin 有一处独特之处：它的更新周期是固定的半年，而不是「随时更新」。固定周期牺牲了一部分时效性，换来的是「可复现」——任何人都能确切知道 2025_H1 是什么、包含什么。

5.8 偏倚控制：罕见病、地域与体裁三重考量

建立基准必须直面「金标准长什么样」这个问题。论文的态度很诚实：不存在普适的金标准人群分布。不同地区、不同医疗层级、不同专科的患者人群差异巨大，任何单一分布都会引入偏倚。LiveClin 选择了「病例报告」这一体裁，理由是它天然承载「意外发现、新发病理机制、创新治疗路径」——这恰好契合「通过持续更新捕捉新兴医学知识」的目标。

但病例报告有一个已知的代价：罕见病比例畸高。1,181 例罕见、226 例非罕见，罕见占比 84%，远高于真实门诊人群。这可能让基准偏向「罕见病识别能力」。

论文用敏感性分析回应了这一点（附录 P）：多数模型在罕见与非罕见两个子集上的准确率差距在五个百分点以内，排名基本保持；更强的模型受罕见性影响更小，GPT-5、o3、GPT-4.1 甚至在罕见子集上表现更好。结论是「罕见性对分数与排名的影响有限」。

还有一层偏倚是论文主动承认的：PubMed 对低资源地区代表性不足。这反映的是全球学术出版格局、语言壁垒与索引标准的综合结果，不是某一篇论文能解决的。论文把「从区域数据库、非英语文献、临床医生网络中补充病例」列为未来工作方向。这是一种值得赞赏的坦诚——它没有假装基准是中立的，而是明说了它的盲区在哪。

§6 许可、合规与引用规范

6.1 许可层次：数据集、论文与上游文献

LiveClin 的许可需要分三层看，混淆任何一层都会出问题。

第一层，数据集本体：CC BY-NC-SA 4.0。 这是 HuggingFace 数据卡 license 字段明确声明的许可，也是使用这份数据时必须遵循的主许可。四个字母各有含义：

• BY（署名）：使用与再分发必须注明原作者与来源
• NC（非商业）：不得用于商业目的
• SA（相同方式共享）：若对数据集进行改编、修改或以之为基础创作，衍生作品必须以相同许可发布
• 4.0：知识共享组织第四代通用许可版本

三项限制里，NC 是药用场景中最容易踩雷的一条，SA 是技术侧最容易忽略的一条。很多团队只记住「CC 就是开放」，实际上 CC 是一个许可家族，不同成员的约束强度差别极大。

第二层，论文与代码。 论文以 arXiv 预印本形式发布，代码托管在 GitHub。这两者的具体许可条款在本条目抓取的材料中未逐字确认——数据卡只声明了数据集本身的 license,论文页面与代码仓库的 LICENSE 文件未做逐字比对。这构成本条目的一处遗留疑点（§9 存照 10），引用代码前应直接查看仓库 LICENSE 文件。

第三层，上游文献。 这层最容易被彻底忽略。LiveClin 的每一条记录都源自一篇 PMC 开放获取文献，记录中保留了 pmc 与 doi 字段。这意味着：

• 原始病例报告本身的著作权属于原作者与期刊，LiveClin 团队所做的是「衍生创作」（改写为考题），而非「原创内容」
• CC BY-NC-SA 4.0 是 LiveClin 团队对其衍生作品所授的许可，不能代替上游文献的许可
• 若你要回溯使用原始文献的图表（例如把病例原图直接用于自己的出版物），必须另行核查该篇文献的具体许可——PMC 开放获取子集中的文献许可并不统一，有 CC BY、CC BY-NC、CC BY-NC-ND 等多种

实操建议：把 pmc 字段当作「许可追溯键」。凡是超出 LiveClin 本身使用范围的场景，都应该用这个键回到原文去确认权限。

6.2 许可速查表：五个常见场景

场景	是否允许	依据与注意
学术论文中报告模型在本基准上的成绩	允许	属正常学术使用，需按 BY 要求引用论文与数据
学位论文、非营利研究机构内部评测	允许	非商业用途，符合 NC
企业内部的模型研发评测	需审慎评估	「内部研发」若最终服务于商业产品，可能被认定为商业目的
将基准题目改编成自有数据集并公开发布	允许但受限	触发 SA 条款，衍生数据集必须以 CC BY-NC-SA 4.0 发布
把题目用于商业产品（如训练商用模型、做成付费评测服务）	不允许	直接违反 NC 条款，需向版权方单独申请授权

第四行是 SA 条款最典型的作用场景：它可以阻止「拿开源数据洗一遍变成闭源资产」。第五行则是 NC 的红线：如果你的模型最终要卖给客户，用它评测是否属于商业使用，需要法务而非工程师来判断——这也是本条目反复提醒「先问法务」的原因。

6.3 合规使用检查清单

在正式使用 LiveClin 之前，建议按以下七项逐一自查：

1. 明确使用目的：纯学术 / 内部研发 / 商业产品——这三种情形的合规结论完全不同
2. 确认最终去向：评测结果是否会被用于对外宣传、产品验收或商业投标
3. 记录引用信息：论文 arXiv 编号、数据集版本号（2025_H1）、抓取日期
4. 检查上游文献：若需使用原始图表，用 pmc 字段回溯确认该文献许可
5. 评估衍生义务：若对题目做了修改或重组，衍生作品是否已准备以同许可发布
6. 保留版本快照：半年更新意味着数据会变，研究结论必须绑定具体版本
7. 复核最新许可：访问 HuggingFace 仓库确认 license 字段未被变更

第 7 项常被忽略但并不多余：数据集的许可声明可能随版本调整，尤其在从预发布转为正式发布、或从学术托管转向机构托管时。养成「使用前看一眼 license 字段」的习惯，成本极低。

6.4 引用规范：BibTeX 与叙述式引用

官方数据卡给出的 BibTeX 条目如下（原样转录）：

@misc{wang2026liveclinliveclinicalbenchmark,
      title={LiveClin: A Live Clinical Benchmark without Leakage},
      author={Xidong Wang and Shuqi Guo and Yue Shen and Junying Chen and Jian Wang
              and Jinjie Gu and Ping Zhang and Lei Liu and Benyou Wang},
      year={2026},
      eprint={2602.16747},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2602.16747}
}

叙述式引用建议写成：「……在 LiveClin 2025_H1 基准上（Wang 等，2026）……」。务必带上版本号——不带版本号的「LiveClin」在未来半年后将指向一个不同的数据集，这是本条目最强调的引用纪律。

若引用的是数据本身而非论文，建议同时给出数据集标识与访问日期：

Wang X, Guo S, Shen Y, et al. LiveClin [Dataset]. Version 2025_H1. Hugging Face. https://huggingface.co/datasets/AQ-MedAI/LiveClin (accessed 2026-10-17).

6.5 许可边界三问

问一：我可以把 LiveClin 的题目喂给自家的商业模型做微调吗？ 严格按 NC 条款，不可以。微调属于「以商业目的使用受 NC 限制的材料」。若确有此需求，应联系 AQ-MedAI 获取单独授权。

问二：我可以用它评测自家商业模型并公布成绩吗？ 这一情形处于灰区。单纯「评测并公布分数」通常被视为学术性使用，但若公布行为本身构成产品营销的一部分，性质就会改变。建议在公布前明确表述为「研究报告」而非「产品性能声明」，并保留法务意见。

问三：我可以把评测结果做成公开榜单吗？ 可以，但需注意两点：一是榜单本身若包含题目原文或图像，将构成再分发，需遵守 BY 与 SA；二是只发布分数而不发布题目，通常不触发 SA，但仍需按 BY 署名。

这三问覆盖了实际工作中 90% 的许可咨询。凡超出这三问的情形，都应当直接联系版权方，而不是自行推断。

§7 评测结果：26 个模型的临床路径大考

7.1 评估协议：为什么这个分数这么低

在读数之前，必须先讲清评分口径，否则整张成绩单都会被误读。

主指标是 Case Accuracy（整例准确率）：一个病例内的所有顺序题目全部答对，该例才算正确。这是一个极其严苛的「全或无」指标。

它的严苛程度可以用一个简单模型说明。设单题正确率为 p，每例平均 4.7 题，则整例准确率约为 p^4.7：

单题正确率 p	整例准确率近似
70%	19%
80%	35%
85%	47%
90%	61%
95%	79%

对照这张表可以读出关键信息：o3 的 35.7% 整例准确率，对应的单题正确率大致在 80% 上下。这个水平其实不低——它的意思是「模型每五道题大约错一道」，只是因为要求整条路径零失误，最终整例全对的只剩三分之一强。

这也解释了为什么 LiveClin 的分数看起来比 MedQA 动辄 90% 的成绩「惨不忍睹」，但两者完全不可比：前者是整例全对率，后者是单题正确率，口径差距相当于「考试及格率」与「考试满分率」。

评估协议的四项设定：

• 会话式顺序提问：一例内的题目在同一会话中依次提出，保留完整历史
• 零样本：主成绩单不使用任何示例
• 温度=0：多数模型固定温度为零；有专属推理模式的模型按其官方推荐配置
• 三次独立运行：取三次结果并计算标准差

模型阵容（26 个） 分三类：

类别	模型
专有闭源	GPT-5、GPT-4.1、GPT-4.1-mini、GPT-4o、GPT-4o-mini、o3、Gemini-2.5 Pro、Gemini-2.5 Flash、Gemini-2.0 Flash、Gemini-1.5 Pro、Claude-3.7 Sonnet、Claude-3.5 Sonnet、Claude-3.5 Haiku
开源通用	InternVL-3.5-241B、InternVL-3.5-38B、InternVL-3.5-8B、Qwen2.5-VL-72B、Qwen2.5-VL-32B、Qwen2.5-VL-7B、GLM-4.1V-9B、MiMo-VL-7B-RL-2508
医疗专用	LingShu-32B、LingShu-7B、MedGemma-27B-It、MedGemma-4B-It、HuatuoGPT-Vision-7B

这一阵容的设计意图很明确：既要有前沿闭源旗舰，也要有开源规模梯队（7B / 8B / 32B / 38B / 72B / 241B），还要有医疗专精模型。三条线交叉，才能回答「规模有用吗」「专精有用吗」「闭源还领先多少」这三个核心问题。

7.2 主成绩单：26 个模型的整例准确率

下表按整例准确率降序排列，数值取论文主表（与三次运行表核对，取一致口径）：

排名	模型	类别	Case Acc (%)
1	o3	专有·推理	35.7
2	GPT-5	专有	35.5
3	InternVL-3.5-241B	开源通用	34.4
4	Gemini-2.5 Pro	专有	33.7
5	GPT-4.1	专有	31.8
6	Claude-3.5 Sonnet	专有	27.3
7	GPT-4.1-mini	专有	26.1
8	Claude-3.7 Sonnet	专有	25.6
9	Gemini-2.0 Flash	专有	21.4
10	LingShu-32B	医疗专用	20.1
11	Gemini-2.5 Flash	专有	19.0
12	GLM-4.1V-9B	开源通用	18.8
13	Qwen2.5-VL-72B	开源通用	18.6
14	InternVL-3.5-38B	开源通用	18.0
15	Gemini-1.5 Pro	专有	17.7
16	Qwen2.5-VL-32B	开源通用	17.2
17	MedGemma-27B-It	医疗专用	15.6
18	LingShu-7B	医疗专用	15.3
19	Claude-3.5 Haiku	专有	15.3
20	GPT-4o-mini	专有	14.8
21	GPT-4o	专有	14.7
22	InternVL-3.5-8B	开源通用	12.4
23	MiMo-VL-7B-RL-2508	开源通用	10.9
24	HuatuoGPT-Vision-7B	医疗专用	9.2
25	Qwen2.5-VL-7B	开源通用	7.9
26	MedGemma-4B-It	医疗专用	7.5

第一名归属的说明：论文摘要只说「top-performing model achieving 35.7%」，正文称「o3 与 GPT-5 领先」。在三次运行表中，o3 的跑次分别为 35.7 / 35.2 / 35.9（标准差 0.36），GPT-5 为 35.5 / 35.4 / 35.6（标准差 0.22）。按三次均值，o3 约 35.6、GPT-5 约 35.5，差距在统计噪声范围内。因此更稳妥的表述是「o3 与 GPT-5 并列第一梯队，35.7% 是全场最高单次成绩」。这一点在 §9 存照 2 中已单独记录。

7.3 三个梯队与它们各自暴露的问题

把 26 个模型按分数切成四档，可以清楚地看到当前临床 AI 的真实格局。

第一梯队（≥30%）：o3、GPT-5、InternVL-3.5-241B、Gemini-2.5 Pro、GPT-4.1。 五个模型，清一色是前沿旗舰或超大开源模型。这一档的共同特征是：单题正确率普遍在 80% 以上，剩余失分主要来自「中段综合推理」——病例进行到一半、信息最多、需要跨阶段整合时，模型容易顾此失彼。论文把这称为「mid-case synthesis struggles」。

第二梯队（20%–30%）：Claude-3.5 Sonnet、GPT-4.1-mini、Claude-3.7 Sonnet、Gemini-2.0 Flash、LingShu-32B。 这一档很有意思——里面既有较小规模的闭源模型，也有医疗专用的 32B 模型。LingShu-32B 以 20.1% 挤进这一档，是医疗专精路线目前最好的成绩，说明领域微调确实能补上规模的差距。

第三梯队（12%–20%）：Gemini-2.5 Flash、GLM-4.1V-9B、Qwen2.5-VL-72B、InternVL-3.5-38B、Gemini-1.5 Pro、Qwen2.5-VL-32B、MedGemma-27B、LingShu-7B、Claude-3.5 Haiku、GPT-4o-mini、GPT-4o、InternVL-3.5-8B。 十二个模型，混杂了上一代闭源旗舰（GPT-4o、Gemini-1.5 Pro）、中等开源模型与部分医疗专用模型。这一档的典型失败模式是后段上下文丢失——推理链走到第四、第五题时，前三题的关键信息已经被「忘掉」。

第四梯队（<12%）：MiMo-VL-7B-RL-2508、HuatuoGPT-Vision-7B、Qwen2.5-VL-7B、MedGemma-4B。 四个小规模模型，整例准确率全部低于随机猜部分表现，说明在长程多轮推理上，小模型尚不具备可用的临床路径管理能力。

值得注意的是一个反直觉的现象：医疗专用小模型并没有比同规模通用模型更占优势。MedGemma-4B 只有 7.5%，低于同规模的 Qwen2.5-VL-7B（7.9%）；HuatuoGPT-Vision-7B 只有 9.2%。这说明在「需要长程记忆与跨阶段整合」的任务上，通用的强基座 + 指令遵循能力，比医疗知识注入更重要。

7.4 人机对比：医师基线说了什么

论文用 100 例随机抽样病例做了人机对照，参与者共 78 名执业医师：

• 43 名主治医师（Attending Physician），占 55.1%
• 35 名高级医师，占 44.9%，其中 19 名副主任医师、16 名主任医师

设计上做了严格的对照：每例收集 6 份独立作答（3 份来自主治、3 份来自副主任或主任），病例按专科匹配分派，作答协议与模型评估完全一致（同样保留顺序上下文、同样按整例全对计分）。

结果呈现清晰的排序：

主任医师 > 主治医师 > 多数模型；只有 GPT-5 与 o3 略微超过主治医师，但仍不及主任医师。

这个结论有三层含义。

第一层，天花板还很高。 最强模型（35.7%）依然打不过主任医师，说明整条临床路径的管理能力尚未被攻克。论文的措辞是「current medical AI is approaching but has not yet achieved comprehensive management of complete clinical pathways」——接近，但未达成。

第二层，模型已经跨过了「实习医生」线。 o3 与 GPT-5 超过了主治医师的平均水平，这是一个不容小觑的里程碑。三年前的系统在这个任务上大概率接近零分。

第三层，人机差距的量化尚不完整。 论文正文与可抓取附录中只给出了相对排序，没有公布主任与主治医师的具体百分数。这是本条目的一处遗留疑点（§9 存照 3），也是引用此结论时最需要注意的边界——你不能说「模型与主任医师相差 X 个百分点」，因为 X 未知。

7.5 领域专精：模型在哪些科室强、哪些科室弱

论文对八个代表性模型做了分章节分析，结果呈现出鲜明的「专精 + 普遍弱项」格局。

强项集中区：内分泌疾病这类「系统性逻辑清晰」的领域，模型表现相对好——因为诊断路径规则明确、有明确的化验阈值。

普遍弱项：肿瘤（Neoplasms）。这是全章节中病例最多（19.8%）却普遍表现最差的一块，原因不难理解——肿瘤决策高度依赖分期、病理分型、分子标志物与多学科会诊，是典型的「需要综合判断而非单一规则」的领域。

意外的专精点：精神与行为障碍（Mental & Behavioural Disorders）。o3 在该章拿到 68.4%，Claude-3.5 Sonnet 拿到 63.2%——注意 Claude-3.5 Sonnet 的全场平均只有 27.3%，说明它在精神科上的表现远超自身的整体水平。这个专精现象「跨越了规模」：顶尖的 o3 与中档的 Claude-3.5 在这一个章节上处于同一档。

精神科为何成为模型的强项？一个合理推测是：该领域的诊断标准（如 DSM、ICD）高度文本化、结构化，且病例报告中的描述性信息丰富，天然适合语言模型处理。相较之下，肿瘤需要整合影像、病理、分子三层异构信息，难度陡增。这是推测，论文并未给出解释，引用时应当谨慎。

7.6 模态维度的表现：从示意图到生物信号

论文对八类模态做了平均正确率分析（八个代表性模型的均值）：

模态	平均正确率	解读
示意图 Diagrams	75.1%	结构清晰、无噪声，模型最容易
病理 Pathology	59.6%	需要专家级视觉判读
生物信号 Biosignals	53.6%	波形与曲线，需结合生理机制

这组数字揭示的规律是：难度不在「图像复杂程度」，而在「是否需要专家推理」。示意图线条简单但需要理解流程逻辑，模型轻松应对；病理切片视觉复杂但形态学特征可被学习，中规中矩；生物信号（心电、脑电、监护波形）既需要读波形，又需要把波形与病理生理对应起来，模型最吃力。

一个值得记录的细节：MedGemma-27B 在生物信号上拿到 71.4%，远高于 53.6% 的平均值。这说明针对性的训练数据确实能补上特定模态的短板。但同一模型在整体成绩上只有 15.6%，说明这种专精是「点状」的——补上一个洞，别的洞还在。论文的结论很克制：「foundational robustness remains a key challenge」。

甚至连最「简单」的人口学表格，最强模型也会出错。这类错误往往不是读不懂表格，而是读懂了却没有正确使用——例如在剂量计算时用错了体重单位，或忽略了表中标注的「既往史」。这类错误对临床安全的意义，远大于偶尔读错一张片子。

7.7 稳定性与鲁棒性：三组对照实验

对照一：三次重复运行。 每个模型独立跑三次，标准差绝大多数在报告精度以内。推理型模型（o3、Gemini-2.5 Pro、Claude-3.7）波动稍大，最高 0.45 个百分点；部分以非零温度运行的闭源模型波动 0.08–0.12 个百分点。排名完全稳定，说明成绩不是运气。

对照二：少样本提示。 在零样本之外，又跑了 one-shot 与 three-shot。多数模型的变化不超过 0.8 个百分点——这印证了「强指令遵循模型不需要少样本示例」。但几个医疗专用开源模型（MedGemma-27B、LingShu-32B、HuatuoGPT-V）在少样本下明显下降，原因是示例让提示变长，超出了它们训练时强调的上下文长度。这个发现有一个实践意义：给医疗专用模型加 few-shot 示例，可能适得其反。

对照三：私有榜单月度稳定性。 用 2025 上半年、7 月、8 月三个时点的题集比对，分数变化小、排名稳定。这既是稳定性证据，也是「无人刷分」的证据。

7.8 反直觉发现：换代不等于涨分

论文里最值得玩味的一句话是：「our findings challenge the belief that scaling or newer releases alone deliver better clinical reasoning」。支撑它的，是两组同门模型的「倒挂」：

• Claude 3.5 Sonnet（27.3%）> Claude 3.7 Sonnet（25.6%），前者高出 1.7 个百分点
• Gemini 2.0 Flash（21.4%）> Gemini 2.5 Flash（19.0%），前者高出 2.4 个百分点

两个案例都指向同一个结论：通用能力的提升，不必然转化为临床路径推理能力的提升。原因可能是多方面的——新版本在通用指令遵循、长文本、代码等方面增强，但这些增强未必对应「顺序临床推理」这一特定能力；也可能新版本在某些安全对齐上更保守，导致在需要明确给出判断的题目上回答更含糊。

这个发现对基准使用者有直接的方法论意义：不要假设新模型一定比旧模型强，必须实测。在选型时，「最新版本」不是可靠的选择依据。

论文由此提出的方向是「targeted, domain-specific optimization」——针对性的领域优化，而不是指望通用升级自动带来收益。这与 7.3 节观察到的「LingShu-32B 以 20.1% 挤进第二梯队」形成了呼应：领域专精确实有效，只是目前还不足以撼动前沿旗舰。

7.9 数据时效性的量化：45.0% 与近十个点

论文的试点研究提供了「为什么需要 live 基准」的最直接证据。

设计：从 2023 上半年到 2025 上半年共五个半年时段各抽病例，走纯 AI 流水线（Generator-Critic-Judge，跳过医师验证以控成本），每个时段产出标准化的 200 套题，用完全相同的协议评估前沿模型。

结果：模型在「早于其知识截止」的时段上表现明显更好。最典型的是 GPT-5：在知识库覆盖的时段上 45.0%，在截止日期之后发表的病例上下降近十个百分点。

这个约十个百分点的落差，正是「污染 + 过时」两种效应叠加后的量级。它意味着：用静态基准测出的分数，可能系统性地高估了模型的真实临床能力约十个点。对于把基准分数当作选型依据的机构，这是一个不容忽视的偏差。

需要强调这个数字的适用范围：45.0% 属于试点研究的口径（纯 AI 流水线、无医师验证），与主基准的 35.7% 不可直接比较。两者混用是本条目列出的坑点之一（§9 坑点 7）。

7.10 错误模式：三类失败对应三种改进方向

把各档模型的失败模式归纳起来，可以提炼出三条清晰的改进线索。

线索一：中段综合推理失败（顶尖模型）。 o3、GPT-5 这类模型在病例前段与后段都表现不错，唯独在「信息量最大、需要跨阶段整合」的中段掉队。改进方向不是「读得更准」，而是「整合得更好」——需要能主动构建病程时间线、维护假设列表、并在新信息到来时更新判断的机制。

线索二：后段上下文丢失（专精医疗模型）。 LingShu、MedGemma 这类模型在长对话中会「忘记」前面几题的信息。改进方向是上下文管理——更激进的摘要、更明确的状态记录、或更长的有效上下文窗口。

线索三：知识调用错误（全档普遍）。 即使是最强模型，也会在「读懂了表格却用错了数据」这类地方失分。这不是感知问题，而是知识运用问题——模型知道该看什么，却不知道该拿它做什么。改进方向是更显式的临床推理脚手架，而非更多的知识注入。

这三条线索的价值在于，它们把「模型分数低」这个笼统的批评，拆成了三个可分别攻坚的具体问题。这也是 LiveClin 作为诊断工具的额外价值——它不仅排名，还指出病灶。

§8 生态位与库内互链

8.1 在医学基准谱系中的坐标

若要把 LiveClin 放进千方库已有的医学问答与基准家族里定位，最直观的办法是用两根轴：「测什么」（单点知识 vs 长程推理）与 「怎么来」（静态固定 vs 动态更新）。

位置	代表条目	特征
左下：单点 + 静态	MedQA、MedMCQA、PubMedQA	考试题或文献摘要问答，单题计分，一经发布不再变化
右下：单点 + 动态	各类季度挑战赛	题目换新但仍是单点判断
左上：长程 + 静态	AgentClinic 类交互基准	有对话但题集固定
右上：长程 + 动态	LiveClin	完整病程 + 半年换血

右上角这一格几乎是空的——这正是 LiveClin 的生态位价值。它不是「又一个医学 VQA 数据集」，而是补上了一类此前缺失的评测形态。这也解释了它为何能在发布后迅速被 ICLR 接收：会议看中的是方法论的空缺，而不只是数据规模。

8.2 与库内 PMC 系条目的血缘关系

LiveClin 与千方库内若干条目存在真实的「数据血缘」，这类关系在互链时最有说服力，因为它不是「话题相似」，而是「同一条河流的不同取水口」。

• PMC OA Subset（rid=360）：LiveClin 的直接上游。论文明确写到病例来自「PubMed Central Open Access Subset」，而这正是该条目的内容主体。
• PMC-OA（rid=320）：图文对级别的 PMC 派生素材，与 LiveClin 的图像来源同源。
• Open-PMC-18M（rid=45）：更大规模的生医多模态视觉-语言集合，与上述两条构成同一族系。
• PMC-VQA（rid=270）：同样从 PMC 抽取图文构造问答，但形态是单轮 VQA 而非多阶段病例，是绝佳的对照组。
• PubMedQA（rid=49）：PMC 文献摘要级的问答，属于「文献 → 问答」这一转换范式的早期代表。

这五条构成一条清晰的演化链：PMC 全文 → 摘要级 QA（PubMedQA）→ 图文 VQA（PMC-VQA）→ 多阶段病例基准（LiveClin）。每一环都在「更贴近真实临床使用」这条路上前进一步。

8.3 与医学 VQA 家族的对照

LiveClin 的影像部分与库内多个 VQA 基准形成横向对照，差异主要体现在「单轮 vs 多轮」：

• VQA-RAD（rid=240）：放射学影像问答，单轮、双选或开放。
• PathVQA（rid=260）：病理图像问答。LiveClin 的病理模态平均正确率仅 59.6%，可作为该条目的下游难度参照。
• SLAKE 类与 VQA-Med（rid=280）：年度医学影像 VQA 评测。
• OmniMedVQA（rid=290）：综合性医学 VQA 大基准。
• ReXVQA（rid=729）：胸片大规模 VQA。
• MicroVQA（rid=815）：显微成像的多模态科研推理。

这些条目测的是「看图答题」，LiveClin 测的是「在病程推进中反复看图答题并记住之前看过什么」。前者是后者的子能力——一个在 LiveClin 上表现好的模型，理论上在这些单轮基准上也不会差；反之则不成立。

8.4 与「难基准」家族的对照

• MedXpertQA（rid=818）：专家级医学推理基准，同样强调难度，但为单轮静态题。LiveClin 论文在相关工作中点名 MedXpertQA 类基准「把患者管理缩减为一连串彼此割裂的任务」，这一批评可视为两个条目的定位差异说明。
• HealthBench（rid=1063）：OpenAI 的医疗对话评测基准，以医师撰写的对话场景与 rubric 加权评分为特色——与 LiveClin 同为「跳出 MCQ」的尝试，但走的是「开放式对话 + 评分量表」路线，而非「封闭选项 + 顺序追问」。

把 MedXpertQA、HealthBench、LiveClin 三条放在一起看，恰好构成医学评测的三个方向：更难的题、更真实的对话、更完整的病程。三者互补而非替代。

8.5 与上游语料条目的技术衔接

• MIMIC-IV（rid=4）：真实重症监护 EHR。LiveClin 不含原始病历，若研究者想补充「真实时序数据」维度，MIMIC-IV 是天然的互补项——一个测「病例推理」，一个提供「真实病程数据」。
• ClinicalTrials.gov（rid=556）：临床试验注册数据。与 LiveClin 的病例报告源在「临床证据谱系」上处于不同层级（病例报告 < 临床试验 < 指南），可用于讨论证据等级。
• cMedQA v2.0（rid=825）：中文社区医疗问答。LiveClin 为全英文语料，两者可作跨语言对照。

8.6 互链建议的写法纪律

按库内纪律，正文与 frontmatter 中的互链 rid 一律使用占位形式或留由主会话入库后回填，避免出现「猜的 rid 指向已被软删的行」这类事故。本条目在正文中以「条目名（rid=N）」的叙述方式标注，不做超链接跳转；正式的 relatedLink 由主会话在入库后依实际在架记录统一写入。

需要特别提醒的消歧项：LiveClin 与 LIVECell（库内 livecell，rid=1077）不是同一对象。前者是临床病例基准，后者是活细胞相差显微图像分割数据集，拼写仅差两个字母但领域完全无关，检索时极易混淆。这一说明只写在本节正文，不进入 frontmatter 的 relatedLink 字段——后者只允许纯 URL。

§9 坑点清单：八处易错点与双口径存照

以下八处是本条目在写作核验过程中实际发现的易错点，每一处都配有「现象—成因—应对」三段式说明。引用 LiveClin 的任何人，建议至少通读坑点 1、2、3、7。

坑点 1：版本会过期，不标版本等于没引

现象：论文写作时写「在 LiveClin 上达到 35.7%」，半年后读者查证发现该数据集已整体替换，原题已不存在。

成因：这是 live 基准的设计特性而非缺陷。论文明确承诺每个周期「replaces the entire evaluation set」——不是追加，而是替换。2025_H1 与未来的 2025_H2 之间没有任何题目重叠。

应对：任何引用都必须写明版本号（如「LiveClin 2025_H1」）与检索日期。若需要长期追踪，应自行保存评测时的 JSON 输出快照。

坑点 2：整例准确率不能与单题准确率混比

现象：有人拿 LiveClin 的 35.7% 与 MedQA 的 90%+ 对比，得出「模型在 LiveClin 上表现极差」的结论，或用它论证「模型临床能力退步」。

成因：两者口径完全不同。LiveClin 是「一例内全部答对」才算对，MedQA 是「单题答对」即计分。按 §7.1 的近似换算，35.7% 的整例准确率大致对应 80% 左右的单题正确率。

应对：跨基准比较时，必须先把口径统一到同一层次。若无法统一，就只能比较排名而不能比较绝对值。

坑点 3：医师基线只有排序，没有数值

现象：引用者想写「模型与主任医师相差 12 个百分点」，却发现找不到这个数字。

成因：论文正文与可抓取附录中确实只给出相对排序（主任 > 主治 > 多数模型），具体百分数在附录 M.2 的表格中，但该表未在正文文字中复述，本条目抓取的材料中亦未取得具体数值。

应对：引用时只能说「主任医师最高、主治医师次之、仅 GPT-5 与 o3 略超主治但不及主任」，不可编造数值。这也是本条目 §9 存照 3 明确列为遗留疑点的原因。

坑点 4：构建漏斗有四个数字，别拿错

现象：有人写「LiveClin 有 1,822 例病例」或「LiveClin 有 2,150 例病例」。

成因：这些数字都是真的，但分别对应漏斗的不同阶段：2,150（病例池）、2,092（Generator-Critic 产出）、1,869（Judge 预筛后）、1,822（医师验证通过）、1,407（最终基准）。其中 2,150 是病例数口径，2,092 与 1,869 是题组数口径，1,822 与 1,407 也是题组数口径。

应对：只有 1,407 是「LiveClin 2025_H1 的规模」。其余数字若要用，必须明确标注其阶段。

坑点 5：image_details 可能是 null 而非空列表

现象：遍历 mcq["image_details"] 时对大量题目抛出 TypeError: 'NoneType' object is not iterable。

成因：无图的题目该字段为 null，而非 []。数据卡的字段表把类型写成 list，容易让人误以为一定是列表。

应对：一律写成 mcq.get("image_details") or []。同理适用于 table_details、scenario_image_details、scenario_table_details。

坑点 6：三件套的更新时间不一致，数字可能来自不同快照

现象：不同来源看到的统计数字或更新时间互相矛盾。

成因：论文 v1（2026-02-18）、数据集卡（2026-02-27）、第三方目录收录（2026-04 上旬）时间不同步。第三方站点可能抓到的是早期快照，也可能在转述时丢失了限定条件。

应对：一切以论文 + HF 数据卡为准；第三方目录只作旁证。本条目在写作时即以论文 HTML 全文与 HF README 实抓为主源。

坑点 7：45.0% 不是主基准成绩

现象：有人写「GPT-5 在 LiveClin 上达到 45.0%」，与摘要的 35.5% 矛盾。

成因：45.0% 出自数据时效性试点研究——纯 AI 流水线（跳过医师验证）、每时段 200 套题的标准化子集。它与主基准（1,407 例、239 名医师验证）不是同一套题、同一口径。

应对：引用 45.0% 时必须同时说明「试点研究、纯 AI 流水线口径」，绝不可与 26 模型主成绩单混用。

坑点 8：Rarity 的取值是 rare / unrare，不是 non-rare

现象：按 non-rare 或 common 过滤非罕见病例，结果返回空集。

成因：unrare 是团队自造词，看起来像拼写错误，实际就是官方取值。数据卡字段表中写作「rare / unrare」。

应对：严格按官方取值过滤；若代码框架做了拼写检查或「智能纠正」，需要显式关闭。

双口径存照总表

除上述八处坑点外，还有若干「论文内部并存两套口径」的情形，一并列此备查：

编号	冲突项	口径 A	口径 B	本文取舍
存照 1	评估模型数	26（论文正文与摘要）	HF 卡未列清单	取 26
存照 2	榜首	o3 35.7%（主表与 run1）	GPT-5 35.5%（三次均值接近）	并列第一梯队，35.7% 为最高单次
存照 3	医师基线数值	正文只有排序	附录 M.2 有表但未取得数值	只引排序，标为遗留疑点
存照 4	验证通过率	Generator-Critic 93.0%	加 Judge 后名义 89.5%	两数字并列，说明是「更严标准」
存照 5	题组数量	2,092 / 1,869 / 1,822	1,407（最终）	全部列出，只有 1,407 是基准规模
存照 6	病例池	2,150（主基准）	试点研究另有五时段各 200 套	主基准与试点分开叙述
存照 7	45.0%	试点研究口径	主基准最高 35.7%	明确标注为试点研究
存照 8	罕见比例	84% 罕见（HF 卡）	附录 P 称影响有限（≤5pp）	两者并存：比例高但敏感性分析显示影响小
存照 9	规模分类	HF 卡 1K<n<10K	MCQ 6,605	卡按记录数（病例数）计，非按题数
存照 10	代码许可	数据集 CC BY-NC-SA 4.0	代码仓库 LICENSE 未逐字核对	标为遗留疑点，使用前须自查
存照 11	13 题/例的均值	4.7（四舍五入）	6,605/1,407=4.694	取 4.7

这份存照表的价值在于：任何读者若在其他地方看到与本文不同的数字，可以先在这里找到对应的解释，而不必怀疑某一方「写错了」。多口径并存是学术项目多版本演进的常态痕迹，不是数据错误。

§10 总结：适用与不适用

10.1 它适合做什么

第一，评估多模态临床推理的真实水平。 当你需要回答「这个模型能不能像医生一样管完一个病人」时，LiveClin 是目前最贴近的公开答卷。它不像单轮 VQA 那样只看「看没看见」，而是看「记不记得、串不串得起来」。

第二，诊断模型的失败模式。 分章节、分阶段、分模态的三维下钻能力，使它能指出病灶的位置——是中段整合不行，还是后段忘事，还是特定模态读不懂。这对模型迭代方向的指导价值，往往超过一个总分。

第三，构建「防污染」基准的方法论范本。 半年更新、发布滞后窗、私有月度榜单三层设计，加上一个可复制的「时段对照」实验范式，任何准备自建基准的团队都可以直接借鉴。

第四，医学多智能体与长程推理研究的测试床。 顺序多轮、上下文累积、信息逐步揭晓——这正是智能体式临床助手最需要的评测形态。

10.2 它不适合做什么

不适合做训练集。 这是评测基准，不是语料。虽然技术上可以读出来训练，但那样会立刻污染基准（且违反 NC 条款的商业使用限制）。论文自己也把「抗污染」作为核心卖点，使用者若反过来用它训练，等于自毁工具。

不适合做单点能力评估。 想测「模型认不认得肺结节」，应该用 ReXVQA 或 VQA-RAD；LiveClin 的整例口径会把单点能力的差异淹没在长程推理的噪声里。

不适合做绝对能力排名。 35.7% 与 34.4% 之间的差距（o3 vs InternVL-3.5-241B）在统计上是否能站住，需要看标准差与置信区间。差值小于 1.5 个百分点的模型，实际应视为并列。

不适合做「模型是否可用于临床」的判断依据。 它测的是多选题作答能力，不是真实临床安全性。一个在 LiveClin 上拿 35% 的模型，不代表它「有 35% 的临床可用性」——这个数字的意义只在横向比较。

10.3 三条使用建议

建议一，先跑 demo 再跑全量。 14 例预览能在几分钟内暴露「会话历史没保留」「图像路径错配」「答案解析失败」三类基础设施问题。这些问题的修复成本远低于全量跑完才发现。

建议二，同时报告零样本与三次运行的均值。 单次成绩容易受服务端波动影响；三次运行的均值加标准差，才是可被同行接受的报告格式。

建议三，绑定版本号与模型快照。 「LiveClin 2025_H1 + GPT-5（2026-xx-xx 快照）」才是完整的可复现标识。缺任何一项，半年后都无法复现。

10.4 一句话总结

LiveClin 用 1,407 篇真实病例、239 名医师、4 万多美元的验证成本，造了一份「半年就过期」的考卷；它证明了两件事——当今最强的多模态模型依然走不完一条完整的临床路径，而静态基准给出的高分至少有十个点是幻觉。

附录

附录 A：条目信息速查卡

项	值
条目名	LiveClin
url_name	liveclin
全称	LiveClin: A Live Clinical Benchmark without Leakage
类型	动态临床多模态评测基准（顺序 MCQ）
论文	arXiv:2602.16747（2026-02-18 v1），ICLR 2026
团队	香港中文大学（深圳）+ 蚂蚁医疗 + 俄亥俄州立大学 + 浙江大学
作者	9 人；第一作者 Xidong Wang
组织标识	AQ-MedAI（HF 与 GitHub）
规模	1,407 例 / 6,605 题 / 3,757 图 / 634 表
分类体系	16 章 / 72 簇 / ICD-10 三级编码
罕见比例	1,181（84%）罕见
医师规模	239 名（验证）；78 名（人类基线）
许可	CC BY-NC-SA 4.0
更新周期	半年（1 月与 7 月）
最高分	o3 35.7%，GPT-5 35.5%
抓取时点	2026-10-17
库内互链	pubmedqa(49)、medqa(50)、open-pmc(45)、vqa-rad(240)、pathvqa(260)、pmc-vqa(270)、vqa-med(280)、omnimedvqa(290)、pmc-oa(320)、pmc-oa-subset(360)、rexvqa(729)、microvqa(815)、medxpertqa(818)、cmedqa2(825)、healthbench(1063)、mimic-iv(4)、clinicaltrials-gov(556)

附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	9	arXiv + HF + GitHub 三入口齐全，名称独特无撞库；扣分项：无独立项目主页与公开 leaderboard，只能通过论文索引发现
A 可获取性	8	HF 免门禁直下，两行代码即可加载；扣分项：图像走 git-lfs 且需自行对齐文件名，总占用未公开标注；CC BY-NC-SA 4.0 对商用设限
I 可互操作	8	JSONL + HF datasets 标准格式，官方 CLI 完整，支持 OpenAI 兼容端点与 SGLang 自托管；扣分项：image_details 可为 null 且字段类型声明与实际不符，图像需手工拼接路径，无 parquet 封装
M 元数据质量	8	论文附录极详尽（分类学全表、医师分布、三次运行、few-shot 对照）；扣分项：医师基线绝对数值未在正文给出、模态类别无逐类计数表、代码许可未声明
S 可持续性	8	半年更新有成本表与流程支撑，团队含产业方（蚂蚁）具备长期投入能力；扣分项：更新依赖单一组织，半年一次的全量替换对引用复现构成挑战
综合评级	8.2/10（高）	方法论与元数据接近满分；互操作细节与榜单开放性为主要失分点，均已在 §9 存照

附录 C：逐项证据链自证

关键数字	来源	交叉验证
1,407 例 / 6,605 题	论文摘要 + 论文 §3.5 + HF 卡统计表	三源一致
4.7 题/例均值	HF 卡统计表	6,605 / 1,407 = 4.694，与四舍五入吻合
16 章 / 72 簇	论文 §3.1 + 附录 D 表尾「Total 72」	双源一致
1,181 罕见 / 226 非罕见	HF 卡统计表	合计 1,407，自洽；84% / 16% 与之吻合
3,757 图 / 634 表	论文 §3.5 + 附录 J	双源一致
41.9% 需解读多模态	论文 §3.5	单源（正文明确陈述）
2,150 → 2,092 → 1,869 → 1,822 → 1,407	论文 §3.2–3.4 逐节	全链条可追溯
239 名医师	论文摘要 + §3.4 + 附录 I	三源一致
1,772.18 人时 / $42,304.39	论文 §3.4	单源（正文明确陈述）
8.7% 分歧 / 91.4% 首轮解决	论文 §3.4 + Table 5	双源一致
78 名医师基线（43 + 35）	论文附录 M.2	55.1% + 44.9% = 100%，自洽
26 个模型	论文 §4.1	主表逐行计数一致
o3 35.7 / GPT-5 35.5	论文主表 + Table 9 三次运行	双源一致
45.0% 试点研究	论文 §2 与附录 C	单源（明确为试点口径）
大幅图 75.1% / 病理 59.6% / 信号 53.6%	论文 §4.3	单源（八模型均值）
精神科 o3 68.4% / Claude-3.5 63.2%	论文 §4.3	单源
CC BY-NC-SA 4.0	HF 卡 license 字段（经 hf-mirror 实抓）	单源（官方卡片）

附录 D：研究者检查清单（15 项）

1. 确认使用的版本号（当前为 2025_H1），写在脚本配置而非注释里
2. 确认 image_details 与 table_details 的空值处理（or []）
3. 确认 --image-root 与 --jsonl-path 成对指向同一版本目录
4. 确认评测循环复用同一对话上下文，不逐题独立请求
5. 确认主实验为零样本，few-shot 仅作对照并单独报告
6. 确认答案解析含三层兜底（boxed → 关键词 → 末尾字母）
7. 确认温度设置（多数为 0，推理模型按官方推荐）
8. 确认每个模型至少运行三次并记录标准差
9. 确认报告模型快照日期，而非仅模型名
10. 确认 Rarity 过滤使用官方取值 rare / unrare
11. 确认未把 demo 配置用于正式评测
12. 确认引用时同时给出论文与数据集版本
13. 确认商业用途已通过法务评估（NC 条款）
14. 确认改编发布已按 SA 条款以同许可公开
15. 确认已保存当次评测的原始 JSON 输出快照

附录 E：AI-Ready 就绪度对照

就绪维度	状态	说明
机器可读格式	达标	JSONL 逐行结构化，字段命名稳定
稳定标识	达标	pmc 与 doi 双键可回溯原文
版本标识	部分达标	有 config 名（2025_H1）但无显式语义化版本号
许可明确	部分达标	数据集许可明确，代码许可未声明
图像可复现	部分达标	图在仓库内，但需 LFS，且文件名需从记录拼接
评测可复现	达标	官方 CLI + 固定温度 + 三次运行协议齐全
元数据完备	达标	论文附录覆盖分类学、医师分布、运行稳定性
数据卡规范	达标	HF 卡含 license、task_categories、size_categories、字段表

附录 F：版本与快照对照

版本	状态	内容	说明
demo	已发布	14 例，覆盖 14 个 ICD-10 章节	HF 默认 config，仅供浏览
2025_H1	已发布	1,407 例 / 6,605 题	本条目全部数字的来源
2025_H2	目录已预留，未发布	计划为 2025 下半年病例	数据卡结构树中标注 (future)
后续版本	按半年节奏	每轮整体替换评测集	旧版本题目不再保留

附录 G：常见误读十纠

误读	纠正
「LiveClin 有 6,605 个病例」	病例 1,407，题目 6,605
「最高分 35.7% 说明模型很弱」	整例全对口径，对应单题约 80%
「45.0% 是 GPT-5 的 LiveClin 成绩」	那是试点研究口径，主基准为 35.5%
「LiveClin 用 MIMIC 数据」	用的是 PMC 病例报告
「医生远胜模型」	仅主任医师明显领先，o3/GPT-5 已超主治
「新版模型一定更强」	Claude 3.7 < 3.5，Gemini 2.5 Flash < 2.0 Flash
「罕见病占比高会导致分数虚高」	敏感性分析显示两子集差距多在 5pp 内
「可以自由用于商用」	CC BY-NC-SA 4.0 含 NC 限制
「LIVECell 就是 LiveClin」	一个是细胞分割数据集，一个是临床基准
「题目可以拿来训练模型」	破坏基准有效性，且可能违反 NC

附录 H：章节—事实覆盖自查表

章节	覆盖的核心事实
§0	规模、覆盖、罕见比例、构建漏斗、最高分、许可
§1	十问十答，含评分口径换算与三大坑
§2	名称、机构、时间线、谱系定位、活基准动机、命名消歧
§3	规模总账、三层 schema、三级分类、模态构成、U 形分布
§4	三渠道获取、评估协议、成本估算、偏差排查表
§5	三阶段流水线、Generator-Critic、Judge、消融、医师核验、防泄漏、偏倚
§6	三层许可、场景速查、清单、引用规范、边界三问
§7	协议、26 模型成绩单、梯队、人机对比、领域与模态、稳定性、反直觉、试点研究、错误模式
§8	谱系坐标、PMC 血缘、VQA 对照、难基准对照、互链纪律
§9	八处坑点 + 十一项双口径存照
§10	四类适用、四类不适用、三条建议

附录 I：下载与加载代码骨架

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"  # 国内镜像，按需启用

from datasets import load_dataset

# 全量基准
ds = load_dataset("AQ-MedAI/LiveClin", "2025_H1", split="test")
print(len(ds))                       # 1,407

case = ds[0]
fp = case["exam_creation"]["final_policy"]
print(case["Level1"], "|", case["Rarity"], "|", case["ICD-10"])

# 安全遍历：image_details / table_details 可能为 None
for i, mcq in enumerate(fp["mcqs"], 1):
    imgs = mcq.get("image_details") or []
    tabs = mcq.get("table_details") or []
    print(f"Q{i} [{mcq['stage']}] imgs={len(imgs)} tabs={len(tabs)}")
    print("  ->", mcq["correct_answer"])

附录 J：评估复现检查单（12 项）

1. 已克隆官方代码并安装 requirements
2. 已确认 API 端点与密钥可用
3. 已确定 --image-mode（url 或 local）
4. 已确认 --jsonl-path 与 --image-root 配对
5. 已用 demo 配置跑通端到端链路
6. 已抽 100 例做彩排并与论文数值大致对齐
7. 已确认会话上下文累积逻辑正确
8. 已确认答案解析三层兜底生效
9. 已确认温度为 0 或按官方推荐配置
10. 已规划三次独立运行与结果留存
11. 已记录模型快照日期与调用时间
12. 已保存原始 JSON 输出作为可复现证据

附录 K：与库内医学 MCQ 基准对比总表

条目	rid	题源	轮次	更新	主指标	最高分参考
MedQA	50	中美医学执照考试	单轮	静态	单题准确率	90%+ 量级
PubMedQA	49	PMC 文献摘要	单轮	静态	单题准确率	80%+ 量级
MedXpertQA	818	专科委员会考试	单轮	静态	单题准确率	45% 量级（专家子集）
VQA-RAD	240	放射学影像问答	单轮	静态	单题准确率	80% 量级
PathVQA	260	病理影像问答	单轮	静态	单题准确率	70% 量级
PMC-VQA	270	PMC 图文	单轮	静态	单题准确率	60% 量级
OmniMedVQA	290	综合医学影像	单轮	静态	单题准确率	60% 量级
HealthBench	1063	医师撰写对话	多轮	阶段性	rubric 加权	依 rubric 而定
LiveClin	本条	PMC 新病例报告	顺序多轮	半年	整例准确率	35.7%（o3）

这张表最后一行与前八行的差异，是本条目全部论述的浓缩：同一个领域的评测，正在从「单题」走向「整例」，从「静态」走向「动态」。分数下降不是退步，而是尺子变严了。

附录 L：论文对既有评测的三条批评

批评	对象	具体表述	对应设计
静态设计易被污染、易过时	MedQA 一类考试题基准	静态基准天生易受数据污染与知识过时影响，且会制造「能力错觉」	半年更新 + 发布滞后窗
单轮评估与病程不符	MedXpertQA、AgentClinic	把患者管理缩减为一连串割裂的任务，无法评估整合推理	顺序多轮 + 上下文累积
人工撰写难以持续	全人工标注基准	成本高、周期长，无法支撑高频更新	Generator-Critic 降本近两个数量级

附录 M：三条阅读路径建议

角色	推荐路径	关注点
临床医生	§0 → §1 → §7.4 → §9 坑点 3	人机对比的真实含义、医师基线的边界
模型工程师	§3.2 → §4 → §7.2 → §7.10	字段结构、评测协议、失败模式与改进方向
基准设计者	§2.4 → §5 → §6 → §9	防污染设计、消融方法论、许可合规、口径纪律

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• medxpertqa — 共享标签：医学问答与基准 / 医学问答 / 评测基准 / 多模态 / 视觉问答
• medframeqa — 共享标签：医学问答与基准 / 医学问答 / 评测基准 / 多模态 / 视觉问答
• nejm-bench — 共享标签：医学问答与基准 / 医学问答 / 评测基准 / 多模态 / 视觉问答
• rex-in-the-wild — 共享标签：医学问答 / 评测基准 / 多模态 / 视觉问答
• medreco-db — 共享标签：医学问答与基准 / 医学问答 / 多模态 / 视觉问答
• mimic-ext-cxr-qba — 共享标签：医学问答 / 评测基准 / 多模态 / 视觉问答
• x-pcr — 共享标签：医学问答与基准 / 评测基准 / 多模态 / 视觉问答
• rexvqa — 共享标签：医学问答 / 评测基准 / 多模态 / 视觉问答
• chestagentbench — 共享标签：医学问答与基准 / 医学问答 / 评测基准 / 多模态
• healthsearchqa — 共享标签：医学问答与基准 / 医学问答 / 评测基准

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。