MedFrameQA — 医学视频多帧视觉问答基准

项目	内容
条目名	MedFrameQA
url_name	medframeqa
全称	MedFrameQA: A Multi-Image Medical VQA Benchmark for Clinical Reasoning
类型	多图像（跨帧）医学视觉问答基准数据集（多选题 MCQ）
规模	2,851 道 VQA；9,237 帧；3,420 个医学教育视频；9 大系统 / 43 器官
每题图像数	2 至 5 张（每题附推理链 reasoning_chain）
许可	数据集 CC BY 4.0（HF 实测确认，gated=false 免登录直下）
发表	arXiv:2505.16964（2025-05-22 v1）；ICLR 2026 投稿/接收（状态待核，见 §9）
团队	UC Santa Cruz（VLAA Lab）+ 宾夕法尼亚大学 + 伊利诺伊大学厄巴纳-香槟分校
获取	HuggingFace SuhaoYu1020/MedFrameQA（6 个 parquet 分片，单 split=test）
代码	GitHub haojinw0027/MedFrameQA（四阶段复现 + eval_process.py 评估）
抓取时点	2026-10-15（HF 指标：downloads 811 / lastModified 2025-05-19）
库内互链	medxpertqa(818)、omnimedvqa(290)、pmc-vqa(270)、pathvqa(260)、slake(250)、vqa-rad(240)、vqa-med(280)、medmcqa(111)、rexvqa(729)、microvqa(815)

MedFrameQA 是一个面向多图像（跨帧）医学推理能力的评测基准：2,851 道多选题，其素材来自 9,237 帧关键画面、追溯至 3,420 个医学教育视频。它的构建逻辑与绝大多数医学视觉问答（Visual Question Answering，VQA）数据集不同——不是拿单张影像问一个问题，而是从一段医学教学视频里提取时序上连贯、内容逻辑递进的若干帧，组装成「同一临床场景下、需要跨图像综合证据」的题目。它由 UC Santa Cruz 视觉-语言-应用（VLAA）实验室联合宾夕法尼亚大学、伊利诺伊大学厄巴纳-香槟分校构建，2025 年 5 月以 arXiv:2505.16964 发布并同步开源数据与代码。

论文的核心主张同样直接：既往的医学 VQA 基准几乎都聚焦单图分析，而临床医生看诊时几乎总是比较一系列图像——跨视角、跨模态、跨时间点地综合判断后才下诊断。MedFrameQA 要补的正是这条「多图像综合推理」的评测缺口。其测评结果颇具警示性：所有被测的前沿多模态大模型准确率大多低于 50%，且准确率会随每题图像数量增加而波动——说明模型不仅没学会跨帧整合证据，反而在图像增多时更加摇摆。

本条目为 qianfanghub.com「千方病案医数集」AI-Ready Wikipedia 数据集的原始条目，覆盖身份与时间线、数据结构、获取复现、构建方法论、许可合规、评测成绩、生态互链与坑点存照九个维度，核心数字经论文、GitHub 与 HuggingFace 三源互证，版本差异逐条存照。

需要预先声明的阅读要点：本基准的公开材料存在若干多口径并存的痕迹（评估模型数 v1 计 10 个 / ICLR 版计 11 个、作者 v1 五 / ICLR 版七、摘要开篇措辞在版本间改写、ICLR 2026 会议状态未最终确认），这并非数据错误，而是学术项目多版本演进的常态。本条目的处理原则是「arXiv v1 口径优先、其他版本口径显式标注、差异全部集中登记于 §9」。读者在任何地方看到与本条目不一致的数字，应先核对 §9 的坑点清单再判断。

导语读法三则：其一，赶时间者只读 §0 要点框与 §1 十问十答即可获得全貌；其二，准备下载使用者按 §4 → §6 → §9 顺序阅读，先拿数据再看许可与坑点；其三，做基准对比研究者务必通读 §7 与 §9——成绩口径的限定（模型数量口径、帧数波动、跨系统差异）是本条目最重要的存照内容。

§0 导读：本条目读法与要点速览

本条目记述的对象是一个「多图像推理驱动」的评测基准，而非临床诊疗数据集。它不包含患者队列、随访记录或生理信号，因此 patient_count 为 0；它的价值在于用高质量、跨帧、带推理链的多选题，度量多模态大模型在「比较一系列图像后下判断」这一临床核心动作上的能力上限。理解这一点是理解全篇口径的前提：本条目中的「患者」相关字段（patient_count、patient_tags）按数据集规范填零值与说明性文本，不代表数据集与临床实践无关——它的每一帧都来自真实医学教育情境，只是不含可识别患者记录。

五分钟要点框：

• 一句话定位：首个显式评估医学 VQA 多图像推理能力的基准，素材来自医学教育视频的时序连贯帧。
• 规模硬数字：2,851 道 VQA；9,237 帧；3,420 个视频；9 大身体系统；43 个器官；每题 2-5 张图。
• 任务形式：多选题（multiple-choice），每题附推理链（reasoning_chain）。
• 谁做的：UCSC VLAA lab + UPenn + UIUC；共同一作 Suhao Yu / Haojin Wang / Juncheng Wu；通讯 Yuyin Zhou。
• 怎么发的：arXiv:2505.16964（2025-05-22）；数据集 HF 同步开放；ICLR 2026 投稿/接收待核。
• 怎么拿：HuggingFace SuhaoYu1020/MedFrameQA，CC BY 4.0，gated=false 免登录直下。
• 最关键结论：所有被测 MLLM 准确率大多低于 50%，且随帧数增加而波动；模型常忽略显著发现、跨图像证据聚合错误、早期错误沿推理链传播。
• 最易踩的坑：模型数 v1=10 / ICLR=11；作者 v1=5 / ICLR=7；会议状态未定；逐项成绩数字须以论文表图为准。

本条目结构导航：

章节	内容	适合谁读
§1	十问十答	所有人（5 分钟速览）
§2	身份与定位、时间线、命名区分	检索者、引用者
§3	数据结构：字段、分布、与同类对照	数据工程师
§4	获取与复现：HF / GitHub / 镜像	下载使用者
§5	构建方法论：四阶段流水线与多阶段过滤	方法论研究者
§6	许可与合规	合规与法务相关方
§7	评测结果与解读	模型评测者
§8	生态位与互链	选型与检索者
§9	坑点清单与口径存照	所有人（避坑必读）
§10	总结：适用与不适用	决策者

一个必须记住的区别：MedFrameQA 与 MedVidQA（本库另有一条目）名字相近但不是同一资源——MedVidQA 是 NIH/NLM 团队 2023 年的医学教学视频答案定位（MVAL，从视频中定位答案时间段），而 MedFrameQA 是 UCSC 团队 2025 年的多图像选择题基准。两者团队、年份、任务、形式均不同，检索与互链时务必区分（详见 §2.5 与 §9）。

§1 十问十答：一页读懂 MedFrameQA

问 1：MedFrameQA 到底是什么？

一句话：一个用来考多模态大模型「能不能像医生那样，比较一组图像后综合下判断」的医学视觉问答（VQA）基准。它不是单图问答，而是把同一临床场景下的 2 至 5 张时序连贯帧放在一起，问一道需要综合这些帧才能回答的多选题。

问 2：为什么叫「Frame」？

因为数据的原材料是帧（frame）——从医学教育视频中抽出的关键画面。构建流水线的第一步就是把视频切成帧，再把帧与视频字幕（transcript）对齐，然后把临床相关的「帧-字幕对」合并成多帧片段，最后从片段生成跨帧问答。整个数据集的名字就来自这个「以帧为单位、跨帧推理」的设计。

问 3：规模有多大？

• VQA 问答对：2,851 道；
• 高质量帧：9,237 帧；
• 医学视频：3,420 个；
• 覆盖人体系统：9 个；
• 覆盖器官：43 个；
• 每题图像数：2 至 5 张。

问 4：谁做的、什么时候发的？

由 UC Santa Cruz（VLAA Lab）、宾夕法尼亚大学、伊利诺伊大学厄巴纳-香槟分校合作完成。论文以 arXiv:2505.16964 于 2025-05-22 发布，数据集与代码同步开源。共同一作为 Suhao Yu、Haojin Wang、Juncheng Wu，通讯作者为 Yuyin Zhou（UCSC）。ICLR 2026 版作者扩充至 7 人（增 Luyang Luo、Pranav Rajpurkar）。

问 5：数据怎么拿？要申请吗？

不需要申请。数据集以 CC BY 4.0 许可挂在 HuggingFace 上（SuhaoYu1020/MedFrameQA），gated=false，免登录即可下载。数据为 6 个 parquet 分片（MedFrameQA_full_with_images_part1..6.parquet），单 split 名为 test，图像已内嵌在 parquet 的 image 列中。

问 6：数据长什么样？有哪些字段？

HF 数据集卡的字段包括：question_id、system（人体系统）、organ（器官）、keyword（关键词）、modality（成像模态）、video_id（来源视频）、question（题干）、options（选项）、correct_answer（答案）、image_url（图像引用）、reasoning_chain（推理链），以及 image_1..image_N（内嵌图像列，N 随每题帧数变化）。

问 7：任务难在哪？

难在「跨帧综合」。传统单图 VQA 靠一次物体识别就能答对；MedFrameQA 的题目要求模型把多张帧的信息整合起来——比如对比不同视角、追踪病情演进、综合跨模态证据后才能下判断。论文指出，成功回答需要真正「综合所有图像的信息」，而非把每张图当作独立线索。

问 8：模型表现如何？

普遍很差。论文基准测试了 10 个（ICLR 版为 11 个）先进多模态大模型，大多数准确率低于 50%；准确率会随每题图像数量增加而波动（帧数增加并不单调改善成绩）；跨人体系统、器官、模态的结果差异显著。

问 9：模型具体错在哪？

论文错误分析给出三类典型失败模式：

1. 忽略显著发现——模型无视第 2、3 帧中的关键特征（论文 Figure 3，o1 案例）；
2. 跨图像证据聚合错误——不能把多帧信息正确合成一个判断；
3. 早期错误传播——在解读第一帧时产生方向性错误，该错误沿推理链一路放大（论文 Figure 4，o1 案例）。

问 10：它和 MedVidQA 是不是一回事？

不是。MedVidQA 是 NIH/NLM 团队（Gupta、Attal、Demner-Fushman）2023 年发表于 Scientific Data 的医学教学视频答案定位数据集（MVAL 任务，3,010 QA / 899 视频，从视频中定位答案时间段）；MedFrameQA 是 UCSC 团队 2025 年的多图像选择题基准（2,851 QA / 3,420 视频 / 9,237 帧）。两者团队、年份、任务、形式全不同，检索与互链务必区分。

---

十问十答速查表：

#	问题	一句话答案
1	是什么	多图像（跨帧）医学 VQA 基准
2	为何叫 Frame	以视频提帧为原材料，跨帧推理
3	规模	2,851 QA / 9,237 帧 / 3,420 视频
4	谁做的	UCSC+UPenn+UIUC，2025-05-22
5	怎么拿	HF 直下，CC BY 4.0，gated=false
6	字段	12 类字段 + 内嵌图像列
7	难在哪	跨帧综合证据，非单图识别
8	成绩	大多数模型 <50%，随帧数波动
9	错在哪	忽略显著发现 / 聚合错误 / 早期错误传播
10	与 MedVidQA	不同资源、不同团队、不同任务

§2 身份与定位：从视频提帧到跨帧评测

2.1 名称、团队与四件套

MedFrameQA 的官方全称是 MedFrameQA: A Multi-Image Medical VQA Benchmark for Clinical Reasoning，副标题中的 “Multi-Image”（多图像）与 “Clinical Reasoning”（临床推理）精确概括了它的两大卖点：多图像是形式，临床推理是目的。

它的官方发布是「四件套」结构，检索与引用时应四者并查：

件	地址	作用
论文	arXiv:2505.16964	方法论与成绩权威口径
项目页	ucsc-vlaa.github.io/MedFrameQA/	流水线图、数据分布、结果表
代码仓	github.com/haojinw0027/MedFrameQA	四阶段复现 + 评估脚本
数据集	huggingface.co/datasets/SuhaoYu1020/MedFrameQA	数据本体（parquet）

命名拆分建议：slug medframeqa = med（medical）+ frame（帧）+ qa（question answering）；对应官方名 MedFrameQA = Med + Frame + QA。这一拆法有助于理解数据集本质——它不是「医学视频」数据集，而是「医学帧问答」数据集，视频只是提帧的中间来源。

团队构成（v1 口径）：

角色	姓名	机构
共同一作	Suhao Yu	宾夕法尼亚大学 UPenn
共同一作	Haojin Wang	伊利诺伊大学厄巴纳-香槟分校 UIUC
共同一作	Juncheng Wu	加州大学圣克鲁兹分校 UCSC
合作者	Cihang Xie	UCSC
通讯	Yuyin Zhou	UCSC（VLAA Lab）

机构徽记与实验室：UCSC 的 VLAA（Vision-Language-Action-Applications）实验室是主力单位，项目页与代码仓均托管在其名下。VLAA lab 在医学多模态评测方向持续产出，MedFrameQA 是其代表性基准工作之一。UPenn 与 UIUC 提供了跨机构协作。

GitHub / HF 账号线索：GitHub owner 为 haojinw0027（Haojin Wang 的个人账号命名习惯），HF 数据集上传者为 SuhaoYu1020（Suhao Yu）。这两个账号名与作者个人主页（haojinw0027.github.io、suhaoyu1020.github.io）一致，可作交叉验证。

2.2 时间线：七节点大事记

时间	节点	来源
2025-05-18	GitHub 仓上传 config/data/images/src 四目录	GitHub 提交记录
2025-05-19	HuggingFace 数据集首发布（later modified 03:33:33Z）	HF API lastModified
2025-05-22	arXiv:2505.16964 v1 发布	arXiv / GitHub Breaking News
2025-05-22	完整数据集同步发布（GitHub Breaking News 口径）	GitHub README
2025-06-06	GitHub 补齐 README	GitHub 提交记录
2026	ICLR 2026 版本（作者扩至 7 人、模型数 11、摘要改写）	OpenReview / lacuna 索引
2026-10-15	本条目抓取时点（HF downloads 811）	本条目实测

时间线读法提示：GitHub 数据上传（05-18）早于 arXiv 论文发布（05-22）4 天，HF 首发布（05-19）早于论文 3 天——这是「先开源、后发论文」的常见节奏。检索者若按「发表日期 2025-05-22」检索数据集，可能漏掉 05-18/05-19 的仓库与 HF 建仓时间。

2.3 引用与影响

官方 BibTeX（GitHub README 与项目页同源，五作者版）：

@misc{yu2025medframeqamultiimagemedicalvqa,
      title={MedFrameQA: A Multi-Image Medical VQA Benchmark for Clinical Reasoning},
      author={Suhao Yu and Haojin Wang and Juncheng Wu and Cihang Xie and Yuyin Zhou},
      year={2025},
      eprint={2505.16964},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2505.16964},
}

引用注意事项：

1. 作者数随版本变化：v1 / GitHub / BibTeX 为 5 作者；ICLR 2026 版为 7 作者。引用时若按 ICLR 版，须补 Luyang Luo 与 Pranav Rajpurkar。本条目主引用给 v1 口径（因其为发布时点的权威 BibTeX）。
2. primaryClass 为 cs.CV：尽管是医学应用，论文归入计算机视觉类目（cs.CV），这也解释了它在方法上更接近视觉-语言社区而非生物医学信息学社区。
3. 影响指标：HF downloads 811（抓取时点 2026-10-15），对于一个 2025 年 5 月发布的领域基准而言属稳健但非爆发式；likes/引用量未在本轮抓取中定量（列入 §9 待核）。

2.4 为什么需要多图像医学推理：三个动机

论文开篇给出了清晰的动机链，可归纳为三点：

动机一：真实临床工作流是多图像的。「临床医生几乎总是比较一系列图像后才下诊断」——跨视角、跨模态、跨时间点的对比是诊断的常态。单图问答脱离这一现实。

动机二：现有基准多为单图，或多图但不构成同一场景。 论文 Table 1 对比指出：SLAKE 等经典医学 VQA 基准是单图的（如 SLAKE 示例只需在单帧做基础物体识别）；而 MedXpertQA 等含多图的基准，其图像之间「没有明显的生理联系或因果链」，模型可以不去真正综合两图信息也照样答对——因此在这些数据集上的成功，并不能说明模型具备真实的跨图像整合推理能力。

动机三：多图像带来的复杂度需要专门度量。 当图像数量增加，模型必须决定「看哪张、信哪张、如何合成」，这正是 MedFrameQA 想度量的能力。论文测评发现准确率随帧数波动，恰好佐证了这种新复杂度的存在。

一句话总结动机：要把「单图识别」和「跨帧综合判断」这两件事分开考，就必须专门造一个跨帧数据集——这正是 MedFrameQA 的位置。

2.5 命名与识别：与 MedVidQA 的区分（关键消歧）

MedFrameQA 与另一个医学视频问答数据集 MedVidQA 名称高度接近（都含 “Med” + “Vid/Frame” + “QA”），是检索中最容易混淆的一对。二者实为完全不同的资源，必须严格区分：

维度	MedFrameQA	MedVidQA
团队	UCSC + UPenn + UIUC	NIH / NLM（美国国立医学图书馆）
作者	Yu, Wang, Wu, Xie, Zhou 等	Gupta, Attal, Demner-Fushman
年份	2025	2023
发表	arXiv:2505.16964；ICLR 2026 待核	Scientific Data 2023（PMID 36949119）
任务	多图像选择题 VQA（跨帧综合推理）	医学教学视频答案定位（MVAL，定位答案时间段）
规模	2,851 QA / 9,237 帧 / 3,420 视频	3,010 QA / 899 视频（另有 MedVidCL 6,117 视频分类）
形式	多张帧图 + 多选题 + 推理链	视频 + 问题 + 答案时间戳
关联数据集	MedFrameQA（单一）	MedVidCL + MedVidQA（姐妹集）

结论：MedFrameQA ≠ MedVidQA，二者非别名、非版本关系，无撞库。本库另有一条独立的 medvidqa 条目（本轮由另一代理撰写），检索与互链时应并列呈现、明确区分。若有人在文献中把二者混为一谈，属误记。

另一组易混对象是 MedFrameQA vs MedXpertQA：论文 Table 1 明确把 MedXpertQA 列为对比基准（作为「多图但图像间无因果链」的反例），二者的区别在于图像是否构成同一临床场景。本库已有独立 medxpertqa(818) 条目，属直接对照项（详见 §8）。

2.6 数据集在医学 VQA 谱系中的位置

把 MedFrameQA 放回医学 VQA 的演进谱系，可以更清楚地看出它的位置：

1. 单图时代：VQA-RAD（2018）、SLAKE（2021）、PathVQA、PMC-VQA——单张影像 + 一问一答，考察基础识别与知识。
2. 多模态扩展：OmniMedVQA、MedXpertQA——扩到多模态/多图，但图像多为独立线索集合。
3. 跨帧推理时代：MedFrameQA——图像来自同一视频片段，构成时序连贯的临床场景，要求综合推理。这是论文自称「首个（the first）」的根据。

这个谱系位置决定了 MedFrameQA 的评测用途：它不替代单图 VQA，而是补上「跨帧综合」这一新维度。选型时应把它与单图基准组合使用，而非二选一。

§3 数据结构：字段、分布与规模总账

3.1 规模总账与文件清单

MedFrameQA 的规模可用「一横一纵」来记：横向是数据总量，纵向是每个问题的帧数。

横向总账：

指标	数值	三源确认
VQA 问答对	2,851	arXiv / 项目页 / GitHub / 第三方汇总 一致
高质量帧	9,237	arXiv / 项目页 一致
医学视频	3,420	arXiv / 项目页 / GitHub 一致
人体系统	9	arXiv / 项目页 一致
器官	43	arXiv / 项目页 一致
每题图像数范围	2-5	arXiv / 项目页 / GitHub 一致

纵向结构：每一道题不是「一张图一个问题」，而是「一组 2 至 5 张帧 + 一个问题 + 一组选项 + 一个答案 + 一条推理链」。这意味着 2,851 道题背后是 9,237 帧的多对多复用——平均每题约 3.24 帧（9,237 ÷ 2,851 ≈ 3.24），落在 [2,5] 区间内，与设计一致。

HuggingFace 文件清单：

SuhaoYu1020/MedFrameQA/
├── .gitattributes
├── README.md
└── data/
    ├── MedFrameQA_full_with_images_part1.parquet
    ├── MedFrameQA_full_with_images_part2.parquet
    ├── MedFrameQA_full_with_images_part3.parquet
    ├── MedFrameQA_full_with_images_part4.parquet
    ├── MedFrameQA_full_with_images_part5.parquet
    └── MedFrameQA_full_with_images_part6.parquet

要点：

• 单 split：configs 中只定义一个 split，名为 test（6 个 parquet 拼接构成），即数据集本体即测试集，无 train/val 划分（作为评测基准的常见做法）。
• 图像内嵌：文件名含 with_images，图像以 image 类型列（image_1..image_N）内嵌在 parquet 中，加载后可直接取 PIL Image，无需另行解压图像包。
• parquet 格式：HF tags 含 format:parquet、modality:image + modality:text，可用 datasets、pandas、polars、mlcroissant 四种库加载。

3.2 字段 schema 与标签体系

HF dataset_info（default config）给出的完整字段结构：

字段	类型	含义
question_id	string	题目唯一编号（cr:key）
system	string	人体系统（CNS/RES/CIR/DIG/URI/REP/END/MSK/AUX）
organ	string	器官（共 43 个）
keyword	string	题目关键词（用于词云与检索）
modality	string	成像模态
video_id	string	来源医学教育视频标识
question	string	题干文本
options	sequence<string>	选项列表（多选题）
correct_answer	string	正确答案
image_url	sequence<string>	图像引用列表
reasoning_chain	string	推理链
image_1..image_N	image	内嵌帧图（N 随每题帧数变化）

九大身体系统缩写对照：

缩写	英文	中文
CNS	Central Nervous System	中枢神经系统
RES	Respiratory System	呼吸系统
CIR	Circulatory System	循环系统
DIG	Digestive System	消化系统
URI	Urinary System	泌尿系统
REP	Reproductive System	生殖系统
END	Endocrine System	内分泌系统
MSK	Musculoskeletal System	肌肉骨骼系统
AUX	Auxiliary System	辅助系统

关于字段的两点提示：

1. 选项数未在抓取文本中固定：options 为 sequence<string>，具体每题选项数（4 选 1 还是 5 选 1）未在可抓取的元数据中明确——本条目列入 §9 待核，读者若用于自动化评测须以论文表图或实测为准。
2. 帧数即列数：由于图像以 image_1..image_N 独立列存储，不同题目的列数不同（2 至 5），这在加载时表现为「行内变长图像列」。用 datasets 库加载后，空位通常为 None，需按题目实际帧数过滤。

3.3 分布维度：五张图的读法

论文 Figure 2 报告了数据集的五个分布维度，项目页与 GitHub 均以图片形式给出（具体数值未在文本中列出）：

1. 各人体系统分布（body systems）——九大系统的题量占比；
2. 各器官分布（organs）——43 个器官的题量占比；
3. 各成像模态分布（modalities）——不同模态（如放射、病理、内镜等）的题量占比；
4. 关键词词云（word cloud）——高频医学关键词，反映主题集中度；
5. 每题帧数分布（frame counts per question）——2/3/4/5 帧各占多少。

读图提示：五张图中信息量最大的是第 3 与第 5 张——模态分布决定数据集能否覆盖多模态推理，帧数分布决定评测的难度梯度。由于具体数值以图片呈现（未提供数据表），本条目只能给出维度说明，具体占比列入 §9 待核。评估者若需按系统/模态做分层分析，应以加载数据后的实测分布为准。

3.4 与同类基准的规格对照

把 MedFrameQA 与库内其他医学 VQA 基准并列，规格差异一目了然：

基准	图像数/题	任务形式	规模	图像关系	库内 rid
MedFrameQA	2-5	多选题	2,851 QA	同一视频片段的时序连贯帧	本条
MedXpertQA	0 或 1-2	多选题	4,460 题	图像为独立线索	818
OmniMedVQA	1	多选题	12.7 万+	单图	290
PMC-VQA	1	多选题	22.7 万	单图	270
PathVQA	1	开放+封闭	4,998	单图（病理）	260
SLAKE	1	开放+封闭	中英双语	单图	250
VQA-RAD	1	开放+封闭	3,515	单图（放射）	240
MedMCQA	0	多选题	19.4 万	纯文本	111

对照结论：在「每题图像数」这一维度上，MedFrameQA 是库内唯一明确要求跨帧综合的基准（2-5 张同一场景帧）。其余多为单图，MedXpertQA 的多图不构成同一临床场景。这确立了 MedFrameQA 在库内「跨帧推理」生态位上的独占性。

3.5 数据加载骨架

用 HuggingFace datasets 库加载 MedFrameQA 的最小代码骨架：

from datasets import load_dataset

# 方式一：直连 HF（需网络可访问 huggingface.co）
ds = load_dataset("SuhaoYu1020/MedFrameQA", split="test")

# 方式二：镜像（中国大陆网络环境，huggingface.co 不可达时）
# import os
# os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
# ds = load_dataset("SuhaoYu1020/MedFrameQA", split="test")

sample = ds[0]
print(sample["question_id"])       # 题目编号
print(sample["system"])            # 人体系统
print(sample["organ"])             # 器官
print(sample["modality"])          # 成像模态
print(sample["question"])          # 题干
print(sample["options"])           # 选项列表
print(sample["correct_answer"])    # 正确答案
print(sample["reasoning_chain"])   # 推理链
# 图像：按题目实际帧数取 image_1..image_N
imgs = [sample[f"image_{i}"] for i in range(1, 6) if sample.get(f"image_{i}") is not None]
print(len(imgs), "frames")

加载注意：环境若无法直连 HuggingFace 主站，须走 hf-mirror.com（设置 HF_ENDPOINT 环境变量）；本条目抓取时点实测 hf-mirror 的 API 端点可达，网页端点会重定向回原站（详见 §4.4）。

§4 获取与复现：HF 直下与 GitHub 复现栈

4.1 HuggingFace 获取（推荐主渠道）

MedFrameQA 的数据本体托管在 HuggingFace，是获取的推荐主渠道：

• 仓库：SuhaoYu1020/MedFrameQA
• 许可：CC BY 4.0（cardData.license = cc-by-4.0，HF API 实测确认）
• 门控：gated = false（免登录、免申请、免填表，直接下载）
• 可见性：private = false（公开）
• 格式：6 个 parquet 文件，单 split = test
• 规模标签：1K<n<10K（size_categories）

下载方式：

# 方式一：huggingface-cli 下载整个数据集
huggingface-cli download SuhaoYu1020/MedFrameQA --repo-type dataset --local-dir ./MedFrameQA

# 方式二：走镜像（中国大陆网络环境）
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download SuhaoYu1020/MedFrameQA --repo-type dataset --local-dir ./MedFrameQA

HF 实测元数据（抓取时点 2026-10-15）：

字段	值
id	SuhaoYu1020/MedFrameQA
license	cc-by-4.0
pretty_name	MedFrameQA
downloads	811
lastModified	2025-05-19T03:33:33Z
gated	false
private	false
tags	task_categories:visual-question-answering, task_categories:multiple-choice, language:en, license:cc-by-4.0, size_categories:1K<n<10K, format:parquet, modality:image, modality:text

4.2 GitHub 复现栈

代码仓 haojinw0027/MedFrameQA 提供了从原始视频到最终 VQA 的完整复现路径。

仓库结构：

MedFrameQA/
├── config/          # 配置文件
├── data/            # 数据清单（如 30_disease_video_id.csv）
├── images/          # README 用图
├── src/             # 源码（process.py, eval_process.py）
├── README.md
└── requirements.txt

环境安装（README 口径）：

git clone https://github.com/haojinw0027/MedFrameQA.git
cd MedFrameQA
conda create -n medframeqa python=3.10 -y
conda activate medframeqa
pip install -r requirements.txt
cd src

四阶段复现命令（README 实录）：

# 阶段 1：下载视频与音频（--num_ids 控视频数，-1 为全部）
python process.py --process_stage download_process --csv_file ../data/30_disease_video_id.csv
python process.py --process_stage download_process --csv_file ../data/30_disease_video_id.csv --num_ids number

# 阶段 2：从视频提帧 + 从音频生成转录
python process.py --process_stage video_process --csv_file ../data/30_disease_video_id.csv

# 阶段 3：帧-字幕配对（--bias_time 控选帧时间间隔）
python process.py --process_stage pair_process --csv_file ../data/30_disease_video_id.csv
python process.py --process_stage pair_process --csv_file ../data/30_disease_video_id.csv --bias_time 20

# 阶段 4：多帧合并 + 问答生成（--max_frame_num 控单题最大帧数，默认/上限 5）
python process.py --process_stage vqa_process --csv_file ../data/30_disease_video_id.csv
python process.py --process_stage vqa_process --csv_file ../data/30_disease_video_id.csv --max_frame_num 5

复现要点解读：

1. 四阶段与论文流水线一一对应：download_process → 医学视频采集；video_process → 帧提取 + 字幕转录；pair_process → 帧-字幕配对；vqa_process → 多帧合并 + 问答生成。这是把论文 Figure 1 落成可运行代码的少见完整实现。
2. 30_disease_video_id.csv：数据清单文件名暗示视频按约 30 类疾病组织（“30_disease”）。这与「9 大系统 / 43 器官」的最终标签体系形成「采集端按疾病、输出端按系统/器官」的两套组织逻辑。
3. 两个关键超参：--bias_time（选帧时间间隔，默认值在 README 示例中给 20）与 --max_frame_num（单题最大帧数，上限 5）。这两个参数直接决定「多帧片段」的构造密度，是复现时调整难度梯度的旋钮。
4. 复现成本提示：从零复现需下载 3,420 个原始视频并做提帧与语音转录，算力与带宽开销远大于直接下载提帧后的 parquet。绝大多数使用场景应直接下载 HF 数据，只有做流水线研究才需从视频重跑。

4.3 评估脚本与评测流程

README 提供评估入口 eval_process.py：

python eval_process.py --input_file "your vqa pairs file path" --output_dir ../eval --model_name "your model"
python eval_process.py --input_file "your vqa pairs file path" --output_dir ../eval --model_name "your model" --num_q number

参数说明：

• --input_file：待评估的 VQA 数据文件路径（即 MedFrameQA 题目）；
• --output_dir：评估结果输出目录；
• --model_name：指定待评估的多模态大模型名称；
• --num_q：评估题目数量（-1 为全部），用于抽样评测。

评估流程要点：脚本接收待评模型对多图像多选题的作答，与 correct_answer 比对算准确率。由于题目是多选题，主指标为准确率（accuracy）；论文进一步按身体系统、模态、帧数分组报告（含标准差）。

4.4 网络环境与镜像通道注意

中国大陆网络环境访问 HuggingFace 主站受限，须注意以下实测经验（抓取时点 2026-10-15）：

1. HF 主站（huggingface.co）：沙箱环境实测不可直连（fetch failed）。
2. hf-mirror 网页端（hf-mirror.com/datasets/…）：会重定向回原站（“正在前往 Hugging Face 原站”），网页抓取不可用。
3. hf-mirror API 端点（hf-mirror.com/api/datasets/SuhaoYu1020/MedFrameQA）：本次可达，返回完整 JSON 元数据（license、tags、siblings、lastModified 等均由此获得）。
4. hf-mirror raw 大文件（hf-mirror.com/.../raw/main/README.md）：本次 curl 直取超时（exit 28），未成功——可能因大文件或限流。按纪律不重试。

实操建议：程序化访问优先用 API 端点（轻量 JSON），下载数据用 HF_ENDPOINT=https://hf-mirror.com 配合 huggingface-cli。网页浏览若被重定向，改走 API 或原站的 raw 路径。

4.5 复现与评测的三条注意

1. 抽样评测波动：--num_q 支持抽样评测，但 MedFrameQA 的题目跨系统/模态分布不均，抽样过小会放大波动。做对比实验时，若不同模型的抽样集不同，成绩不可直接比较——务必固定同一抽样集或跑全量。
2. 帧数作为变量：由于每题帧数不同（2-5），评测时不能默认「图像数固定」；应记录每题实际帧数，并按帧数分组分析（论文正是这么做的）。
3. 模型适配：不同 MLLM 的多图输入接口不同（有的接受图像列表，有的需拼接），评估代码需按模型适配多图输入方式，否则会将「接口问题」误算成「模型能力问题」。

§5 构建方法论：四阶段流水线与多阶段过滤

5.1 四阶段流水线全景

MedFrameQA 的构建方法论是其最核心的贡献之一——它把「从一段医学教育视频自动造出跨帧多选题」这件事拆成了可复现的四阶段（对应论文 Figure 1）。逐阶段拆解如下：

阶段 (a) Medical Video Collection（医学视频采集）

• 通过临床搜索查询（clinical search queries）采集 3,420 个医学教育视频；
• 视频清单以 30_disease_video_id.csv 形式组织，按疾病类别编排；
• 这一步决定了数据集的原始素材来源——医学教育视频而非临床影像归档，是 MedFrameQA 区别于传统影像数据集的关键。

阶段 (b) Frame-Caption Pairing（帧-字幕配对）

• 从视频中提取关键帧（keyframes）；
• 对视频音频做转录（transcribe）生成字幕（caption）；
• 将关键帧与其时间对齐的字幕配对，得到「帧-字幕对」；
• 这一步的价值在于：字幕提供了帧的语义锚点，为后续配对与提问提供文本基础。

阶段 © Multi-Frame Merging（多帧合并）

• 将临床相关的「帧-字幕对」合并为多帧片段（multi-frame clips）；
• 「临床相关」的判据来自帧之间的临床逻辑联系（同一病灶/同一病例的不同表现）；
• 合并结果即每一道题的图像组（2-5 帧）。

阶段 (d) Question-Answer Generation（问答生成）

• 从每个多帧片段生成多图像 VQA；
• 题目内容跨图像逻辑递进（paper 原文「content evolves logically across images」）；
• 同时生成推理链（reasoning_chain），记录综合多帧证据的推理过程。

四阶段一句话串联：采视频 → 提帧配字幕 → 并临床相关帧成片段 → 从片段生成跨帧问答。

5.2 多阶段过滤：质量的三道闸门

与自动化流水线并行的是多阶段过滤策略（multi-stage filtering strategy），论文明确其为「model-based」与「manual review」两类手段的组合，目标保三样东西：

目标	英文	含义
数据清晰度	clarity	题目无歧义、帧图质量合格
数据难度	difficulty	题目有足够推理复杂度，非简单识别
医学相关性	medical relevance	题目贴合真实临床价值

过滤手段拆解：

1. 基于模型的过滤（model-based）：用模型自动筛除低质量/低难度/低相关性的条目（例如自动识别无效题目、过滤冗余帧）；
2. 人工审核（manual review）：对模型过滤后的候选做人工复核，保证最终质量。

方法论意义：这延续了现代基准构建的普遍范式——「自动扩量 + 人工保真」。自动化流水线负责规模（2,851 题的体量），多阶段过滤负责质量（保 clarity/difficulty/relevance）。这一「扩量与保真的张力」是所有大规模基准的共同课题，MedFrameQA 给出的答案是「模型筛 + 人审」的双层结构。

5.3 数据质量的三重设计考量

从流水线设计中可提炼出三个隐含的质量考量：

考量一：时序连贯性（temporal coherence）。 论文强调提取的是「时间上连贯的帧」——不是随机抽帧，而是保证帧之间有时间上的连续性。这是「跨帧推理」成立的前提：如果帧之间没有时间关系，题目就退化成「多张不相关图」，与 MedXpertQA 式的「多图无因果链」无异。

考量二：内容逻辑递进（logical evolution）。 论文强调 VQA 条目「content evolves logically across images」——题目内容随图像序列逻辑递进。这意味着题目不是「哪张图有 X」，而是「随着图像推进，判断如何演变」，逼模型做序列性综合。

考量三：推理链显式化（explicit reasoning chain）。 每题附 reasoning_chain 字段，把「如何综合多帧证据得到答案」的推理过程显式记录。这既便于分析模型错误（对比模型推理与标准推理），也呼应论文对「显式推理链」的强调。

5.4 与同类基准构建法的对比

把 MedFrameQA 的构建法与库内其他基准对照，可见方法论差异：

基准	构建来源	规模扩张手段	质量手段	图像关系
MedFrameQA	医学教育视频	自动流水线四阶段	模型筛 + 人审	时序连贯帧
MedXpertQA	医学考试题	题源筛选 + 改写	专家审核	独立图像
PMC-VQA	生物医学文献图	文献图像 + LLM 生成	自动过滤	单图
SLAKE	临床影像 + 专家标注	人工标注	专家标注	单图
MedMCQA	医学考试	题源整理	自动清洗	无图

对比结论：MedFrameQA 的独特性在于以视频为源、以跨帧为形式。大多数基准要么以静态图像为源（SLAKE、PMC-VQA），要么以文本考试为源（MedMCQA、MedXpertQA）。MedFrameQA 是少见的「视频提帧」路线，这让它的图像天然携带时序信息——这是单图数据集无法提供的维度。

5.5 方法论的可迁移性：三条可复制经验

1. 视频是图像数据集的高价值矿藏。 医学教育视频里蕴含大量「同一场景的多视角/多时相」画面，是构造多图推理数据的天然来源。任何做多图/视频理解数据集的团队都可借鉴「提帧-配对-合并」思路。
2. 字幕是帧的语义锚点。 用视频转录字幕给帧打语义标签，解决了「帧本身无文本」的问题，让自动化提问成为可能。这是「多模态数据构建」中一个实用的桥接技巧。
3. 「模型筛 + 人审」是规模化保真的通用范式。 无论数据源是什么，先自动化扩量、再用模型粗筛、最后人工精审的三段式，是当前基准构建的成熟配方。

§6 许可与合规：CC BY 4.0 与引用规范

6.1 数据集许可：CC BY 4.0

MedFrameQA 的数据集许可为 Creative Commons Attribution 4.0 International（CC BY 4.0），由 HF API 实测确认（cardData.license = cc-by-4.0，tags 含 license:cc-by-4.0）。

CC BY 4.0 的权利与义务（速查）：

维度	允许/要求
商业使用	✅ 允许
修改/再分发	✅ 允许
署名（attribution）	⚠️ 必须——须注明来源、附许可链接、标明是否修改
共享相同许可	❌ 不要求（非 copyleft）
专利/商标	不涉及

署名范式建议（合规引用句式）：

本工作使用了 MedFrameQA 数据集（Yu et al., 2025, arXiv:2505.16964），该数据集以 CC BY 4.0 许可发布于 HuggingFace（SuhaoYu1020/MedFrameQA）。原始许可文本见 https://creativecommons.org/licenses/by/4.0/。

注意：CC BY 4.0 要求注明是否修改。若对数据做了裁剪、重标注、子集化，须在署名中明确声明「已修改」。

6.2 论文与项目材料的许可

• 论文文本：arXiv 页脚惯例为 CC BY 4.0，但本轮未逐字抓取 arXiv 页脚的许可声明——列入 §9 待核。引用论文文本、图表时，若用于再分发应先行核对 arXiv 页脚的具体许可。
• 项目页与 GitHub README：作为官方说明材料，引用时应注明来源 URL 与抓取时点，但需注意其内容可能随版本更新（本条目已对关键口径做了双口径存照）。
• 代码：GitHub 仓库的代码许可未在可抓取文本中明确（README 未逐条列出 LICENSE 种类，仓库文件列表中也未见独立 LICENSE 文件）——列入 §9 待核。若计划复用 process.py / eval_process.py 代码，须先到仓库确认是否有 LICENSE 文件及具体条款。

6.3 原始视频来源的合规边界（关键提示）

MedFrameQA 的一个重要合规特征是：它以提帧后的 parquet 分发，而非分发原始医学教育视频。

这意味着什么：

1. 数据集本体不含原始视频——用户拿到的是 3,420 个视频里提取出的 9,237 帧（以图像形式内嵌在 parquet），而非视频文件本身；
2. 规避了视频版权问题——原始医学教育视频（可能来自公开视频平台）的版权状态较复杂，直接再分发视频风险高；提帧分发降低了这一风险；
3. 但复现四阶段会接触原始视频——GitHub 的 download_process 阶段会从原始来源下载视频，这一步的合规责任转移给复现者（需自行确认原始视频的使用条款）。

建议：直接使用 HF 数据集（提帧本）的研究，遵循 CC BY 4.0 即可；若从零复现流水线（下载原始视频），须自行核实视频来源平台的使用条款。

6.4 合规场景速查

场景	是否允许	条件
学术研究使用	✅	署名
商业产品集成	✅	署名（CC BY 4.0 允许商用）
修改后发布	✅	署名 + 声明已修改
用于模型训练	✅	署名
再分发子集	✅	保留署名与许可声明
声明数据集为自有	❌	违反署名义务
移除署名后商用	❌	违反 CC BY 4.0

6.5 使用建议清单（合规执行）

1. 署名要全：注明数据集名、作者（Yu et al., 2025）、arXiv 编号、HF 仓库地址、许可类型。
2. 标注修改：若做了任何处理（子集、清洗、格式转换），在署名中声明。
3. 保留许可链接：附 https://creativecommons.org/licenses/by/4.0/。
4. 区分论文与数据：论文文本的引用与数据集的使用是两回事，各自的许可须分别核对。
5. 复现视频前查条款：若要跑 download_process 下载原始视频，先确认来源平台条款。
6. 记录抓取时点：引用数据集统计数字时注明抓取时点，因官方材料可能随版本更新（本条目已就模型数、作者数等做了双口径存照）。

§7 评测结果：成绩单与解读

7.1 模型阵容与口径存照

论文在 MedFrameQA 上基准测试了多模态大语言模型（MLLM），阵容覆盖专有与开源、带与不带显式推理模块两类。

模型数量口径存照（重要）：

版本	表述	本条目采信
arXiv v1 / 项目页 / GitHub	10 个 advanced MLLMs	✅ 主口径
ICLR 2026 版摘要	11 个 advanced MLLMs	存照

本条目正文按 v1 口径写「10 个」，并在所有涉及处标注 ICLR 版为 11。读者引用模型阵容时务必注明版本，否则易与他人的「11 个」说法冲突。

被评模型的已知线索：

• 项目页失败案例分析点名 o1（OpenAI 的推理模型）——Figure 3 与 Figure 4 均以 o1 为例分析错误模式；
• 阵容含「with and without explicit reasoning modules（带与不带显式推理模块）」两类——即既有推理增强模型（如 o1 类），也有常规 MLLM；
• 具体完整名单（其余模型名）未在可抓取的 README/项目页文本中列全——列入 §9 待核。

7.2 主成绩口径：大多数低于 50%

MedFrameQA 的核心测评结论高度概括而警示性强：

所有被测模型表现均差，大多数准确率低于 50%。（“all models perform poorly, with most accuracies below 50%”）

这一结论在 arXiv v1 摘要、项目页、GitHub README 三处口径一致，是 MedFrameQA 最核心的「硬结论」。

三点必须一起记住的限定：

1. “大多数”（most）非"全部"（all）——论文说的是「大多数低于 50%」，意味着有少数模型可能略高于 50%，不能简化为「全部低于 50%」。
2. 准确率随帧数波动——“accuracy fluctuates as the number of images per question increases”。这是 MedFrameQA 最有信息量的发现之一：图像增多并不单调改善成绩，说明模型未能有效利用额外帧的信息。
3. 跨系统/器官/模态差异显著——“results also vary substantially across body systems, organs, and modalities”，即平均成绩掩盖了巨大的内部分化。

7.3 分维度成绩结构

论文按三个维度报告了分组成绩（Table 2 与 Table 3）：

维度一：按人体系统（Table 2）

报告九大系统（CNS/RES/CIR/DIG/URI/REP/END/MSK/AUX）的平均准确率。系统间差异显著，说明模型在不同医学专科上的能力不均衡。

维度二：按成像模态（Table 3 一部分）

报告不同成像模态下的准确率。模态间差异显著——这提示数据集的「多模态」覆盖带来了额外的能力分层。

维度三：按帧数（Table 3 一部分）

报告不同帧数下的准确率（含标准差 SD）。这是最能体现 MedFrameQA 特色的维度：帧数增加 → 准确率波动（非单调上升）。

成绩数字的可得性说明（重要）：项目页与 GitHub 的 Table 2/Table 3 均以图片形式呈现，页面文本中未给出逐项数值（各模型 × 各系统 × 各模态 × 各帧数的具体准确率）。本条目因此只能给出维度和结论口径，具体数字须以论文 PDF 的表为准（列入 §9 待核）。读者若需精确数字做对标，务必直接查阅论文原文表格，不可依赖二手转述。

7.4 错误分析：三类失败模式（本基准最有价值的发现）

论文错误分析（error analysis）指出了模型在跨帧推理上的三类系统性失败——这是 MedFrameQA 超越「排行榜」的实质贡献：

失败模式一：忽略显著发现（ignore salient findings）

• 模型无视图像中的关键特征。
• 论文 Figure 3 以 o1 为例：o1 忽略了第二帧和第三帧中的关键特征，最终选择了错误答案。这说明模型没有「逐帧充分观察」，而是过早锁定判断。

失败模式二：跨图像证据聚合错误（mis-aggregate evidence across images）

• 即便模型「看到」了多帧信息，也不能正确地合成成一个综合判断。
• 这是「多图像推理」的核心失败——模型把多帧当作独立线索而非互补证据，与论文批评 MedXpertQA 的「图像无因果链」问题异曲同工，只是这次问题出在模型一侧。

失败模式三：早期错误传播（propagate early mistakes）

• 论文 Figure 4 以 o1 为例：o1 在解读第一帧时产生方向性错误，该错误沿推理链一路传播，最终导致错误答案。
• 这是推理链模型的典型脆弱性——开头错一步，后面越推越错，且模型无自我纠错机制。

三类失败的共同启示：模型在单图任务上或许及格，但一旦要求「按顺序看多帧并综合」，就会暴露「观察不充分 → 聚合错误 → 错误放大」的连锁问题。这正是论文「while MLLMs may handle single-image medical tasks, they fail at the multi-image comparative reasoning」结论的实证基础。

7.5 成绩解读的四条守则

守则一：区分「多数」与「全部」。 论文说「大多数 <50%」，引用时不要写成「全部 <50%」。

守则二：注明模型数版本。 v1 是 10 个，ICLR 版是 11 个；引用阵容时注明版本。

守则三：逐项数字以论文表为准。 项目页表图无数值文本，二手转述易错——精确对标须查论文 PDF。

守则四：帧数是关键变量。 任何「MedFrameQA 准确率 X%」的说法都必须追问「几帧条件下」——因为成绩随帧数波动，脱离帧数的单一数字是误导。

7.6 复现偏差排查表

若你复现 MedFrameQA 评测发现与论文数字不符，按以下顺序排查：

排查项	检查点
抽样偏差	--num_q 是否固定同一子集？不同抽样集不可比
帧数处理	是否正确读取每题实际帧数（2-5）？按帧数分组了吗？
多图接口	模型多图输入方式是否与评估脚本适配？
选项数	选项数口径是否与论文一致（options 长度）？
答案匹配	答案比对是否做了大小写/格式归一化？
模型版本	被测模型版本是否与论文一致（版本差异会显著影响成绩）？

7.7 三个典型误读案例（成绩引用反面教材）

误读一：「MedFrameQA 上模型全都不及格」。 错。论文说「大多数 <50%」，且 50% 只是多选题的随机猜测线附近（若 4 选 1，随机线为 25%），部分模型明显高于随机线——不能简化为「全线崩溃」。

误读二：「MedFrameQA 准确率是 XX%」。 错。没有单一「MedFrameQA 准确率」——成绩按模型、系统、模态、帧数分层，且随版本变化。任何单一数字都需附四重限定。

误读三：「多给几张图模型会更好」。 错。MedFrameQA 的关键发现在于准确率随帧数波动而非单调上升——多加图像不一定更好，甚至可能更差，这正是模型未能有效整合多帧的体现。

§8 生态位与互链

8.1 库内难度梯度定位

在千方病案医数集的医学 VQA / 评测基准家族中，MedFrameQA 处于「多图像跨帧推理」这一独占生态位：

纯文本 MCQ ──► 单图 VQA ──► 多模态 MCQ ──► 【跨帧多图推理】
 MedMCQA(111)   SLAKE(250)    MedXpertQA(818)   MedFrameQA(本条)
                VQA-RAD(240)  OmniMedVQA(290)
                PathVQA(260)
                PMC-VQA(270)
                RexVQA(729)
                MicroVQA(815)

定位小结：MedFrameQA 是库内唯一以「时序连贯多帧 + 跨帧综合」为核心特征的基准。它与单图基准是互补而非替代关系——单图基准考「看得准不准」，MedFrameQA 考「综合得好不好」。

8.2 库内可互链条目详表

rid	slug	关系	互链价值
818	medxpertqa	论文 Table 1 直接对比项	同为多选题评测；但 MedXpertQA 图像无因果链，MedFrameQA 有——对照呈现差异
290	omnimedvqa	全模态医学 VQA	模态覆盖对照：OmniMedVQA 广覆盖单图，MedFrameQA 深挖跨帧
270	pmc-vqa	生物医学文献图 VQA	单图 vs 跨帧的规模/形式对照
260	pathvqa	病理单图 VQA	单图专科基准代表
250	slake	中英双语单图 VQA	论文点名对比项（SLAKE 单图识别）
240	vqa-rad	放射单图 VQA	单图放射基准代表
280	vqa-med	医学 VQA	早期医学 VQA 基准
111	medmcqa	医学多选题 QA（纯文本）	MCQ 形式对照：文本 MCQ vs 多图 MCQ
729	rexvqa	推理型 VQA	「推理」主题交叠
815	microvqa	显微图像 VQA	专科单图 VQA
—	medvidqa	医学教学视频答案定位（本轮另代理在写）	必须互链并明确区分（详见 §2.5 与 §9 坑点 7）

8.3 引文网络锚点

• 上游：医学单图 VQA 传统（SLAKE、VQA-RAD）与多模态医学评测（MedXpertQA、OmniMedVQA）；
• 同期：多图/视频理解的视觉-语言社区工作（论文引用的 multi-image VQA 相关工作）；
• 方法血统：UCSC VLAA lab 的多模态评测方法脉络；
• 测评对象：o1 等推理增强 MLLM 与常规 MLLM。

8.4 行业采用与影响

• 评测采用：作为「多图像医学推理」的第一个专用基准，MedFrameQA 提供了该细分方向的对标标尺；
• 方法借鉴：其「视频提帧 → 多帧 VQA」的流水线对后续多图/视频数据集有示范价值；
• 警示价值：论文「模型在跨帧综合上失败」的结论，为 MLLM 在临床多图场景的部署敲响警钟——单图能力不代表多图能力。

8.5 对库内选题的三点启示

1. 多图像/视频方向仍是空白：库内 VQA 条目以单图为主，MedFrameQA 填补了跨帧位置，提示后续可关注更多视频/多图医学数据集；
2. 「命名消歧」是高价值内容：MedFrameQA ↔ MedVidQA 的混淆风险表明，相似命名条目的消歧小节对检索者价值很高；
3. 「多口径存照」是学术数据集的常态：模型数、作者数随版本变化是普遍现象，条目应把存照当标准配置。

§9 坑点清单：八处易错点与口径存照

本节的每一条都经过论文、GitHub、HuggingFace、项目页多源核对，是使用与引用 MedFrameQA 时最易踩的坑。

坑点 1：评估模型数量存在两个口径（10 vs 11）

arXiv v1、项目页、GitHub README 均写「10 个 advanced MLLMs」；ICLR 2026 版摘要写「11 个 advanced Multimodal LLMs」。处理：正文按 v1 写 10 并标注 ICLR 版为 11；引用时注明版本。这不是错误，而是版本演进（很可能新增了一个被评模型）。

坑点 2：作者人数存在两个口径（5 vs 7）

v1 / GitHub / BibTeX 为 5 作者（Suhao Yu, Haojin Wang, Juncheng Wu, Cihang Xie, Yuyin Zhou）；ICLR 2026 版为 7 作者（新增 Luyang Luo 与 Pranav Rajpurkar，后者为哈佛医学院知名医学 AI 学者）。处理：引用时按版本补全作者；给 BibTeX 时说明是 v1 版。

坑点 3：摘要开篇措辞在版本间改写

arXiv v1 摘要以「clinicians almost always compare a series of images…（临床医生几乎总是比较一系列图像）」开篇；ICLR 版摘要改为「Medical education videos capture the systematic, multi-image diagnostic reasoning…（医学教育视频捕捉系统的多图像诊断推理）」开篇。处理：引用摘要原文时注明版本；理解「数据来源从『临床图像序列』叙述调整为『医学教育视频』叙述」是版本演进的事实。

坑点 4：ICLR 2026 会议状态未最终确认

lacuna / OpenReview 将论文标注为「ICLR 2026」。但 ICLR 2026 时间点临近，最终接收/展示状态在本条目抓取时点未确认。处理：正文写「投稿/接收（状态待核）」，不得写「已正式发表于 ICLR 2026」——学术会议状态在未正式确认前，写死发表状态是常见错误。

坑点 5：逐项成绩数字不在文本中（项目页表为图片）

项目页与 GitHub 的 Table 2（按系统）与 Table 3（按模态/帧数）均以图片呈现，页面文本未给逐项数值。处理：本条目只给维度与结论口径（「多数 <50%」「随帧数波动」「跨系统差异显著」）；精确数字须查论文 PDF 表格。切勿从二手转述抄具体数值。

坑点 6：options 选项数未在元数据中固定

HF 字段 options 为 sequence<string>，但每题具体选项数（4 选 1 或 5 选 1）未在可抓取的元数据中明确。处理：列入待核；做自动化评测时须以实际数据或论文表图为准，并据此设定随机基线（若 4 选 1，随机线约 25%）。

坑点 7：与 MedVidQA 的命名混淆（最高风险坑）

MedFrameQA（UCSC，2025，多图像 MCQ）与 MedVidQA（NIH/NLM，2023，视频答案定位）名称高度相似，极易被误认为同一资源或版本关系。处理：本库两者为独立条目，检索与互链务必并列区分；文献中若混用，属误记。参见 §2.5 的对照表。

坑点 8：CC BY 4.0 的署名与「注明修改」义务

数据集为 CC BY 4.0，允许商用，但必须署名且注明是否修改。常见错误：(a) 直接把数据集当自有数据宣称；(b) 修改（子集/清洗）后未声明。处理：按 §6.1 的署名范式执行；做了任何处理都在署名里写明「已修改」。

坑点 9（补充）：原始视频复现的合规责任

GitHub 的 download_process 会从原始来源下载医学教育视频——这一步的合规责任在复现者。HF 数据集本身是提帧 parquet（规避了视频再分发），但从零复现会接触原始视频。处理：直接使用者走 HF 数据 + CC BY 4.0 即可；从零复现者须先核实视频来源平台条款。

坑点 10（补充）：帧数列的变长结构

图像以 image_1..image_N 独立列存储，不同题目的 N 不同（2-5）。加载后变长列的缺失位通常为 None——遍历时若不做 None 判断，会把「占位空列」当成「有效帧」，导致帧数统计虚高。处理：取帧时按 if sample.get(f"image_{i}") is not None 过滤（见 §3.5 代码）。

---

坑点速查表：

#	坑点	一句话处置
1	模型数 10 vs 11	按 v1 写 10，标注 ICLR 版 11
2	作者 5 vs 7	按版本补全
3	摘要措辞改写	引用注明版本
4	ICLR 状态待核	写「待核」，不写死
5	逐项成绩在图片里	查论文 PDF，勿抄二手
6	options 数未固定	实测为准，据设定随机基线
7	与 MedVidQA 混淆	并列区分，非同一资源
8	CC BY 署名义务	署名 + 注明修改
9	视频复现合规	复现者自负原始视频条款
10	变长帧列	None 判空过滤

§10 总结：适用与不适用

10.1 三句话总结

1. MedFrameQA 是首个显式评估医学 VQA 多图像（跨帧）推理能力的基准——2,851 道多选题，来自 9,237 帧 / 3,420 个医学教育视频，覆盖 9 大系统 43 器官，每题 2-5 帧。
2. 它的构建方法是将医学教育视频「采视频 → 提帧配字幕 → 并帧成片段 → 生成跨帧问答」四阶段自动化，配以「模型筛 + 人审」的多阶段质量过滤。
3. 它的核心发现是前沿 MLLM 在跨帧综合上普遍失败——大多数准确率低于 50%，且随帧数波动，模型常忽略显著发现、聚合证据错误、早期错误传播。数据集以 CC BY 4.0 开放，gated=false 直下。

10.2 适合谁

用户类型	适合度	理由
多模态大模型评测研究者	✅✅ 高度适合	专为多图推理设计的评测标尺
医学 VQA 数据集研究者	✅ 适合	视频提帧流水线可借鉴
临床 AI 落地评估者	✅ 适合	检验模型跨帧综合能力
单图识别任务研究者	⚠️ 部分适合	需注意其多图特性，与单图基准互补
追求「排行榜高分」者	⚠️ 需谨慎	成绩随帧数/系统波动，单一分数误导

10.3 不适用场景

• 不适合当训练数据的「金标准」：它是评测基准（单 test split），设计用途是评测而非训练；用于训练须注意「基准污染」风险。
• 不适合回答「模型临床能力」的笼统问题：它只测多图像医学推理的一个切面，不能代表模型的全面临床能力。
• 不适合直接引用单一准确率数字：成绩随模型/系统/模态/帧数分层，脱离维度限定的单一数字是误导。

10.4 一句话收束

MedFrameQA 补上了医学 VQA 评测中「跨帧综合推理」这块长期缺失的拼图，而它交出的答卷——模型在跨帧综合上普遍失败——恰恰说明了这块拼图为何重要。对任何关心「多模态大模型能否真正像医生那样比较一组图像下判断」的人，这是一份必读的基准。

---

高频疑问详版：24 问分六组

§1 的十问十答给出速览，本节按主题给出更细的 24 问，供深入使用者查阅。

组一：数据与内容（问 1 至问 4）

问 1：MedFrameQA 的题目具体长什么样？

每道题是一个多选结构：题干（question）+ 一组选项（options）+ 正确答案（correct_answer）+ 一组帧图（2-5 张，image_1..image_N）+ 推理链（reasoning_chain）。题目要求模型综合这组帧的信息作答，而非看单张图。

问 2：图像是从哪里来的？可以商用吗？

来自 3,420 个医学教育视频的提帧。数据集本体是提帧后的图像（parquet 内嵌），以 CC BY 4.0 发布，允许商用（须署名）。原始视频不在数据集内，所以不涉及视频版权。

问 3：题目覆盖哪些医学领域？

覆盖 9 大身体系统（CNS/RES/CIR/DIG/URI/REP/END/MSK/AUX）与 43 个器官，并按成像模态（modality）标注。系统间、器官间、模态间的题量分布见论文 Figure 2（以图片呈现）。

问 4：每题固定 4 张帧吗？

不固定。每题 2 至 5 张帧，平均约 3.24 张。帧数以 image_1..image_N 的列数体现，加载时不同行的有效图像数不同。

组二：构建与质量（问 5 至问 8）

问 5：数据是怎么造出来的？

四阶段自动化流水线：①从临床搜索查询采集 3,420 个医学教育视频；②提取关键帧并与转录字幕对齐；③把临床相关的帧-字幕对合并为多帧片段；④从多帧片段生成多图像 VQA。

问 6：质量怎么保证？

多阶段过滤策略：model-based（模型自动筛除低质量/低难度/低相关性条目）+ manual review（人工复核）。目标保 clarity（清晰度）、difficulty（难度）、medical relevance（医学相关性）。

问 7：帧之间有什么关系？

帧来自同一视频片段，具有时序连贯性（temporally coherent），题目内容随图像序列逻辑递进（evolves logically）。这是 MedFrameQA 区别于「多图无因果链」基准的关键。

问 8：能自己从视频重跑一遍吗？

可以。GitHub 提供完整复现命令（process.py 四阶段 + --bias_time/--max_frame_num 超参）。但复现需下载 3,420 个原始视频并做提帧与语音转录，开销大——大多数使用场景应直接下 HF 数据。

组三：许可与获取（问 9 至问 12）

问 9：怎么下载数据？

HuggingFace SuhaoYu1020/MedFrameQA，gated=false 免登录直下；中国大陆环境设 HF_ENDPOINT=https://hf-mirror.com。6 个 parquet 分片，单 split=test。

问 10：许可是什么？能商用吗？

CC BY 4.0。允许商用、修改、再分发；必须署名且注明是否修改。

问 11：代码许可是什么？

GitHub 仓库的代码许可未在可抓取文本中明确（未见独立 LICENSE 文件的明确说明）——列入待核。复用代码前应到仓库确认。

问 12：论文的许可是什么？

arXiv 页脚惯例为 CC BY 4.0，但本轮未逐字抓取确认——列入待核。

组四：评测与引用（问 13 至问 16）

问 13：怎么在 MedFrameQA 上评测模型？

用 GitHub 的 eval_process.py，指定 --input_file（题目）、--output_dir（输出）、--model_name（模型）、--num_q（题量，-1 为全部）。主指标为多选题准确率。

问 14：成绩口径要注意什么？

四条守则：区分「多数<50%」与「全部<50%」；注明模型数版本（10/11）；逐项数字以论文表为准（项目页表是图片）；帧数是关键变量（成绩随帧数波动）。

问 15：模型错在哪？

三类失败模式：忽略显著发现（无视后几帧关键特征）、跨图像证据聚合错误、早期错误传播（首帧错→推理链放大）。

问 16：引用时要注意什么？

注明版本（v1 vs ICLR）、作者数（5 vs 7）、模型数（10 vs 11）；会议状态标「待核」；用官方 BibTeX 并注明版本。

组五：延伸与互链（问 17 至问 20）

问 17：MedFrameQA 和 MedVidQA 是一回事吗？

不是。MedVidQA 是 NIH/NLM 2023 年的视频答案定位（MVAL）数据集；MedFrameQA 是 UCSC 2025 年的多图像 MCQ 基准。团队、年份、任务、形式全不同。

问 18：库内还有哪些可对照的基准？

medxpertqa(818，论文直接对比项)、omnimedvqa(290)、pmc-vqa(270)、pathvqa(260)、slake(250)、vqa-rad(240)、vqa-med(280)、medmcqa(111)、rexvqa(729)、microvqa(815)。

问 19：它在医学 VQA 谱系里什么位置？

单图时代（SLAKE/VQA-RAD）→ 多模态扩展（OmniMedVQA/MedXpertQA）→ 跨帧推理（MedFrameQA）。它是库内唯一以「时序连贯多帧 + 跨帧综合」为核心的基准。

问 20：它有哪些生态影响？

作为首个多图像医学推理基准，提供了该细分方向的对标标尺；其「视频提帧」流水线对后续多图/视频数据集有示范价值；其失败分析为 MLLM 临床多图部署敲响警钟。

组六：误用与急救（问 21 至问 24）

问 21：能拿它当训练集吗？

它是评测基准（单 test split），设计用途是评测。用于训练须注意基准污染风险。

问 22：能只用一张图评测吗？

技术上可以取 image_1，但那就丧失了「跨帧推理」的评测意义，退化成单图 VQA。不建议。

问 23：发现成绩和论文对不上怎么办？

按 §7.6 排查表逐项检查：抽样偏差、帧数处理、多图接口、选项数、答案匹配、模型版本。

问 24：想引用具体准确率数字怎么办？

必须回到论文 PDF 的 Table 2/3 取数（项目页表为图片无数值）；引用时附四重限定（模型、系统/模态、帧数、版本）。

附录

附录 A：条目信息速查卡

项	值
条目	MedFrameQA
slug	medframeqa
全称	MedFrameQA: A Multi-Image Medical VQA Benchmark for Clinical Reasoning
类型	多图像（跨帧）医学 VQA 基准（多选题）
规模	2,851 QA / 9,237 帧 / 3,420 视频
覆盖	9 身体系统 / 43 器官；每题 2-5 帧
许可	CC BY 4.0
论文	arXiv:2505.16964（2025-05-22）
会议	ICLR 2026 投稿/接收（待核）
团队	UCSC VLAA + UPenn + UIUC
数据	HuggingFace SuhaoYu1020/MedFrameQA
代码	GitHub haojinw0027/MedFrameQA
抓取时点	2026-10-15

附录 B：DAIMS 评估全表

DAIMS 维度	评估	说明
Data（数据）	2,851 QA / 9,237 帧，parquet 内嵌图像，字段完整	规模中等，结构清晰
Access（获取）	HF gated=false，CC BY 4.0，免登录直下	获取门槛低
Interoperability（互操作）	parquet 格式，datasets/pandas/polars 可加载，含 mlcroissant 元数据	互操作性好
Metadata（元数据）	12 类字段 + cr:RecordSet 结构描述	元数据完整
Schema（模式）	question_id 主键，system/organ/modality 分类字段，options 变长	模式规范
综合评级	AI-Ready 就绪度高	可直接用于评测流水线

附录 C：与库内 VQA 基准对比总表

基准	rid	每题图数	任务	规模	图像关系
MedFrameQA	本条	2-5	MCQ	2,851	跨帧同场景
MedXpertQA	818	0-2	MCQ	4,460	独立线索
OmniMedVQA	290	1	MCQ	12.7 万+	单图
PMC-VQA	270	1	MCQ	22.7 万	单图
PathVQA	260	1	混合	4,998	单图
SLAKE	250	1	混合	双语	单图
VQA-RAD	240	1	混合	3,515	单图
MedMCQA	111	0	MCQ	19.4 万	无图

附录 D：多口径集中登记表

项	口径 A	口径 B	采信
评估模型数	10（v1/项目页/GitHub）	11（ICLR 版）	A 为主，B 存照
作者数	5（v1/GitHub/BibTeX）	7（ICLR 版）	A 为主，B 存照
摘要开篇	临床图像序列（v1）	医学教育视频（ICLR）	双存照
会议状态	arXiv preprint	ICLR 2026（待核）	标注待核

附录 E：术语表

术语	英文	含义
VQA	Visual Question Answering	视觉问答
MLLM	Multimodal Large Language Model	多模态大语言模型
跨帧推理	Cross-frame reasoning	综合多帧信息推理
时序连贯	Temporally coherent	帧间有时间连续性
多帧片段	Multi-frame clip	合并后的帧组
帧-字幕配对	Frame-caption pairing	帧与转录字幕对齐
MVAL	Medical Visual Answer Localization	医学视觉答案定位（MedVidQA 任务）
MCQ	Multiple-Choice Question	多选题

附录 F：核心数字 40 条

1. VQA 问答对：2,851
2. 高质量帧：9,237
3. 医学视频：3,420
4. 人体系统：9
5. 器官：43
6. 每题图像数下限：2
7. 每题图像数上限：5
8. 平均每题帧数（估算）：约 3.24
9. parquet 分片数：6
10. split 数：1（test）
11. 主要指标：accuracy
12. 模型数（v1）：10
13. 模型数（ICLR）：11
14. 作者数（v1）：5
15. 作者数（ICLR）：7
16. 构建阶段数：4
17. 过滤类别：2（model-based + manual）
18. arXiv 编号：2505.16964
19. arXiv v1 日期：2025-05-22
20. GitHub 数据上传：2025-05-18
21. HF 首发布：2025-05-19
22. GitHub README 补齐：2025-06-06
23. HF downloads（抓取时点）：811
24. HF lastModified：2025-05-19T03:33:33Z
25. 许可：CC BY 4.0
26. gated：false
27. 人体系统缩写数：9（CNS/RES/CIR/DIG/URI/REP/END/MSK/AUX）
28. 数据类型：image + text
29. HF size_categories：1K<n<10K
30. 格式：parquet
31. 单题最大帧数（默认/上限）：5
32. 失败模式数（错误分析）：3
33. 主要结论阈值：50%
34. 主指标随机线（若 4 选 1）：约 25%
35. 主指标随机线（若 5 选 1）：约 20%
36. 机构数：3（UCSC/UPenn/UIUC）
37. 共同一作数：3
38. 视频清单文件：30_disease_video_id.csv
39. 关键词字段：keyword（词云来源）
40. 推理链字段：reasoning_chain

附录 G：常见误读十纠

1. ❌「MedFrameQA 是 MedVidQA 的新版」→ ✅ 二者是不同团队、不同任务的两个数据集。
2. ❌「模型全部 <50%」→ ✅ 论文说「大多数 <50%」。
3. ❌「MedFrameQA 准确率 X%」→ ✅ 成绩分层，无单一数字。
4. ❌「图像越多成绩越好」→ ✅ 成绩随帧数波动，非单调。
5. ❌「它测的是医学视频理解」→ ✅ 它测的是多图像（跨帧）VQA。
6. ❌「评估了 11 个模型」→ ✅ v1 是 10 个（ICLR 版 11 个）。
7. ❌「论文发表在 ICLR 2026」→ ✅ ICLR 2026 状态待核，v1 是 arXiv preprint。
8. ❌「数据要申请」→ ✅ CC BY 4.0，gated=false 免登录直下。
9. ❌「它是训练集」→ ✅ 单 test split 评测基准。
10. ❌「数据集含原始视频」→ ✅ 含提帧后的图像（parquet 内嵌）。

附录 H：来源清单

来源	URL	用途
arXiv 论文	https://arxiv.org/abs/2505.16964	方法、规模、成绩口径
项目页	https://ucsc-vlaa.github.io/MedFrameQA/	流水线图、数据分布、结果
GitHub 代码	https://github.com/haojinw0027/MedFrameQA	复现命令、README
HuggingFace 数据集	https://huggingface.co/datasets/SuhaoYu1020/MedFrameQA	数据本体、字段、许可
HF API（镜像）	https://hf-mirror.com/api/datasets/SuhaoYu1020/MedFrameQA	元数据实测
MedVidQA 论文（区分用）	PMID 36949119	命名消歧

附录 I：章节-事实覆盖自查表

章节	覆盖事实
§0-1	定位、规模、团队、获取、成绩、消歧
§2	名称、团队、时间线、引用、消歧、谱系
§3	字段、分布、规模总账、对照、加载
§4	获取、复现、评估、镜像、注意
§5	四阶段流水线、多阶段过滤、可迁移性
§6	CC BY 4.0、合规、视频来源边界
§7	模型阵容、成绩、错误分析、守则
§8	生态位、互链、影响、启示
§9	十处坑点与口径存照
§10	总结、适用、不适用

---

附录 J：构建流水线可视化

医学教育视频（3,420 个）
        │
        ▼  (a) Medical Video Collection
        │      临床搜索查询采集
        ▼
   [视频 + 音频]
        │
        ▼  (b) Frame-Caption Pairing
        │      提关键帧 + 音频转录 + 时间对齐
        ▼
   [帧-字幕对]
        │
        ▼  (c) Multi-Frame Merging
        │      按临床相关性合并
        ▼
   [多帧片段（2-5 帧）]
        │
        ▼  (d) Question-Answer Generation
        │      生成跨帧多选题 + 推理链
        ▼
   [2,851 道 VQA] ──► 多阶段过滤（model-based + manual review）──► 最终数据集

附录 K：数据字段数据字典（逐字段）

字段	类型	取值范围	说明
question_id	string	唯一	主键
system	string	CNS/RES/CIR/DIG/URI/REP/END/MSK/AUX	九大系统
organ	string	43 个取值	器官
keyword	string	自由文本	关键词（词云源）
modality	string	成像模态枚举	模态
video_id	string	视频标识	溯源
question	string	英文题干	提问
options	sequence<string>	选项列表	多选题选项
correct_answer	string	选项之一	答案
image_url	sequence<string>	引用列表	图像引用
reasoning_chain	string	英文推理	标准推理链
image_1…image_N	image	PIL Image	内嵌帧图，N∈[2,5]

附录 L：与库内条目分工详表

条目	rid	分工
MedFrameQA	本条	跨帧多图像 MCQ 推理
medxpertqa	818	专家级多模态 MCQ（图像为独立线索）
omnimedvqa	290	全模态单图 VQA
pmc-vqa	270	生物医学文献图单图 VQA
pathvqa	260	病理单图 VQA
slake	250	中英双语单图 VQA
vqa-rad	240	放射单图 VQA
vqa-med	280	医学 VQA
medmcqa	111	纯文本医学 MCQ
rexvqa	729	推理型 VQA
microvqa	815	显微图像 VQA
medvidqa	待发布	医学教学视频答案定位（MVAL），必须区分

附录 M：AI-Ready 就绪度对照

就绪维度	状态	说明
开放获取	✅	HF gated=false
明确许可	✅	CC BY 4.0
标准格式	✅	parquet
结构化元数据	✅	12 字段 + cr:RecordSet
内嵌资源	✅	图像内嵌，无需外部解压
可复现代码	✅	GitHub 四阶段流水线
评测脚本	✅	eval_process.py
版本可追溯	⚠️	多口径需存照（模型数/作者数）
逐项成绩可得	⚠️	项目页表为图片，需查论文 PDF

附录 N：研究者检查清单（12 项）

1. 核对版本：v1 还是 ICLR 版（影响模型数与作者数）；
2. 读取实际帧数：按 image_1..image_N 判空取帧；
3. 记录每题帧数：用于按帧数分组分析；
4. 固定抽样集：跨模型对比时统一 --num_q 抽样；
5. 适配多图接口：按被测模型的输入方式；
6. 归答案格式：比对前做归一化；
7. 分层报告：按系统/模态/帧数分层；
8. 注明随机基线：按选项数设定；
9. 署名合规：CC BY 4.0 署名 + 注明修改；
10. 记录抓取时点：统计数字附时点；
11. 查会议状态：不写死 ICLR 2026 发表；
12. 复现视频查条款：从零复现前核实来源平台条款。

附录 O：常见问题速答（许可与获取）

问题	简答
要申请吗	不要，gated=false
要登录吗	不要
能商用吗	能（CC BY 4.0）
要署名吗	要
改后要声明吗	要
含视频吗	不含，含提帧图像
镜像可用吗	API 端点可用，网页端重定向
数据多大	size_categories 1K<n<10K
几个文件	6 个 parquet
几个 split	1 个（test）

尾注：来源、时点与编写声明

本条目为 qianfanghub.com「千方病案医数集」AI-Ready Wikipedia 数据集的原始条目，由编写组于 2026-10-15 抓取三源（arXiv 论文、GitHub 仓库、HuggingFace 数据集）与项目页互证后成稿。

核心数字三源互证说明：2,851 QA / 9,237 帧 / 3,420 视频 / 9 系统 / 43 器官 / 每题 2-5 帧等硬数字在 arXiv 摘要、项目页、GitHub README 三处口径一致；许可 CC BY 4.0 与下载量 811 由 HuggingFace API 端点实测获得。

版本差异存照：本条目已就评估模型数（10/11）、作者数（5/7）、摘要开篇措辞、ICLR 会议状态四处版本差异做显式存照，详见 §9 与附录 D。

遗留疑点：论文逐字许可、代码仓库许可、Table 2/3 逐项成绩数值、被评模型完整名单、options 具体选项数、原始视频平台——详见 §9。

编写声明：本条目所有事实性陈述均来自上述公开来源，超出可核验范围的推测均已标注「待核」。数据集统计数字随官方材料版本可能变化，引用时请以抓取时点与来源 URL 为准。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• rexvqa — 共享标签：多模态 / 视觉问答 / 评测基准 / 医学影像 / 医学问答
• chestagentbench — 共享标签：医学问答与基准 / 多模态 / 评测基准 / 医学影像 / 医学问答
• medxpertqa — 共享标签：医学问答与基准 / 多模态 / 视觉问答 / 评测基准 / 医学问答
• liveclin — 共享标签：医学问答与基准 / 多模态 / 视觉问答 / 评测基准 / 医学问答
• nejm-bench — 共享标签：医学问答与基准 / 多模态 / 视觉问答 / 评测基准 / 医学问答
• rex-in-the-wild — 共享标签：多模态 / 视觉问答 / 评测基准 / 医学问答
• microvqa — 共享标签：医学问答与基准 / 多模态 / 评测基准 / 医学影像
• medvidqa — 共享标签：视觉问答 / 评测基准 / 医学影像 / 医学问答
• medical-cxr-vqa-dataset — 共享标签：多模态 / 视觉问答 / 评测基准 / 医学影像
• medreco-db — 共享标签：医学问答与基准 / 多模态 / 视觉问答 / 医学问答

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。