信息速览
INFOBOX — X-PCR 一屏速览
维度 内容 本质 面向多模态大模型(MLLM)的眼科临床推理评测基准,不是诊断模型也不是原始临床库 团队 深圳大学 CVI 实验室(SZU-CVI);通讯 Gui Wang;9 位作者 论文 arXiv:2604.20350;GitHub 引文标注 CVPR 2026 数据 26,415 图 + 177,868 条 VQA,源自 51 个公开数据集 + 院内 58 例 模态 外眼 EP / 眼底 CFP / 荧光造影 FFA / 吲哚菁绿 ICGA / 断层 OCT / 广域 RetCam 共六种 病种 52 种,归为 DR、青光眼、白内障、AMD、高血压视网膜病变、病理性近视、RVO、罕见病八类 推理结构 六级因果链 IQA→AL→LC→DD→SG→CD,下游阶段依赖上游作答 评测 21 个 MLLM(6 商用 + 10 开源 + 5 医学专用)+ 41 位眼科医生分层基线 关键数字 GPT-5 总均 76.24、全链完成率 24.47;专家全链完成率 62.48 获取 HuggingFace Fantasy666/X-PCR(Parquet,约 3.5 GB);代码 GitHub 公开许可 仅限学术研究用途;院内病例 IRB 批准
§0 导读:这个数据集解决什么问题
眼科是医学多模态模型最早落地的科室之一,也最容易在评测上自欺。原因很直白:现有公开基准几乎都是"一张图一道题"——给一张眼底照判有没有糖尿病视网膜病变,给一张 OCT 判是 CNV 还是 DME,判对了就记一分。真实门诊不这么运转。医生先看这张图拍得能不能用,再看视盘和黄斑在哪,再描述病灶的形态与分布,再给出鉴别诊断排序,再按国际分级标准定级,最后决定是观察、转诊还是打抗 VEGF 针。六步里任何一步错了,后面全错;而这六步的证据往往分散在彩色眼底照相、荧光素眼底血管造影、吲哚青绿造影、光学相干断层扫描、广域小儿眼底和外眼照这六种设备上。
X-PCR(Cross-Modality Progressive Clinical Reasoning)把这条链条写成了评测协议。它的做法分三件事:第一,把诊断拆成六级、并强制因果依赖——模型必须先交第一步的答案,才进入第二步的打分,因此可以看到"上游错了,下游错到什么程度"这种在单题基准里完全被平均掉的现象。第二,把六种模态按疾病实例对齐——同一只眼、相近时间点的 CFP、FFA、OCT 放在一起,给出跨模态的对应标注,再要求模型做跨模态寻证、综合诊断和"下一步该开什么检查"的模态选择。第三,把难度和置信度纳入计分——题目按住院医师、主治、专科专家三档标注,模型还需自报信心,用不确定性感知分数(UAS)和期望校准误差(ECE)惩罚"错得还很自信"。
数据规模是 26,415 张影像、177,868 条专家核验的多选题 VQA,来自 51 个公开眼科数据集,覆盖 52 种疾病,另加院内前瞻采集的 58 例多模态对齐病例。评测对象是 21 个多模态大模型,人类基线是 23 名住院医师、10 名主治、8 名专科专家。
§0 读法三则:
- 本条目是"基准数据集"而非"临床数据库":影像来自公开数据集的再组织,VQA 是派生标注,院内 58 例才是新增采集。引用时务必区分"影像数"与"问答数"两个不同量纲(坑 1)。
- 全文硬数字以论文正文与表格为准,HuggingFace 分片行数与论文口径不同,已在 §2.2 双口径存照。
- 若你是要训练模型的人,读 §4(任务定义)与 §8(工程复现);若你是要写综述或做选型的人,读 §5(评测结果)与 §7(生态定位)。
§1 数据集速览:十问十答
Q1:X-PCR 是什么?
一个眼科多模态临床推理评测基准,论文题为《X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis》,由深圳大学 CVI 实验室发布,含 26,415 张影像与 177,868 条 VQA。
Q2:它和普通眼底分类数据集有什么区别?
普通数据集是"图→标签";X-PCR 是"图组→六级推理链作答 + 跨模态对应 + 置信度"。它测的是推理过程的一致性,不只是终答案的对错。
Q3:六级是哪六级?
图像质量评估(Image Quality Assessment, IQA)→ 解剖定位(Anatomical Localization, AL)→ 病灶表征(Lesion Characterization, LC)→ 疾病诊断(Disease Diagnosis, DD)→ 严重度分级(Severity Grading, SG)→ 临床决策(Clinical Decision-Making, CD)。
Q4:六种模态分别是什么?
外眼照相(External Photography, EP)、彩色眼底照相(Color Fundus Photography, CFP)、荧光素眼底血管造影(Fluorescein Angiography, FFA)、吲哚菁绿血管造影(Indocyanine Green Angiography, ICGA)、光学相干断层扫描(Optical Coherence Tomography, OCT)、RetCam 广域小儿眼底成像。
Q5:52 种病怎么归类?
八类:糖尿病视网膜病变(DR)、青光眼(GLA)、白内障(CAT)、年龄相关性黄斑变性(AMD)、高血压视网膜病变(HTR)、病理性近视(PM)、视网膜静脉阻塞(RVO)、罕见眼病(Rare)。
Q6:谁标注的,可信度如何?
前五级由 GPT-5 依据原始数据集标签与病灶标注生成模板题,Gemini-2.5-Pro 全量审核一致性;第六级临床决策题由眼科医生手工撰写。全部题目由眼科医生分配难度与临床重要性,20% 题目由第二位眼科医生独立复核,评分者一致性低于 κ=0.8 时进入仲裁。
Q7:模型表现如何?
最好的 GPT-5 总均 76.24%,但六级全链全对率(CCR)只有 24.47%;专科专家 CCR 为 62.48%。没有任何模型超过主治医师的总均 79.91%。
Q8:数据能下载吗?
能。HuggingFace 数据集 Fantasy666/X-PCR 公开(约 3.5 GB,Parquet 格式,按模态分子集),评估代码在 GitHub CVI-SZU/X-PCR。许可为仅限学术研究用途。
Q9:能直接拿它训练模型吗?
可以用于微调与研究,但要注意两点:一是镜像中的训练/验证划分需自行从测试集之外的数据重组,公开分片以 test 命名;二是许可仅覆盖学术用途,商用需逐源回溯 51 个上游数据集的授权。
Q10:它最值得引用的一句话结论是什么?
“图像级感知已接近饱和,临床决策仍远未达标”——GPT-5 在 IQA 阶段 98.90%,到 CD 阶段跌至 54.71%,说明瓶颈不在看,而在想。
§2 数据构成与规格
2.1 规模、来源与机构构成
X-PCR 的数据由两条来源拼接而成,理解这条拼缝对正确使用至关重要。
第一条来源:51 个公开眼科数据集。 论文按八个疾病大类组织上游数据,统一清洗后保留原始标签可用的影像进入 VQA 集;低分辨率或严重伪影的图像不丢弃,而是保留为对抗样本(adversarial samples),但不附质量标签。这一步设计很关键——它让 IQA 阶段既有"该判不合格"的样本,又避免把质量标签本身当作答案泄漏给模型。为缓解抽样偏倚,数据集在疾病类别、严重程度(早期/中期/晚期)与六种模态三个维度上做了代表性约束。
第二条来源:院内前瞻采集的 58 例多模态病例。 入组需同时满足四条:完成全套多模态检查、诊断经临床或手术确证、病史与检查记录完整、获得伦理委员会(IRB)批准与知情同意。每例包含结构化临床摘录(年龄、症状、视力、相关病史)、跨六模态同步影像序列,以及专家标注的跨模态对应关系、鉴别诊断与治疗建议,全部由主治及以上眼科医师复核。
值得注意的规模不对称:58 例仅占 26,415 张影像的极小比例,但它们是唯一具备"同眼同期多模态 + 临床上下文"的样本,也承载了跨模态对齐的黄金标杆。这意味着跨模态任务的评测稳定性高度依赖这 58 例的覆盖广度——这是本基准最需要后续扩增的部分。
2.2 规模口径:三个数字,三种含义
检索时最容易混淆的是三个规模数字,必须分清:
| 口径 | 数值 | 单位 | 来源 | 含义 |
|---|---|---|---|---|
| 影像数 | 26,415 | 张 | 论文摘要、GitHub README、HF 卡片 | 去重后的评测影像总量 |
| 问答数 | 177,868 | 条 | 同上 | 多选题 VQA 总量(一图可对应多条) |
| 上游数据集 | 51 | 个 | 同上 | 公开来源数量,非影像数 |
| 院内病例 | 58 | 例 | 论文方法节 | 前瞻采集的多模态对齐病例 |
| HF 分片行数 | 18,735 | 行 | 第三方目录站(EyeDataHub)引 commit 06a318f | Parquet 行数,与 VQA 条数非同一量纲 |
这里必须明确存照:HuggingFace 仓库的 parquet 行数(第三方目录站记为 18,735 行,提交哈希 06a318fd852230326386e3c6514d8a11b7a6b4af)与论文的 177,868 条 VQA 不是同一口径。合理推断是 parquet 以"影像-问答打包"或"按模态子集切分"的方式组织,一条记录可能承载多道题,或部分题目在分片中未逐行展开。使用者在做统计时,应当以自己实际读取到的 DataFrame 行数为准,不要直接引用 177,868 去校验下载完整性(坑 1)。
2.3 六模态与体量分布
论文明确给出的模态占比只有两个:OCT 占 31%,CFP 占 26%,二者合计贡献了大部分 VQA 实例。其余四种模态(FFA、ICGA、RetCam、EP)的具体占比正文未列数字,仅在图中呈现。
这一分布的临床含义值得展开:
- OCT 权重最高符合现实。黄斑病变的诊断与随访几乎以 OCT 为核心,DME、CNV、黄斑前膜、玻璃膜疣的分级都依赖断层图像;一篇 VQA 能问层厚、问积液、问断裂、问反射强弱,天然多题。
- CFP 是入口模态。筛查场景(糖网、青光眼视盘、病理性近视)首选眼底照,题目覆盖解剖定位与病灶描述,量大自然。
- FFA 与 ICGA 是"高信息、低可得"模态。造影需静脉注射、有过敏风险、耗时,公开数据远少于眼底照与 OCT。它们恰恰是模型最弱的环节(§5.4),也是"该不该开造影"这一模态选择题的价值所在。
- RetCam 是儿科专用窄域。广域成像用于新生儿与婴幼儿的视网膜病变筛查(如早产儿视网膜病变),样本量小、图像畸变特殊,对模型的域外泛化是硬考验。
- EP 承担"门面"任务。外眼照看眼睑、结膜、角膜与前节大体外观,是白内障、睑缘疾病与眼眶问题的第一手证据。
2.4 文件组织与推荐目录结构
GitHub README 给出的推荐目录是工程约定而非下载后自动生成的结构:
X-PCR/
├── images/
│ ├── CFP/
│ ├── OCT/
│ ├── FFA/
│ ├── ICGA/
│ ├── EP/
│ └── RetCam/
├── annotations/
│ ├── train.json
│ ├── val.json
│ └── test.json
├── multimodal_cases/
│ ├── case_001/
│ ├── case_002/
│ └── ...
└── README.md
而 HuggingFace 仓库实际是以模态为顶层目录的 Parquet 分片:
X-PCR/
├── cfp/ test-00000-of-00005.parquet … test-00004-of-00005.parquet
├── oct/ test-00000-of-00002.parquet … test-00001-of-00002.parquet
├── ffa/ test-00000-of-00001.parquet
├── retcam/ test-00000-of-00001.parquet
├── external_eye/ test-00000-of-00001.parquet
└── README.md
两者对不上是常态:README 里的 annotations/*.json 与 multimodal_cases/ 是面向完整发布版的目录约定,HF 公开镜像当前只承载五个模态子集(ICGA 未见独立目录,可能并入 FFA 子集或未公开)。若你的实验依赖 ICGA 或院内 58 例,务必先核对实际到手的文件清单,不要按 README 写死路径(坑 2)。
2.5 影像与标注的粒度
单条 VQA 的字段构成(依论文与加载实践归纳):
| 字段 | 类型 | 说明 |
|---|---|---|
| image | 图像或图像组 | 单模态单图,或同眼多模态对齐组 |
| question | 字符串 | 某一级推理的题干,模板化生成或专家撰写 |
| options | 列表 | 多选题候选,干扰项从同属性名词池采样 |
| answer | 字符串 | 正确选项 |
| stage | 枚举 | IQA / AL / LC / DD / SG / CD |
| category | 枚举 | DR / GLA / CAT / AMD / HTR / PM / RVO / Rare |
| difficulty | 枚举 | Resident / Attending / Specialist |
| confidence | 浮点(模型侧) | 评测时由被测模型自报,非标注字段 |
标注粒度可概括为"影像级标签 → 模板化问答 → 专家审核"。原始数据集提供的是分类标签或分割掩码(如病灶区域),X-PCR 的一层关键工作是把这些异构标签统一到"疾病—解剖—病灶—分级—处置"五元模式(Disease–Anatomy–Lesion–Grading–Management schema),再在每一元下生成问题。这一步是把 51 个来源不同的数据集"翻译"成同一套语言,也是本基准方法论上最有价值的部分。
§3 六级渐进推理链:把门诊流程写成评测协议
3.1 为什么是"链"而不是"六道题"
把诊断拆成六个阶段并不新鲜,很多医学 VQA 数据集都按"识别—诊断—治疗"分档。X-PCR 的不同在于强制依赖:模型必须先回答第一阶段,其答案(不只是图像)作为上下文进入第二阶段,依此类推。这样带来三个单题基准无法测量的量:
- 垂直一致性(Vertical Coherence):下游结论是否逻辑承接上游观察。例如模型在 AL 阶段说"黄斑区未见异常",却在 LC 阶段描述"黄斑囊样水肿",即为前后矛盾。
- 错误传播(Error Propagation):上游错误对下游的放大程度。IQA 判错"这张图合格",后续所有作答都建立在劣质证据上。
- 自一致性(Self-Consistency):同一病例在多次采样下诊断叙述是否稳定,反映模型的"信念漂移"。
这三项构成了"全链完成率"(Chain Completion Rate, CCR)的语义基础:CCR 不是六阶段准确率的平均,而是六阶段全部答对的样本占比。因此它会远低于平均准确率,也更能揭示真实能力。
3.2 六阶段逐级拆解
| 阶段 | 英文 | 核心问题 | 典型题型 | 依赖关系 |
|---|---|---|---|---|
| 1 | IQA | 这张图拍得够不够用于诊断? | 四选一:清晰可用 / 轻度模糊仍可用 / 严重模糊不可用 / 存在伪影 | 门控,无前置依赖 |
| 2 | AL | 视盘、黄斑、血管弓在哪里? | 定位与方位判断、象限选择 | 仅在 IQA 判"可用"后展开 |
| 3 | LC | 病灶是什么形态、什么分布? | 出血/渗出/微血管瘤/玻璃膜疣的形态学描述 | 依赖 AL 的空间定位 |
| 4 | DD | 最可能的诊断是什么? | 鉴别诊断排序、单选最可能 | 依赖 LC 的病灶证据 |
| 5 | SG | 严重到什么程度? | 按国际分级量表定级(如糖网 ICDR 分级) | 依赖 DD 成立后定级 |
| 6 | CD | 下一步怎么办? | 观察 / 转诊 / 抗 VEGF / 激光 / 手术 | 依赖 SG 与临床上下文 |
IQA 的门控性是最容易被低估的设计。真实门诊里,约相当比例的眼底照因屈光介质混浊、瞳孔过小、睫毛遮挡而不能判读。模型若在这里"过于乐观"——把劣质图判成合格——后面所有的自信都是虚的。X-PCR 保留低质量影像作为无标签对抗样本,正是为了让这一步不可回避。
AL 与 LC 的分离也有临床依据。定位是"知道看哪里",表征是"看到什么",两者在住院医师训练中被分开考核:先学会找到视盘与黄斑的相对位置,再学会描述出血的层次与范围。模型在这两步的表现差异,往往反映其视觉编码器偏重全局构图还是局部纹理。
SG 是断崖所在。论文数据显示,从 DD 到 SG 的准确率跌幅是各段中最大的(约 -15.32 个百分点)。这与临床现实吻合:定级要求把形态学观察映射到一套离散量表,且量表随病种不同(糖网用 ICDR,AMD 用 AREDS,青光眼用视野与 RNFL 综合),模型的"知识调用"难度陡增。
CD 是终极考验。它要求的不只是医学知识,还有对处置边界的把握——什么情况该转诊、什么情况可以观察、抗 VEGF 的适应证怎么卡。这一步的题目由眼科医生逐条撰写,因为模板化生成无法产出有临床厚度的决策场景。
3.3 一座具体的阶梯:GPT-5 的六级剖面
论文给出的 GPT-5 分阶段准确率是一条清晰的下降曲线:
| 阶段 | IQA | AL | LC | DD | SG | CD |
|---|---|---|---|---|---|---|
| GPT-5 | 98.90 | 88.05 | 81.02 | 73.11 | 61.65 | 54.71 |
| Gemini-2.5-Pro | 94.58 | 84.05 | 71.15 | 72.48 | 58.07 | 37.35 |
| InternVL-32B | 94.35 | 83.25 | 74.17 | 71.01 | 54.82 | 43.22 |
| Qwen2.5-VL-72B | 93.13 | 81.54 | 72.51 | 67.15 | 53.52 | 47.06 |
四个模型画出的形状高度一致:从接近满分滑到及格线附近,跨度约 44 个百分点(GPT-5)。这不是某个模型的个体缺陷,而是当前 MLLM 的共性结构——感知强、决策弱。
值得注意的是 Gemini-2.5-Pro 在 CD 阶段只有 37.35,低于其 DD 阶段 72.48 近 35 个百分点,跌幅远大于 GPT-5。这说明"总均分接近"的模型在链的末端可能差异巨大,只看平均分的排行榜会掩盖临床可用性的真实差距。
3.4 链式设计的代价与局限
必须诚实指出三点局限:
- 链式评测成本高。每个样本要串行跑六轮推理,21 个模型 × 177,868 条题意味着巨大的推理开销,这也解释了为何论文报告的是零样本、确定性解码条件下的结果,而未大规模做多次采样。
- 强制依赖可能低估能力。若模型在 IQA 偶然判错,后续即便答对也可能被判为链断裂。论文用 CCR 与本阶段准确率(SWA)并列报告,正是为了缓解这一偏差,但读者仍需注意 CCR 的"乘法效应"——六阶段各 90% 准确率,理论上 CCR 上限只有约 53%。
- 阶段划分本身有灰色地带。病灶表征与疾病诊断在临床上常常同时发生(看到硬性渗出即想到糖网),强行分步可能制造人工难度。X-PCR 的处理是把每阶段的问题模板限定在 2–10 个,尽量贴近该阶段的"最小充分描述",但边界模糊客观存在。
§4 跨模态推理:三种任务,一条证据链
4.1 为什么跨模态是眼科的特有难题
同一个病人,同一只眼,同一次就诊可能留下六种影像:外眼照记录前节外观,眼底照记录视网膜表面,FFA 记录血管灌注与渗漏,ICGA 记录脉络膜循环,OCT 记录断面的层间结构,RetCam 记录周边与小儿眼底。这些影像互补但不重合:FFA 上看不到视网膜下的积液厚度,OCT 上看不到灌注延迟,眼底照上看不到脉络膜息肉。
临床上,医生做的正是"把不同设备的信息缝合起来"。举例来说,糖尿病黄斑水肿的诊断链是:CFP 见到黄斑区硬性渗出与微血管瘤 → FFA 确认渗漏点与无灌注区 → OCT 量化中心凹厚度与囊样间隙 → 分级 → 决定抗 VEGF 方案。任何一环缺失,诊断的确定性都会下降。
4.2 三个任务族:从对齐到决策
X-PCR 把跨模态能力拆成三个递进的任务族:
(1)对应识别(Correspondence Identification)
给一对模态,要求指出语义等价的表现。论文的例子是"CFP 上的黄斑隆起 ↔ OCT 上的视网膜下积液(Subretinal Fluid, SRF)"。这测的是空间—语义映射:模型要理解同一病理改变在不同成像原理下的不同外观。
(2)诊断整合(Diagnostic Integration)
给对齐的多模态输入(如 CFP + FFA + OCT),要求综合互补线索给出最可能的诊断。这是临床上最常见的"多模态会诊"场景。
(3)模态选择(Modality Selection)
在诊断不确定时,推荐下一种最有信息量的检查。论文的典型例子是:当 CFP 与 OCT 提示可疑但不足以区分中心性浆液性脉络膜视网膜病变(CSC)与息肉状脉络膜血管病变(PCV)时,下一步应开 ICGA。这测的是"信息价值推理"(value-of-information reasoning),也是最能体现临床经济学与安全性的能力。
三个任务构成流水线:对应识别为诊断整合提供对齐证据,诊断整合的残余不确定性触发模态选择。这与真实门诊的"检查—思考—再检查"循环同构。
4.3 对齐的工艺:疾病中心框架
要把 51 个来源的数据对齐,X-PCR 建了两套机制:
标准化临床表征。每一种疾病由一个统一的"疾病—解剖—病灶—分级—处置"五元模式定义,并配套一张"模态 × 证据矩阵",规定跨模态锚点与术语映射。例如"糖尿病黄斑水肿"这一条目下,会规定 CFP 上的硬性渗出对应 OCT 的视网膜内液体,FFA 上的渗漏对应 OCT 的囊样改变,并统一各级别的术语写法。
时间对齐的多模态整合。同眼、相近时间点的影像在结构层与语义层双向对齐为标准样例(exemplar),再经六级质控保证跨模态的叙述连贯与分级一致。
这套工艺的价值在于它把"对齐"从人工找图变成了可审计的规则。代价是覆盖面受限:只有五元模式能清晰定义的疾病才能进入跨模态任务,罕见病中定义模糊者被排除在外。
4.4 模态贡献分数:谁在真正提供信息
论文定义了一个直观的指标——模态贡献分数(Modality Contribution Score, MCS):移除某一模态后的准确率下降百分比。设计意图很明确:高 MCS 表示该模态在决策中不可替代,低 MCS 表示模型可能根本没在用这条通道。
这一指标在实践中的用途是审计模型是否"看图说话"。已有大量研究表明,多模态模型在医学影像上会退化到依赖文本捷径(例如题干里出现"抗 VEGF"就猜 DME)。若去掉 OCT 后准确率几乎不掉,说明模型对该模态的信息实际未利用——这正是 X-PCR 用 MCS 想要暴露的失效模式。
4.5 "被多余图像干扰"的现象
论文摘要与结果部分都提到一个反直觉的发现:模型可能被额外图像干扰(distracted by additional images)。也就是说,当给模型更多模态而非更少时,部分模型的准确率反而下降。这在临床上不可接受——医生给的信息越全,判断应当越稳。该现象与 §4.4 的 MCS 互为印证:模型尚未学会"筛选与加权",只是把所有图像一把塞进上下文,结果被无关通道稀释。
§5 评测协议与结果:21 个模型的画像
5.1 指标定义
| 指标 | 全称 | 定义 | 方向 |
|---|---|---|---|
| SWA | Stage-Wise Accuracy | 单阶段准确率 | 越高越好 |
| CCR | Chain Completion Rate | 六级全部答对的样本占比 | 越高越好 |
| ESA | Expertise-Stratified Accuracy | 按住院医师/主治/专家三档分层的准确率 | 越高越好 |
| UAS | Uncertainty-Aware Score | 结合正确性与置信度的加权得分 | 越高越好 |
| ECE | Expected Calibration Error | 置信度与经验准确率的分箱偏差 | 越低越好 |
| MCS | Modality Contribution Score | 移除某模态后的准确率下降幅度 | 越高越说明该模态被利用 |
UAS 的计分逻辑值得细看:模型对每题自报 0 到 1 的置信度,回答被分为四类——正确且自信(CC)、正确但不自信(CU)、错误但不自信(IU)、错误且自信(IC)。每类赋一个基础分,再按难度与临床影响加权聚合。这一设计把"过度自信的错误"单列为最差类别,直接对应临床上的高风险行为:把正常误判为病变尚可复核,把病变误判为正常又笃定,才是真事故。
ECE 则是校准的标准度量:把置信度分箱,比较每箱内的平均置信度与经验准确率,加权求平均绝对偏差。ECE 低说明"说几分把握就真有几分对",是高 stakes 场景部署的前置条件。
5.2 总体排名与分层画像
论文 Table 2 的 21 个模型结果(平均准确率 %):
| 模型 | 类别 | Avg | R 级 | A 级 | S 级 | CCR | ECE↓ | UAS |
|---|---|---|---|---|---|---|---|---|
| GPT-5 | 商用 | 76.24 | 80.64 | 76.19 | 62.92 | 24.47 | 0.062 | 74.32 |
| Gemini-2.5-Pro | 商用 | 69.61 | 75.71 | 70.68 | 54.76 | 0.77 | 0.072 | 68.26 |
| GLM-4.5v | 商用 | 67.57 | 77.91 | 69.19 | 47.45 | 0.12 | 0.091 | 65.33 |
| GPT-5-nano | 商用 | 66.90 | 73.23 | 69.28 | 50.75 | 3.46 | 0.076 | 64.63 |
| Gemini-2.5-Flash | 商用 | 65.80 | 73.29 | 65.48 | 49.03 | 0.69 | 0.087 | 66.24 |
| Claude-Haiku-4.5 | 商用 | 61.84 | 65.50 | 59.89 | 50.48 | 0.12 | 0.086 | 60.91 |
| InternVL-32B | 开源 | 70.14 | 77.10 | 70.37 | 52.37 | 0.92 | 0.086 | 64.46 |
| Qwen2.5-VL-72B | 开源 | 69.15 | 74.89 | 70.11 | 55.69 | 13.77 | 0.075 | 66.37 |
| Qwen3-VL-30B-A3B | 开源 | 67.09 | 72.80 | 70.84 | 52.23 | 1.04 | 0.074 | 64.63 |
| Qwen3-VL-8B | 开源 | 64.72 | 72.73 | 61.49 | 48.93 | 0.45 | 0.093 | 61.51 |
| InternVL-8B | 开源 | 64.60 | 70.73 | 67.30 | 48.33 | 0.63 | 0.083 | 62.75 |
| Qwen2.5-VL-7B | 开源 | 65.54 | 74.81 | 68.43 | 45.55 | 0.24 | 0.074 | 63.11 |
| LLaMA3-LLaVA-Next-8B | 开源 | 56.90 | 67.83 | 53.67 | 40.48 | 0.00 | 0.101 | 53.22 |
| ShareGPT4V-7B | 开源 | 49.71 | 67.51 | 50.09 | 29.41 | 0.00 | 0.101 | 48.39 |
| LLaVA-v1.5-13B | 开源 | 48.00 | 55.17 | 51.02 | 35.75 | 0.06 | 0.102 | 45.78 |
| LLaVA-v1.5-7B | 开源 | 48.04 | 66.71 | 49.10 | 24.90 | 0.00 | 0.102 | 45.64 |
| MedGemma-27B-IT | 医学 | 65.21 | 74.19 | 64.63 | 46.14 | 0.06 | 0.087 | 61.74 |
| Lingshu-7B | 医学 | 61.66 | 70.18 | 65.15 | 41.89 | 0.18 | 0.092 | 58.18 |
| HuatuoGPT-Vision-34B | 医学 | 57.37 | 64.44 | 59.31 | 41.95 | 0.21 | 0.103 | 53.88 |
| HuatuoGPT-Vision-7B | 医学 | 51.22 | 54.22 | 55.23 | 39.69 | 0.06 | 0.103 | 48.99 |
| LLaVA-Med-7B | 医学 | 39.60 | 44.01 | 40.79 | 27.48 | 0.00 | 0.096 | 37.05 |
人类专家基线:
| 组别 | 人数 | Avg | R 级 | A 级 | S 级 | CCR | UAS |
|---|---|---|---|---|---|---|---|
| 住院医师 | 23 | 67.69 | 82.43 | 71.34 | 48.17 | 8.39 | 63.78 |
| 主治医师 | 10 | 79.91 | 92.18 | 78.76 | 68.27 | 41.24 | 77.16 |
| 专科专家 | 8 | 82.85 | 95.88 | 91.28 | 83.63 | 62.48 | 90.63 |
从表里能读出四件事:
第一,没有任何模型跨过主治线。 最强的 GPT-5 平均 76.24,仍未达到主治的 79.91。它勉强超过了住院医师的 67.69,但那是因为住院医师在 S 级(专家级难题)只有 48.17,被高分段拉低。
第二,CCR 是分水岭,而非平均分。 GPT-5 的 CCR 是 24.47,Qwen2.5-VL-72B 是 13.77,其余绝大多数模型低于 1。一旦要求"六步全对",模型的真实能力立刻现形。而专家的 CCR 是 62.48,是 GPT-5 的 2.5 倍。这个差距比平均分的差距(6.6 个百分点)大一个数量级——平均分会说谎,链完成率不会。
第三,医学专用模型未形成优势。 MedGemma-27B-IT 的 65.21 低于同量级通用模型 InternVL-32B(70.14)与 Qwen2.5-VL-72B(69.15);HuatuoGPT-Vision-34B 仅 57.37。这支持论文的判断:领域知识灌注并不自动带来渐进推理能力。
第四,校准与准确率大体同向,但有例外。 GPT-5 的 ECE 最低(0.062),UAS 最高(74.32),属于"又准又稳"。GLM-4.5v 平均 67.57 高于 Gemini-2.5-Flash 的 65.80,但 ECE 0.091 高于后者 0.087——即更准却更不校准,这类模型在临床上需要额外的人工复核阈值。
5.3 难度分层揭示的结构性短板
把三档难度拆开看,规律非常一致:所有模型的准确率随难度单调下降,且 S 级跌幅最陡。
以 GPT-5 为例:R 级 80.64、A 级 76.19、S 级 62.92,首尾差 17.72。专家则是 95.88 → 91.28 → 83.63,首尾差 12.25。模型的跌幅比专家大,说明它在专家级推理上缺的不仅是知识,还有对复杂病例的整体把握。
更有意思的是住院医师组:R 级高达 82.43,甚至略高于 GPT-5 的 80.64;但 S 级只有 48.17。这说明"基础识别"这件事,人机已经持平甚至人略优,而差距完全集中在高阶推理。对 AI 落地而言,这是一个清醒的结论:把模型用在"筛查与初判"是合理的,用在"专家级疑难会诊"则风险极高。
5.4 模态维度的失败画像
论文明确指出的弱项是 OCT、FFA 与 ICGA。三者有共同特点:三维或时序信息的二维投影。OCT 是断层扫描,单张 B-scan 只覆盖一个切面,判断需要上下若干层联合看;FFA 是动态过程(动脉期、静脉期、晚期),单帧看不出渗漏的演变;ICGA 更依赖对脉络膜血管形态的空间想象。
这正是通用视觉编码器的软肋:它们擅长"物体在哪、是什么",不擅长"结构在三维里怎么排布、随时间怎么变"。相比之下,CFP 与 EP 是平面的、静态的、构图规则的,模型容易吃透。
这也解释了为什么"被多余图像干扰"现象会出现:当模型能力不足以从 OCT 序列中提取层间关系时,额外的扫描帧只是噪声。
§6 获取与许可:一道半开的门
6.1 三条入口
| 入口 | 地址 | 内容 | 门槛 |
|---|---|---|---|
| HuggingFace 数据集 | Fantasy666/X-PCR |
五模态 Parquet 分片(CFP 5 片、OCT 2 片、FFA/RetCam/外眼各 1 片),约 3.5 GB | 无需登录、非 gated |
| GitHub 代码 | CVI-SZU/X-PCR |
评测脚本 evaluate.py、指标脚本 compute_metrics.py、requirements |
公开 |
| 论文 | arXiv:2604.20350 | 方法、结果、附录 | 公开 |
下载方式两种,任选其一:
# 方式一:git lfs
git lfs install
git clone https://huggingface.co/datasets/Fantasy666/X-PCR
# 方式二:datasets 库(推荐,自动缓存与切分)
from datasets import load_dataset
ds = load_dataset("Fantasy666/X-PCR", "cfp")
需要说明的是,国内网络环境访问 HuggingFace 主站常被限速或阻断,实践中的可行路径是设置镜像端点后走 hf-mirror.com,或直接以 git clone https://hf-mirror.com/datasets/Fantasy666/X-PCR 拉取。镜像端点的数据与主站一致(同一 commit 哈希),不必担心内容差异。
6.2 许可:一张写得很谨慎的声明
GitHub README 的 License 段落原文意为:数据集仅限学术研究用途(academic research purposes only),使用前请阅读数据集许可与使用协议。HuggingFace 侧未挂 SPDX 许可标签(数据集元数据中无 license: 字段序列),第三方目录站对许可的规范化描述为"未知或不明,请勿推定已获授权"。
这一状态对使用者意味着三件事:
- 学术研究可以放心用。论文、课程、方法对比等非商业场景没有障碍。
- 商业用途无明确授权。即使影像本身来自 CC BY 类的上游数据集,重组后的 VQA 标注、模板体系与对齐结构均为团队新增,其授权需单独确认。
- 上游许可需逐源回溯。51 个数据集各有各的条款(有 CC BY-NC,有自定义研究协议,有需签署 DUA 的),X-PCR 未提供"逐源许可映射表"。若你的应用场景敏感(如医疗器械注册),必须自行建立来源—许可对照。
院内 58 例的合规路径是清晰的:IRB 批准 + 知情同意 + 研究用途,这也是唯一不涉及上游继承的部分。
6.3 版本与时间线
| 日期 | 事件 | 证据 |
|---|---|---|
| 2026-05-15 | HuggingFace 仓库创建 | HF API createdAt |
| 2026-05-23 | HF 仓库最后修改(commit 06a318f) | HF API lastModified |
| 2026-05-28 | 论文发布、数据集发布(README News 双条) | GitHub README |
| 2026-05-28 | 第三方目录站记为首次发布日 | EyeDataHub 目录条目 |
| 2026-06-20 | 评估代码"即将发布"(News 措辞) | GitHub README |
注意时间线上的一个小矛盾:HF 仓库的创建与最后修改日期(5 月 15 日、5 月 23 日)早于 README 宣称的发布日(5 月 28 日)。合理解释是仓库先建后公开,News 记录的是对外宣布日。引用时建议写"2026 年 5 月发布",避免精确到日引发争议(坑 5)。
另一个待核点:News 里 “Evaluation code will be released soon”(2026-06-20)与仓库中已出现 evaluate.py 的 Quick Start 描述存在张力。可能的情况是代码已上传但未正式宣布,或 README 的 Quick Start 是前瞻性写法。下载后请先核对 evaluate.py 是否实际存在,不要按 README 直接跑(坑 6)。
6.4 AI-Ready 评估
| 维度 | 评分(1-10) | 依据 |
|---|---|---|
| D 可发现性 | 8 | arXiv + GitHub + HF 三处可索引;论文标题关键词明确;但"X-PCR"缩写与 PCR 检测易混淆,检索需加 ophthalmology |
| A 可获取性 | 8 | HF 公开直链、非 gated、Parquet 标准格式;扣分项为 ICGA 子集与院内 58 例未见独立公开入口 |
| I 可互操作 | 7 | Parquet + HF datasets 生态良好;但字段 schema 未在卡片中显式声明,需自行探查;无 DICOM 转换 |
| M 元数据质量 | 7 | 论文表格完备、指标定义清晰;扣分项为分模态占比不全(仅 OCT/CFP 有百分比)、51 源清单未在正文列出 |
| S 可持续性 | 6 | 依赖个人账号(Fantasy666)托管,非机构组织账号;无版本标签(tag/revision)供长期锁定 |
| 综合评级 | 7.2/10(中上) | 开放度优于同类基准;元数据完整度与长期托管稳定性是主要短板 |
§7 生态与定位:它在眼科 AI 版图里的坐标
7.1 与单模态眼科数据集的代际差
眼科公开数据的演化大致可分三代:
第一代:分类数据集。 代表是 EyePACS 与 APTOS-2019(糖网五级分类)、ODIR-5K(眼科多病种)、Messidor(DR 分级)、OCT2017(Kermany 的 OCT 四分类)。它们的共同点是"一图一标签",推动了 CNN 时代的眼科 AI 爆发,但也固化了"分类即智能"的认知。
第二代:病灶级与分割数据集。 代表是 e-ophtha(微动脉瘤与硬性渗出像素标注)、DeepDRiD(图像质量与 DR 分级双任务)、IDRiD、OIMHS(OCT 分层分割)。这一代开始关注"病灶在哪",但仍以单模态为主。
第三代:推理与多模态基准。 X-PCR 属于这一代,与 MedFrameQA(视频多帧问答)同属"过程评测"路线。它们的共同主张是:医学 AI 的瓶颈已从感知转向推理。
X-PCR 的特殊之处在于它同时具备第三代的两个特征:多模态(六种设备)与多阶段(六级链条)。多数同类基准只占其一。
7.2 与通用医学 VQA 基准的差异
| 维度 | VQA-Med / SLAKE / PathVQA | MedFrameQA | X-PCR |
|---|---|---|---|
| 模态数 | 1–2 | 视频单模态 | 6 |
| 是否分阶段 | 否(单题) | 否 | 是(6 级,强制依赖) |
| 是否有跨模态对齐标注 | 否 | 否 | 是(同眼同期) |
| 是否有难度分层 | 否 | 否 | 是(R/A/S 三档) |
| 是否测置信校准 | 否 | 否 | 是(UAS/ECE) |
| 是否有全链完成率 | 否 | 否 | 是(CCR) |
| 影像数 | 千至万级 | 视频级 | 26,415 |
| 问答数 | 千至万级 | 千级 | 177,868 |
这张表解释了为什么 X-PCR 的结论比"某模型在某数据集上刷到 90%“更有信息量:它不只问"对不对”,还问"六步是否都对"、“错在哪一步”、“错得自不自信”、“有没有真的用到第二张图”。
7.3 与基础模型的谱系关系
论文在相关工作里把眼科 MLLM 的谱系梳理为三条线:
- 通用视觉语言模型:LLaVA、BLIP-3、Flamingo 奠定的"冻结 LLM + 视觉编码器"范式,以及 GPT-5、LLaMA-4 等前沿通用模型。X-PCR 的评测集里,商用与开源通用模型占 16/21。
- 医学专用 MLLM:LLaVA-Med、Med-Flamingo、Med-PaLM M、华佗 GPT、灵枢(Lingshu)、MedGemma,通过生物医学语料继续预训练或多模态指令微调获得领域知识。评测里占 5/21。
- 眼科基础模型:RETFound 以 160 万张视网膜图像自监督预训练,在多项眼科任务上展示了强迁移性。X-PCR 未把 RETFound 纳入评测(它是分类/分割骨干而非生成式 MLLM),但其"领域预训练有效"的结论与 X-PCR"领域知识不足以支撑推理"的发现形成有趣张力——预训练能提升表征,但不自动带来多步推理。
7.4 对下游的启示
对模型开发者:CCR 是最该盯的指标。若你的模型平均分 70 但 CCR 接近 0,说明它"每题都会一点,但没有一例能走完全程",这在临床上等于不可用。改进方向不在扩大参数量,而在训练模型维持长链条一致性(如显式的中间状态记录与自校验)。
对临床研究者:S 级分层结果提供了一个现实参照——AI 在住院医师级任务上已有竞争力,在专家级仍有 20 个百分点以上差距。这支持"AI 辅助初筛 + 专家终审"的分工,而非"AI 替代专家"。
对数据集建设者:X-PCR 的六级链是可以迁移的模板。皮肤病、病理、影像科都有类似的"质量—定位—表征—诊断—分级—处置"结构,把它写成协议比再造一个分类数据集更有价值。
7.5 库内可互链条目
按标签相关度与主题邻近度,建议在发布后与以下条目建立互链(rid 为当前在架实查值,最终以主会话入库后统一回填为准):
- oct2017(rid 311):OCT 四分类,是本基准 OCT 子集的上游来源之一(
kermany_oct在第三方目录站的派生关系中被点名)。 - odir(rid 63):ODIR-5K 多病种眼底集,与 X-PCR 的 CFP 多病种设计同源。
- eyepacs(rid 58):糖网分类的经典上游。
- aptos-2019(rid 61):糖网分级上游。
- deepdrid(rid 211):图像质量 + DR 分级双任务,与 X-PCR 的 IQA 阶段直接呼应。
- e-ophtha(rid 231):病灶级标注,对应 X-PCR 的 LC 阶段。
- oimhs(rid 745):OCT 分层分割,可支撑 OCT 阶段的空间理解讨论。
- medframeqa(rid 1066):同为"过程化评测"路线,方法学可互参。
- slake(rid 250)与 vqa-med(rid 280):医学 VQA 的经典参照系。
- mmedc(rid 1126):多语言医学语料,若做中文眼科 MLLM 可作预训练补充。
§8 工程复现:从下载到出分
8.1 环境搭建
git clone https://github.com/CVI-SZU/X-PCR.git
cd X-PCR
conda create -n xpcr python=3.10 -y
conda activate xpcr
pip install -r requirements.txt
Python 3.10 是 README 指定版本,主要受 datasets、transformers 与图像解码库的兼容性约束。
8.2 跑评测
python evaluate.py \
--data_path ./data/test.json \
--image_root ./data/images \
--model_name your_model_name \
--output_path ./outputs/predictions.json
8.3 算指标
python compute_metrics.py \
--prediction_path ./outputs/predictions.json \
--annotation_path ./data/test.json
输出应包含 SWA、CCR、ESA、UAS、ECE 五组指标;若你要复现模态贡献分数,需额外做留一模态(leave-one-modality-out)的对照实验,脚本未内置一键开关,需自行改写数据加载逻辑。
8.4 自己加载 HF 分片的骨架
from datasets import load_dataset
for subset in ["cfp", "oct", "ffa", "retcam", "external_eye"]:
try:
ds = load_dataset("Fantasy666/X-PCR", subset)
print(subset, {k: len(v) for k, v in ds.items()})
except Exception as e:
print(subset, "skip:", e)
先用这段代码把实际行数与字段名打出来,再决定是否按 README 的 train/val/test 结构组织。不要假设字段名与论文表格一致——HF 卡片未声明 schema,字段名需实测(坑 3)。
8.5 评测时的四个工程注意点
- 图像分辨率。OCT 与 CFP 的原始分辨率差异极大,统一缩放到模型输入尺寸时,OCT 的层间细节最易丢失。建议对 OCT 单独做切块或提高分辨率。
- 多图输入的 token 预算。跨模态任务一次要给多张图,若模型的视觉 token 上限小,会被迫降采样,导致"给得越多越差"。
- 确定性解码。论文报告的是零样本、确定性(贪心)解码,复现时务必关掉 temperature 随机性,否则 CCR 波动很大。
- 置信度提取。UAS 与 ECE 依赖模型自报置信度,不同模型的"信心表述"格式不同(有的给百分比,有的给文字),需要统一的解析层,否则指标不可比。
§9 避坑清单:九个已踩过的坑
坑 1:把 177,868 当成 HF 下载完整性的校验值。
HF 分片行数与 VQA 条数不是同一量纲。第三方目录站在 commit 06a318f 上记到 18,735 行,而论文写 177,868 条问答。若你用 len(ds) 去比对 177,868,会误判"下载残缺"。正确做法:以实际 DataFrame 的字段结构判断一条记录承载几道题。
坑 2:按 GitHub README 的目录结构写死路径。
README 给的 images/{CFP,OCT,FFA,ICGA,EP,RetCam}/ 与 annotations/{train,val,test}.json 是完整发布版的约定;HF 镜像实际是 cfp/、oct/、ffa/、retcam/、external_eye/ 五个小写目录,全是 test-0000x 分片,且未见 ICGA 目录。按 README 写的代码会直接 FileNotFound。
坑 3:假设字段名。
HF 数据集卡未声明 schema。stage、difficulty、answer 这些字段是否叫这个名字、难度是字符串还是整数,都必须先用 ds["test"].features 打出来确认。
坑 4:拿"52 种病"当类别数去做分类头。
52 是疾病种类总数,但 VQA 是问答而非分类;且八类中"罕见病"是合并类,内部不均衡。做分类实验时应使用你实际数据中的 category 取值,而非论文的 52。
坑 5:引用精确发布日。
HF 仓库创建于 2026-05-15、最后修改 2026-05-23,README News 写 2026-05-28 发布。三个日期不一致,写"2026 年 5 月发布"最稳妥。
坑 6:假定 evaluate.py 一定存在且可跑。
README News 在 2026-06-20 仍写"评估代码即将发布",而 Quick Start 已给出运行命令。下载后先 ls 确认脚本存在,并检查 requirements.txt 是否齐全。
坑 7:把许可当成 CC BY 直接用。
"仅限学术研究用途"是明确限制。即便上游某个数据集是 CC BY,重组后的标注与 VQA 结构属新增作品,商用需单独获得授权,且要逐源回溯。
坑 8:用平均准确率做模型选型。
GPT-5 平均 76.24 与主治 79.91 只差 3.67 个百分点,看起来"接近主治";但 CCR(24.47 vs 41.24)差 16.77,S 级准确率(62.92 vs 68.27)也落后。选型看 CCR 与 S 级,不要看平均分。
坑 9:认为"多给几张图一定更好"。
论文报告了模型被额外图像干扰的现象。做多模态实验时,务必做留一模态消融,确认每一路输入都在贡献信息,而不是充当噪声。
§10 结论与判断
10.1 三句话总结
- X-PCR 把眼科诊断拆成六级因果链与三种跨模态任务,用 26,415 张影像、177,868 条 VQA 和 41 位医生基线,第一次系统测量了多模态大模型"能否走完整个诊断流程"。
- 结论是清醒的:最好的 GPT-5 在图像质量评估上已达 98.90%,到临床决策只剩 54.71%,六级全对率 24.47%,不足专科专家(62.48%)的一半。
- 它最大的方法论贡献不是数据规模,而是把"过程"变成可计分的对象——CCR、UAS、ECE、MCS 四个指标分别对应一致性、校准、模态利用,都是单题基准测不出来的维度。
10.2 适合谁
- 做多模态医学模型评测、需要"过程指标"而非"分类准确率"的研究团队。
- 建设眼科临床决策支持系统、需要量化模型在分级与处置上的短板的产品团队。
- 研究基准方法学、关注"如何设计可诊断失效模式的评测协议"的学者。
- 需要中文眼科 AI 综述素材的写作者(八类病种与六模态的划分可直接引用)。
10.3 不适合谁
- 想要大规模训练数据做预训练的团队——它是评测集,不是训练语料,且许可限学术。
- 需要原始 DICOM 与患者级随访的临床研究——数据已脱敏重组,无纵向信息。
- 需要商业授权直接落地产品的团队——许可未开放商用,需单独谈判。
10.4 30 秒决策卡
| 你的需求 | 建议 |
|---|---|
| 评测自家眼科 MLLM | 直接用,跑 CCR 与 S 级准确率 |
| 复现 GPT-5 的 76.24 | 需要商用 API,且解码策略要固定 |
| 训练一个眼科模型 | 用上游 51 个数据集,不要用 VQA 做训练目标 |
| 做多模态对齐研究 | 重点用院内 58 例的对齐标注(需确认公开性) |
| 商用落地 | 先解决许可,再谈技术 |
FAQ(高频问答 30 问)
A. 基础认知
1. X-PCR 的 X 是什么?
Cross-modality(跨模态)。PCR 是 Progressive Clinical Reasoning(渐进临床推理)。合起来是"跨模态渐进临床推理",不是聚合酶链反应。
2. 它属于哪个学科?
眼科(ophthalmology)。八类病种全部为眼病,六种设备全部为眼科影像设备。注意与同批次皮肤科条目区分,两者缩写相近但域完全不同。
3. 论文发表在哪?
arXiv 编号 2604.20350;GitHub 引用条目标注为 CVPR 2026(IEEE/CVF 计算机视觉与模式识别会议)。
4. 谁做的?
深圳大学计算机与软件学院 CVI 实验室。作者为 Wang Gui、Zhong Zehao、Zhou YongSong、Li Yudong、Wu Ende、Cheah Wooi Ping、Qu Rong、Ren Jianfeng、Shen Linlin。资助包括国家自然科学基金(62576216)、宁波市科技局项目、广东省重点实验室与深圳大学智能计算中心。
5. 它和"医疗大模型评测"有什么不同?
多数医疗评测是"问答准确率",X-PCR 是"流程一致性"。它要求模型在六步上保持逻辑连贯,并测量错误如何从上游传导到下游。
B. 数据与获取
6. 数据量到底多少?
26,415 张影像、177,868 条 VQA、51 个上游数据集、58 例院内病例、52 种病、8 个疾病大类、6 种模态。这几组数字量纲不同,不可相加。
7. 在哪下载?
HuggingFace Fantasy666/X-PCR,约 3.5 GB,Parquet 格式。国内可走 hf-mirror 镜像。
8. 需要申请吗?
不需要,仓库非 gated。但许可限制为学术研究用途,商用需另行授权。
9. 有 ICGA 吗?
论文明确将 ICGA 列为六模态之一,但 HF 公开目录中未见独立 icga/ 子集,可能并入 FFA 或尚未公开。以实际下载清单为准。
10. 院内 58 例公开吗?
未见独立发布入口。论文说明其采集经 IRB 批准与知情同意,但未提供下载链接。若研究依赖这部分,需联系作者。
11. 有中文吗?
VQA 主体为英文(医学标准术语),未提供中文版本。中文眼科模型评测需自行翻译并重新校验。
12. 有没有训练集?
HF 分片全部以 test- 命名,未见 train/val 分片。若要做微调,需自行划分或使用上游原始数据集。
C. 设计与指标
13. 六级真的强制依赖吗?
是。上游作答作为下游上下文输入,这是与"分阶段独立打分"的根本区别。
14. CCR 怎么算?
六阶段全部答对的样本数除以总样本数。因此它是乘法效应的结果,会显著低于平均准确率。
15. UAS 惩罚什么?
惩罚"错误且自信"(IC 象限)。正确但不确定的扣分较轻,错误但自信的扣分最重。
16. ECE 多少算好?
越低越好。GPT-5 的 0.062 是本批最低;0.10 以上(如 LLaVA 系列)说明置信度与实际准确率脱节明显。
17. MCS 是什么?
模态贡献分数,移除某模态后的准确率下降百分比。用于审计模型是否真的在用每一个通道。
18. 难度三档怎么定?
住院医师级为基本识别与定位,主治级为结合上下文的诊断与解读,专家级为亚专科推理与决策。由眼科医生逐题标注。
D. 结果解读
19. GPT-5 真的接近主治了吗?
平均分接近(76.24 vs 79.91),但 CCR 只有 24.47(主治 41.24),专家级准确率 62.92(主治 68.27)。结论是"接近但不合格"。
20. 为什么医学专用模型反而弱?
领域知识灌注提升的是"知道什么",渐进推理需要"如何组织推理"。论文的结论是领域知识本身不足以支撑多步推理。
21. 为什么 OCT 和 FFA 最难?
它们承载三维或时序信息,单帧无法完整表达,通用视觉编码器缺乏对层间关系与灌注动态的建模能力。
22. "被多余图像干扰"是什么现象?
给模型更多模态输入时,部分模型准确率下降。说明其未能筛选与加权,额外通道成了噪声。
23. 住院医师为什么在 R 级上超过 GPT-5?
R 级是基础识别,人类视觉系统在规则图像上的判断仍具优势(82.43 vs 80.64);差距出现在 S 级(48.17 vs 62.92,此处模型反超,说明住院医师的经验尚不足以应对专家级题目)。
24. 41 位医生够做基线吗?
分层为 23/10/8,专家档仅 8 人,统计功效有限。结论方向可信,精确数值应谨慎外推。
E. 工程与实践
25. 复现需要多大算力?
取决于被测模型。本地 7B 级模型单卡可跑;GPT-5 等商用模型需 API。177,868 条题 × 六级串行,推理成本高,建议先抽样。
26. 能只跑某一级吗?
技术上可以,但会破坏因果依赖,只能得到 SWA,无法得到 CCR。若目的是快速摸底,可先跑 IQA 与 CD 两端。
27. 输出格式怎么定?
evaluate.py 期望 predictions.json,字段需与 test.json 的 id 对应。具体结构请以仓库脚本为准,未见文档详细说明。
28. 图像要不要预处理?
建议按模态分别处理:CFP 保持原始宽高比,OCT 保留层结构(避免强压缩),RetCam 注意广角畸变。
29. 如何做留一模态实验?
需要自行构造只含部分模态的输入,复用同一批题目,比较准确率差。脚本未内置该开关。
30. 结果可以写进论文吗?
可以。引用时请同时标注论文(arXiv:2604.20350)与数据集(HF Fantasy666/X-PCR),并说明所用子集与解码设置。
事实清单(硬事实 36 条)
| 编号 | 事实 | 来源 |
|---|---|---|
| F01 | 影像总数 26,415 张 | 论文摘要 / GitHub README |
| F02 | VQA 总数 177,868 条 | 同上 |
| F03 | 上游公开数据集 51 个 | 同上 |
| F04 | 覆盖 52 种眼科疾病 | 同上 |
| F05 | 疾病大类 8 类 | 论文方法节 |
| F06 | 影像模态 6 种(EP/CFP/FFA/ICGA/OCT/RetCam) | 论文与 README |
| F07 | 院内多模态病例 58 例 | 论文方法节 |
| F08 | OCT 占 VQA 量 31% | 论文结果节 |
| F09 | CFP 占 VQA 量 26% | 同上 |
| F10 | 六级链为 IQA→AL→LC→DD→SG→CD | 论文方法节 |
| F11 | 每阶段 2–10 个问题模板 | 论文方法节 |
| F12 | 前五级由 GPT-5 生成、Gemini-2.5-Pro 审核 | 论文方法节 |
| F13 | 第六级由眼科医生手工撰写 | 同上 |
| F14 | 20% 题目经第二位眼科医生独立复核 | 同上 |
| F15 | 一致性阈值 κ=0.8,低于则仲裁 | 同上 |
| F16 | 评测模型 21 个(6 商用 + 10 开源 + 5 医学) | 论文结果节 |
| F17 | 人类基线 41 人(23 住院 + 10 主治 + 8 专家) | 论文 Table 2 |
| F18 | GPT-5 平均准确率 76.24% | 论文 Table 2 |
| F19 | GPT-5 CCR 24.47% | 同上 |
| F20 | GPT-5 IQA 98.90%,CD 54.71% | 论文分阶段表 |
| F21 | 专家平均 82.85%,CCR 62.48% | 论文 Table 2 |
| F22 | 主治平均 79.91%,CCR 41.24% | 同上 |
| F23 | 住院医师平均 67.69%,CCR 8.39% | 同上 |
| F24 | DD→SG 跌幅最大,约 15.32 个百分点 | 论文结果节 |
| F25 | 无模型超过主治平均分 | 由 Table 2 推得 |
| F26 | GPT-5 ECE 0.062 为最低 | 论文 Table 2 |
| F27 | 三个跨模态任务族:对应识别、诊断整合、模态选择 | 论文方法节 |
| F28 | 五元模式:疾病—解剖—病灶—分级—处置 | 同上 |
| F29 | HF 数据集名 Fantasy666/X-PCR |
HF API 实查 |
| F30 | HF 仓库 commit 06a318fd852230326386e3c6514d8a11b7a6b4af | HF API 实查 |
| F31 | HF 存储量 3,515,462,776 字节(约 3.5 GB) | HF API usedStorage |
| F32 | HF 顶层目录 5 个(cfp/oct/ffa/retcam/external_eye) | HF API 文件树 |
| F33 | CFP 5 片、OCT 2 片、其余各 1 片 | HF API 文件树 |
| F34 | 许可为仅限学术研究用途,未给 SPDX | GitHub README |
| F35 | 论文资助 NSFC 62576216 等 | 论文致谢 |
| F36 | 代码仓库 CVI-SZU/X-PCR |
GitHub |
术语表(30 条)
| 术语 | 英文/缩写 | 释义 |
|---|---|---|
| 跨模态渐进临床推理 | X-PCR | 本基准名称,强调跨设备证据整合与分步推理 |
| 多模态大模型 | MLLM | 可同时处理图像与文本的大规模模型 |
| 彩色眼底照相 | CFP | 眼底后极部的彩色平面成像,筛查首选 |
| 荧光素眼底血管造影 | FFA | 静脉注射荧光素后连续拍摄,观察血管灌注与渗漏 |
| 吲哚菁绿血管造影 | ICGA | 观察脉络膜循环,用于 PCV 等 |
| 光学相干断层扫描 | OCT | 断层成像,显示视网膜层间结构 |
| 广域小儿眼底成像 | RetCam | 接触式广角成像,用于新生儿眼底筛查 |
| 外眼照相 | EP | 眼睑、结膜、角膜等前节外观成像 |
| 图像质量评估 | IQA | 六级链第一级,判断影像可否用于诊断 |
| 解剖定位 | AL | 第二级,识别视盘、黄斑等结构位置 |
| 病灶表征 | LC | 第三级,描述病灶形态与分布 |
| 疾病诊断 | DD | 第四级,给出最可能诊断 |
| 严重度分级 | SG | 第五级,按量表定级 |
| 临床决策 | CD | 第六级,给出处置建议 |
| 分阶段准确率 | SWA | 每一级单独的正确率 |
| 全链完成率 | CCR | 六级全对的样本占比 |
| 难度分层准确率 | ESA | 按 R/A/S 三档分别统计的准确率 |
| 不确定性感知分数 | UAS | 结合正确性与置信度的加权得分 |
| 期望校准误差 | ECE | 置信度与经验准确率的加权偏差 |
| 模态贡献分数 | MCS | 移除某模态后准确率下降幅度 |
| 住院医师级 | Resident ® | 基础识别与定位难度 |
| 主治级 | Attending (A) | 结合上下文的诊断解读 |
| 年龄相关性黄斑变性 | AMD | 黄斑区退行性病变 |
| 糖尿病视网膜病变 | DR | 糖尿病微血管并发症 |
| 病理性近视 | PM | 高度近视伴眼底退行性改变 |
| 视网膜静脉阻塞 | RVO | 视网膜静脉回流受阻 |
| 高血压视网膜病变 | HTR | 高血压导致的眼底血管改变 |
| 息肉状脉络膜血管病变 | PCV | 脉络膜异常血管网伴息肉,需 ICGA 确诊 |
| 抗血管内皮生长因子 | anti-VEGF | 治疗黄斑水肿与新生血管的主流药物 |
| AI-Ready | AI-Ready | 数据可直接被模型读取、切分与评测的成熟度 |
附录
附录 A:条目信息速查卡
| 项 | 值 |
|---|---|
| slug | x-pcr |
| 官方名 | X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis |
| 论文 | arXiv:2604.20350 / CVPR 2026 |
| 代码 | https://github.com/CVI-SZU/X-PCR |
| 数据 | https://huggingface.co/datasets/Fantasy666/X-PCR |
| 模态 | EP / CFP / FFA / ICGA / OCT / RetCam |
| 规模 | 26,415 图 / 177,868 VQA |
| 许可 | 学术研究用途 |
| 抓取时点 | 2026-10-17 |
| 库内互链 | oct2017(311)/odir(63)/eyepacs(58)/aptos-2019(61)/deepdrid(211)/e-ophtha(231)/oimhs(745)/medframeqa(1066)/slake(250)/vqa-med(280)/mmedc(1126) |
附录 B:DAIMS 评估全表
| 维度 | 评分(1-10) | 依据 |
|---|---|---|
| D 可发现性 | 8 | arXiv/GitHub/HF 三处可索引;缩写易与 PCR 检测混淆,需加限定词 |
| A 可获取性 | 8 | HF 直链非 gated;ICGA 与院内 58 例无独立入口 |
| I 可互操作 | 7 | Parquet + HF 生态;无显式 schema 声明,无 DICOM 通道 |
| M 元数据质量 | 7 | 论文表格完备;模态占比仅两项、51 源清单缺失 |
| S 可持续性 | 6 | 个人账号托管,无版本标签 |
| 综合评级 | 7.2/10(中上) | 开放度优于同类;稳定性与文档完整度是短板 |
附录 C:逐项证据链自证
| 关键数字 | 来源 | 位置 |
|---|---|---|
| 26,415 / 177,868 / 51 / 52 | 论文摘要;GitHub README;HF 卡片 | 三处一致 |
| OCT 31% / CFP 26% | 论文结果节 | 正文 |
| 六级定义 | 论文方法节;GitHub Benchmark Design | 两处一致 |
| GPT-5 76.24 / CCR 24.47 | 论文 Table 2 | 结果表 |
| 专家 82.85 / CCR 62.48 | 论文 Table 2 | 结果表 |
| 41 位医生分层 | 论文 Table 2 | 结果表 |
| HF 3.5 GB / 5 目录 | HF API 实查 | api/datasets |
| commit 06a318f | HF API sha 字段 |
实查 |
| 许可表述 | GitHub README License 段 | 仓库 |
| 资助编号 62576216 | 论文致谢 | 文末 |
附录 D:数据获取决策树
你需要什么?
├── 只是评测一个现成模型
│ └── HF 下载五模态 parquet → 按 README 跑 evaluate.py
├── 要复现论文的 CCR
│ └── HF 下载 → 固定贪心解码 → 六级串行 → compute_metrics.py
├── 要做跨模态实验
│ ├── 有 ICGA 需求 → 先核对 HF 是否有 icga 子集,否则联系作者
│ └── 只需 CFP+OCT → cfp/ 与 oct/ 两个目录足够
├── 要做院内对齐研究
│ └── 58 例未见公开入口 → 邮件联系通讯作者,说明研究用途
└── 要商用
└── 许可仅学术 → 需逐源回溯 51 个上游许可 → 单独洽谈
附录 E:六级链的题目模板设计要点
| 阶段 | 模板数 | 干扰项来源 | 生成方式 | 人工介入 |
|---|---|---|---|---|
| IQA | 2–10 | 质量等级形容词 | GPT-5 | Gemini 审核 |
| AL | 2–10 | 解剖结构名词 | GPT-5 | Gemini 审核 |
| LC | 2–10 | 病灶形态名词 | GPT-5 | Gemini 审核 |
| DD | 2–10 | 同系统疾病名 | GPT-5 | Gemini 审核 |
| SG | 2–10 | 分级刻度 | GPT-5 | Gemini 审核 |
| CD | 专家撰写 | 处置方案 | 眼科医生 | 主治复核 |
设计上的巧思在于干扰项的采样规则:从同属性名词池抽取,而非随机词。例如 LC 阶段的干扰项一定是"另一种病灶形态"(如把"点状出血"与"火焰状出血"并列),这样模型不能靠"这个词看起来不像病灶"蒙对,必须真正理解形态差异。
附录 F:UAS 四象限计分示意
| 象限 | 条件 | 临床含义 | 计分倾向 |
|---|---|---|---|
| CC | 答对且自信 | 可靠判断 | 最高分 |
| CU | 答对但不自信 | 正确但犹豫,可被专家确认 | 中高分 |
| IU | 答错但不自信 | 犹豫的错误,可被复核拦截 | 中低分 |
| IC | 答错且自信 | 高危误判,最易造成临床事故 | 最低分 |
这一设计的临床逻辑很清楚:犹豫的错误可以补救,笃定的错误不能。因此 IC 象限的惩罚权重最高,这正是"不确定性感知"的含义。
附录 G:评测流程复现骨架(伪代码)
stages = ["IQA", "AL", "LC", "DD", "SG", "CD"]
results = {}
for sample in dataset:
context = sample["clinical_vignette"] if "clinical_vignette" in sample else ""
history = ""
stage_ok = []
for st in stages:
q = build_question(sample, st, history)
pred, conf = model.predict(images=sample["images"], question=q, context=context)
ok = (pred == sample["answers"][st])
stage_ok.append(ok)
history += f"\n[{st}] 你的回答:{pred}"
results.setdefault(st, []).append((ok, conf))
results.setdefault("CCR", []).append(all(stage_ok))
要点有三:一是 history 必须累积,否则失去链式依赖;二是 images 在跨模态任务中是一组而非一张;三是 conf 必须与 pred 同步记录,否则无法算 UAS。
附录 H:与同批次皮肤科条目的区分说明
本批次另有一条形近条目 dermverse-x-pcr,属皮肤科域。二者缩写字面相近(都含 “PCR”),但:
| 维度 | x-pcr(本条) | dermverse-x-pcr |
|---|---|---|
| 学科 | 眼科 | 皮肤科 |
| 模态 | CFP/FFA/ICGA/OCT/RetCam/EP | 皮肤病影像 |
| 主要任务 | 六级渐进推理 + 跨模态 | 以该项自身文档为准 |
| 团队 | 深圳大学 CVI | 以该项自身文档为准 |
| 用途 | 不可互相替代 | 不可互相替代 |
检索时请以学科限定词区分,切勿因缩写相近而合并条目。本处仅作消歧说明,不构成对另一条目的内容陈述。
附录 I:八类疾病的临床要点速查
| 大类 | 缩写 | 关键影像 | 分级依据 | 常见陷阱 |
|---|---|---|---|---|
| 糖尿病视网膜病变 | DR | CFP + OCT + FFA | ICDR 五级 | 把棉絮斑当作渗出 |
| 青光眼 | GLA | CFP 视盘 + OCT RNFL | 杯盘比与视野 | 仅凭杯盘比漏诊正常眼压型 |
| 白内障 | CAT | EP 裂隙灯像 | LOCS 分级 | 核硬度与皮质混浊混淆 |
| 年龄相关性黄斑变性 | AMD | CFP + OCT + FFA | AREDS | 干湿型判断错误 |
| 高血压视网膜病变 | HTR | CFP | Keith-Wagener | 与糖网出血混淆 |
| 病理性近视 | PM | CFP + OCT | 眼轴与后巩膜葡萄肿 | 漆裂纹与新生血管鉴别 |
| 视网膜静脉阻塞 | RVO | CFP + FFA + OCT | 缺血/非缺血 | 漏判无灌注区 |
| 罕见眼病 | Rare | 多模态 | 病种特异 | 样本少导致模型偏置 |
附录 J:52 种疾病的分布推断与注意事项
论文未提供逐病种的影像计数,只说明按真实患病率平衡常见与罕见病。这一处理在临床上合理(常见病应占多数),但对评测有副作用:罕见病类的单病种样本极少,其准确率的方差很大。若你的研究报告"罕见病分类准确率 60%",需同时给出该类的样本量,否则数字不可解读。
另外,八类中的"罕见病"是一个合并桶(Rare),内部包含多种疾病。这意味着"52"这个数字的构成是:七类常见病(DR、GLA、CAT、AMD、HTR、PM、RVO)下的若干亚型 + 罕见病桶下的多个病种。做细粒度分析时,应按 category 字段而非"52"来分组。
附录 K:模态选择任务的临床价值
"下一步该开什么检查"看似是道小题,实则最贴近临床决策的核心。原因有三:
- 检查有创且昂贵。FFA 需要静脉注射,有过敏与恶心风险;ICGA 更甚;OCT 虽无创但占用设备时间。医生必须在信息收益与成本之间权衡。
- 顺序影响结论。先做 OCT 再做 FFA 与反过来,看到的信息组织方式不同,诊断路径也不同。
- 错误选择有真实后果。漏开必要的造影可能延误 PCV 诊断,滥开造影则增加患者风险。
X-PCR 用"信息价值推理"来刻画这一能力,是当前基准里较少见的视角。多数医学 VQA 只考"知道答案",不考"知道该问什么"。
附录 L:与人类基线的对照读法
三组医生的结果需要分开读,不能简单平均:
- 住院医师(23 人):R 级 82.43,说明基础训练扎实;S 级仅 48.17,接近随机猜测水平以上的挣扎。这符合"经验不足"的画像。
- 主治医师(10 人):R 级 92.18、A 级 78.76、S 级 68.27,曲线平缓。这是临床主力,也是 AI 应当对标的第一道线。
- 专科专家(8 人):S 级 83.63,CCR 62.48。这是"上限参照",说明这条链在人类专家手里是可以走通的——CCR 低不是任务设计不合理,而是能力不足。
特别提醒:住院医师的 S 级 48.17 低于 GPT-5 的 62.92。这不是说住院医师不如 AI,而是说这批题目对住院医师而言超出其训练范围。引用时若不加说明,容易被误读为"AI 超过医生"。
附录 M:本条目与上游数据集的互链谱系
第三方目录站(EyeDataHub)在 commit 06a318f 上记录的派生关系包含以下上游(按该站标注):
aptos2019、beh、deepdrid、eye_disease_image_mendeley、eyepacs、harvard_gdp、jsiec、kermany_oct、mured、oct_c8、octid、odir2019、oimhs、rfmid2 等。
这一清单是第三方根据数据集内源标签推断的,并非论文官方发布的完整 51 源清单。因此:
- 可用于快速定位常见上游在库内的对应条目(如 kermany_oct → oct2017 rid 311;odir2019 → odir rid 63;eyepacs → eyepacs rid 58;aptos2019 → aptos-2019 rid 61;deepdrid → deepdrid rid 211;oimhs → oimhs rid 745)。
- 不可作为"X-PCR 只用了这些源"的依据——清单不完整。
- 若需完整 51 源,应查论文附录或直接统计 HF 数据集中的 source 字段(若存在)。
附录 N:检索与引用建议
检索词组合(按召回率排序):
X-PCR ophthalmology benchmark(最精确)"Cross-Modality Progressive Clinical Reasoning"(引号锁定短语)X-PCR MLLM six-stage ophthalmic(加限定词避开 PCR 检测)CVI-SZU X-PCR(定位团队)Fantasy666 X-PCR(定位数据托管)
引用格式(按 GitHub 提供的 BibTeX):
@inproceedings{wang2026xpcr,
title={X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis},
author={Wang, Gui and Zhong, Zehao and Zhou, YongSong and Li, Yudong and Wu, Ende and Cheah, Wooi Ping and Qu, Rong and Ren, Jianfeng and Shen, Linlin},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
year={2026}
}
引用时的三条注意事项:
- 若论文尚未正式见刊,建议同时标注 arXiv 编号,避免"CVPR 2026"页码缺失引发质疑。
- 数据引用应单列,注明 commit 哈希以便复现。
- 引用结果数字时,务必说明是零样本、确定性解码条件下的结果,不可与微调后的结果混比。
附录 O:按角色的阅读路径
| 角色 | 建议路径 | 预计 15 分钟可获得 |
|---|---|---|
| 模型研究者 | §0 → §3 → §5 → §8 | 知道该测什么指标、怎么跑 |
| 临床医生 | §0 → §2 → §5.3 → 附录 I | 知道 AI 在哪一级不可靠 |
| 数据集建设者 | §2 → §3.1 → §4.3 → §7 | 知道六级链与对齐工艺怎么复用 |
| 产品经理 | §1 → §10.4 → §6.2 | 知道能不能用、能不能商用 |
| 综述写作者 | §7 → 附录 C → 事实清单 | 拿到可直接引用的硬数字与坐标 |
附录 P:一页速查卡
X-PCR ─ 眼科跨模态渐进推理基准
├─ 规模:26,415 图 / 177,868 VQA / 51 源 / 52 病 / 58 例院内
├─ 模态:EP CFP FFA ICGA OCT RetCam(OCT 31%,CFP 26%)
├─ 链:IQA → AL → LC → DD → SG → CD(强制依赖)
├─ 指标:SWA / CCR / ESA / UAS / ECE / MCS
├─ 结论:GPT-5 均分 76.24、CCR 24.47;专家 CCR 62.48
├─ 短板:OCT/FFA/ICGA;多图反被干扰;医学专用模型无优势
├─ 获取:HF Fantasy666/X-PCR(约 3.5 GB)
└─ 许可:学术研究用途
附录 Q:待核事项与遗留疑点
| 编号 | 疑点 | 现状 | 建议核实方式 |
|---|---|---|---|
| Q1 | 51 个上游数据集的完整清单 | 论文正文未列,第三方仅列 14 个 | 查论文附录;或统计 HF 数据字段 |
| Q2 | FFA/ICGA/RetCam/EP 的模态占比 | 仅 OCT/CFP 有百分比 | 查论文图 2 |
| Q3 | ICGA 子集是否公开 | HF 无独立目录 | 核对 parquet 内是否含 ICGA 影像 |
| Q4 | HF 行数 18,735 与 177,868 的对应关系 | 第三方记录,量纲不同 | 实测 DataFrame 行数与每题映射 |
| Q5 | evaluate.py 是否已发布 |
News 称"即将",README 给命令 | 下载仓库后 ls 核对 |
| Q6 | 院内 58 例的公开渠道 | 无入口 | 联系通讯作者 |
| Q7 | 逐阶段 VQA 数量分布 | 论文未给 | 查附录表 |
| Q8 | 许可的具体条款文本 | 仅一句"学术研究用途" | 查 HF 仓库是否附 LICENSE 文件 |
| Q9 | 论文与 CVPR 2026 的对应关系 | GitHub 引文标注 CVPR | 查 CVPR 2026 论文集或 OpenReview |
| Q10 | 中文版本是否存在 | 未提及 | 检索作者主页或后续版本 |
附录 R:检索决策树
你要查什么?
├── 数据集能不能下
│ └── HF 搜 Fantasy666/X-PCR → 看 Files 与 README
├── 论文数字
│ └── arXiv 2604.20350 → Table 2 / 分阶段表
├── 代码怎么跑
│ └── GitHub CVI-SZU/X-PCR → Quick Start
├── 上游是什么
│ ├── 先看 HF 数据字段有无 source
│ └── 再看论文附录;最后才用第三方目录站的推断清单
└── 库内有没有相关条目
└── 按 oct2017/odir/eyepacs/aptos-2019/deepdrid/e-ophtha/oimhs 查
深度解读:这套基准的方法论贡献
D1. 把"数据异构"变成"结构同构"
51 个公开数据集之间的差异,远不止影像外观。它们的分级量表不同(有的按 ICDR 五级,有的按三等)、标注粒度不同(图级标签 vs 像素掩码)、病例定义不同(有的含双眼,有的只含患眼)、模态不同(只有 CFP,或 CFP+OCT)。直接把它们拼在一起训练或评测,得到的数字没有可比性。
X-PCR 的解法不是"统一重新标注"(成本过高),而是造一层中间表征:把每一种疾病映射到"疾病—解剖—病灶—分级—处置"五元模式,再为每一元定义跨模态的证据锚点。这样,不同来源的数据都能被"翻译"成同一套语义结构,而不需要改动原始影像。
这个思路的可迁移性很强。病理、皮肤、放射都有类似的异构问题,都可以用"五元模式 + 模态×证据矩阵"来收敛。它比"再花三年做一套统一标注数据集"现实得多。
D2. 用因果依赖把"分步"变成"链"
分阶段提问不难,难的是让阶段之间真的有关联。X-PCR 的做法是把上游作答写进下游提示(prompt),使下游模型看到的是"图像 + 自己前面的判断"。这在工程上很简单,但在评测语义上意义重大:
- 它让"自相矛盾"变得可检测。若模型说"视盘正常"又在后面描述"视盘水肿",矛盾会直接暴露在链路里。
- 它让"错误传播"可量化。把上游强制替换成错误答案,观察下游准确率下降多少,就得到该阶段的敏感度。
- 它让"部分正确"不再是满分。传统单题评测里,答对四级中的三级或许能拿 75 分;链式评测里,任何一级断裂都使 CCR 归零。
代价是评测成本与提示长度增加,以及"上游错误惩罚下游"的公平性问题。论文用 SWA 与 CCR 并列报告来平衡这一点,但读者仍需知道:CCR 是严苛指标,不应被解读为"模型完全不会"。
D3. 把"置信度"从附属品变成一等公民
绝大多数医学 VQA 基准不问模型"你有多确定"。X-PCR 要求自报置信度,并据此计算 UAS 与 ECE。这一设计的临床意义在于:医疗 AI 的错误不可避免,但"知道自己在哪不确定"是可以工程化的。
从结果看,ECE 与准确率大体同向但非完全相关,说明"准"与"知道自己在猜"是两种能力。这为临床部署提供了新的筛选维度:与其只挑准确率最高的模型,不如挑"高准确率 + 低 ECE"的组合,因为后者在边界病例上更容易被人工复核拦截。
D4. 把"要不要多给一张图"变成可测问题
模态贡献分数(MCS)与"多图干扰"现象,共同指向一个被长期忽视的问题:多模态模型是否真的在利用多模态信息。大量宣称"多模态"的系统,实际上主要依赖文本与单张主图,其余通道只是陪衬。MCS 提供了一种低成本审计手段:去掉某一路,看准确率掉不掉。掉得多说明依赖,掉得少说明冗余,反而升高说明干扰。
这个方法可以直接移植到任何多模态医学系统,不限于眼科。
横向对比:三种"过程化"评测路线
C1. 规则化流程评测
以 X-PCR 为代表:预先定义阶段与依赖关系,模型必须按序作答,按阶段计分。优点是可控、可复现、指标清晰;缺点是流程由人设定,可能不完全贴合真实决策(真实门诊有跳跃、有回头)。
C2. 自由推理评测
让模型自由输出完整诊疗思路,再由专家或 LLM 评判其合理性。优点是贴近真实;缺点是评分主观、难以规模化、可复现性差。多数"临床推理"类论文采用此路线,但结论往往依赖评判者。
C3. 对话式模拟评测
用模拟患者或标准化病人与模型多轮交互,考察问诊、检查选择与处置。优点是覆盖沟通能力;缺点是需要大量角色设定,且难以覆盖影像判读。
X-PCR 明确站在 C1 一侧。这三种路线不是替代关系:C1 适合做能力定位(哪一步弱),C2 适合做质量评估(叙述是否合理),C3 适合做交互评估(会不会问、会不会解释)。理性的做法是组合使用,而不是争论谁更"真实"。
常见误解澄清
误解一:X-PCR 是训练集,可以拿来微调出很强的眼科模型。
它是评测基准,不是训练语料;而且许可限学术研究。用它微调后再用它评测,属于数据泄漏,结论无效。
误解二:CCR 低说明基准设计有问题。
专家 CCR 是 62.48,证明这条链在人手里能走通。模型 CCR 低是能力问题,不是任务不可完成。
误解三:平均分接近主治就意味着可以替代主治。
CCR 与 S 级准确率的差距说明,模型在"每一题都基本对"与"一整例能走完"之间有巨大鸿沟。临床要的是后者。
误解四:影像数 26,415 就是病人数。
不是。一例病人可有多张影像、多种模态、多个时间点。论文未披露患者级计数,做流行病学推论时不可用影像数代替病人数。
误解五:六模态等于六倍信息。
模态之间有大量冗余(CFP 与 FFA 都看血管),且模型未必能利用。MCS 实验正是为了剔除这种想当然。
误解六:这是中国团队做的,所以只适合中文场景。
VQA 主体为英文医学标准术语,团队是深圳大学但在国际化数据上构建。中文场景需另做术语本地化。
典型使用场景解剖
场景一:模型选型
某医院要采购眼科辅助诊断系统,候选三家厂商都宣称"准确率 90%+"。用 X-PCR 复测,发现:A 厂商平均 72、CCR 4;B 厂商平均 68、CCR 15;C 厂商平均 70、CCR 9。结论是 B 的综合可用性最好,尽管平均分不是最高。原因是临床上"每例都能给出连贯判断"比"平均每题多对两道"更重要。
场景二:短板定位
某团队模型在 CFP 上表现优秀,在多模态任务上却掉分。用 MCS 分析发现,去掉 OCT 后准确率不降反升——说明模型把 OCT 当成噪声。进一步检查发现其视觉编码器对灰阶断层图的归一化处理有误。修复后 CCR 提升明显。
场景三:教学与考核
眼科住院医师培训可用 X-PCR 的 R/A/S 分层做题库:R 级用于规培考核,A 级用于主治晋升模拟,S 级用于亚专科培训。人机对照还能揭示"医生在哪一级不如 AI",从而调整教学重点。
场景四:基准建设参考
其他专科团队想建类似基准,可复用其"五元模式 + 六级链 + 四指标"的骨架,只需替换疾病体系与模态定义。皮肤科可换成"皮疹形态—分布—诊断—严重度—治疗",放射科可换成"扫描质量—解剖—征象—诊断—分期—处置"。
写在最后:这个基准真正提醒我们的事
X-PCR 最有价值的地方,不是它给出的排名,而是它揭示的一条降序曲线:98.90 → 88.05 → 81.02 → 73.11 → 61.65 → 54.71。这条曲线不是某个模型的缺陷,而是当前一代多模态模型的共同形状。
它说明,“看图说话"这件事已经做得不错,“看图思考"还没有。眼科只是第一个被系统测量的科室,其他专科大概率也是同样的形状。对做 AI 的人来说,这意味着下一个阶段的重点不应是"喂更多图”,而是"教模型如何组织证据”;对做临床的人来说,这意味着短期内应当把 AI 放在"初筛与提示"的位置,而不是"决策"的位置。
一个基准能同时说清这两件事,就已经完成了它的使命。
扩展阅读:三个容易忽略的细节
E1. “OCT 31%” 与 “CFP 26%” 的解读陷阱
这两个百分比是VQA 量占比,不是影像数占比。一张 OCT 序列能问出层厚、积液、断裂、反射等多个问题,单张 CFP 能问的病灶描述相对有限。因此 OCT 在题目上占比高,不代表其影像张数最多。若你的研究需要"影像数量分布",必须自己统计,不能直接引用这两个百分比。
另外,二者合计 57%,意味着剩余 43% 分散在 FFA、ICGA、RetCam、EP 四种模态上。考虑到 FFA 与 ICGA 在公开数据中本就稀缺,这部分很可能高度集中在 EP 与 RetCam。这解释了为什么论文强调"模型在 OCT/FFA/ICGA 上挣扎"——前三者里有两项恰恰是样本少、难度高的模态。
E2. "58 例"的双重角色
院内 58 例在论文里有两种身份:一是跨模态对齐的黄金标杆(同眼同期、六模态齐全、有临床上下文),二是临床真实性的补充(补足公开数据缺乏病史与随访信息的短板)。这双重身份带来一个使用建议:
- 若你要做跨模态对应识别的研究,应优先用这 58 例,因为只有它们有可靠的跨模态 ground truth。
- 若你要做统计意义上的性能评估,不应只用这 58 例,因为样本量太小,置信区间会很宽。
E3. "20% 二次复核"的实际含义
论文写"20% 的 VQA 题目由第二位眼科医生独立复核",并规定评分者一致性低于 κ=0.8 时进行仲裁。这听起来严谨,但需要注意:
- 20% 是抽样比例,不是全量。剩余 80% 未经二次独立确认,其质量依赖首轮审核(Gemini-2.5-Pro)的可靠性。
- κ 阈值为 0.8,属于"高度一致"标准,较严格;但仅有 20% 抽样时,κ 的估计本身也有不确定性。
- 前五级由模型生成,第六级由医生撰写,两类题目的质量保障机制不同。分析结果时若能按 stage 拆分错误类型,会更有洞察。
这三点提醒我们在引用"专家核验"这一表述时保持精确:它是"专家参与的多层核验",而非"全量双人独立标注"。
E4. 与"视觉问答"传统的距离
传统 VQA 研究关注的是"语言先验"与"视觉 grounding"的博弈——模型是看了图,还是只读了题。X-PCR 在这个传统上往前走了一步:它不仅问"你看了图吗",还问"你看的是哪张图、看到的信息有没有用上、用上之后判断是否连贯"。MCS 与多图干扰实验,本质上都是 grounding 研究在临床场景的延伸。
对做 VQA 方法学的人而言,X-PCR 提供了一个高质量的"高风险域"测试床:题目有明确的临床后果,错误有清晰的分级(IC 象限最严重),因此模型行为的分析比通用 VQA 更有意义。
E5. 为什么没有纳入 RETFound
RETFound 是眼科领域最知名的自监督基础模型,在多项视网膜任务上表现优异。X-PCR 未将其纳入评测,原因是任务形态不匹配:RETFound 输出的是表征或分类,不产生自然语言推理链。要评测它,需要外接一个语言解码器,这就引入了额外的变量,使结果难以归因。
这一取舍值得理解:评测基准的边界由任务形态决定,不由模型知名度决定。把不适配的模型硬塞进来,反而会削弱结论的可解释性。
E6. 排名之外的读法:看分布不看均值
Table 2 只给了均值,但临床更关心分布。举例来说,两个模型平均都是 70 分,一个在常见病上 85、罕见病上 40,另一个在各病种上都 70,它们的临床价值完全不同。X-PCR 的 category 字段允许做这种拆分,但论文未充分展开。这为后续研究留了口子:基于 X-PCR 做病种级、模态级、难度级的细粒度误差分析,是很有价值的跟进工作。
E7. 对中文眼科 AI 的启示
国内眼科 AI 的公开评测多集中在糖网分级(如 DeepDRiD 系列挑战赛)与青光眼筛查,缺少覆盖全流程、全模态的基准。X-PCR 虽为英文,但其六级链与八类病种的框架可以直接借鉴。若要做中文本地化,关键工作有三:术语映射(如"黄斑水肿"的规范表述)、分级量表对齐(ICDR 与国内共识的差异)、以及中文题干的语言习惯适配(避免直译导致的语义漂移)。
补充:指标计算的形式化说明
F1. 分阶段准确率
对阶段 s,准确率定义为该阶段答对样本数除以参与该阶段评测的样本数。注意分母可能因上游门控而缩小:若 IQA 判为"不可用",后续阶段可能不展开,此时分母变化会影响可比性。论文未明确说明门控后的样本处理方式,这是复现时需要留意的细节。
F2. 全链完成率
CCR = (六阶段全部答对的样本数)/(总样本数)。它是准确率的乘积上界:若各阶段独立且准确率为 p1…p6,则 CCR ≈ p1×p2×…×p6。以 GPT-5 的阶段准确率粗算:0.989×0.881×0.810×0.731×0.617×0.547 ≈ 0.216,与报告的 0.2447 同量级。这一粗算说明 CCR 的低值主要是乘法效应,而各阶段之间的相关性使其略高于独立假设的预测。
F3. 不确定性感知分数
UAS 的构造可概括为:对每个回答按其"正确性 × 置信度"落入四象限,赋基础分,再按难度权重与临床重要性权重加权平均。具体权重论文未在正文完全展开,复现时应以代码或附录为准。其核心性质是单调性:在同等准确率下,置信度越校准,UAS 越高。
F4. 期望校准误差
ECE = Σ (n_b / N) × |acc(b) − conf(b)|,其中 b 为置信度分箱,n_b 为该箱样本数,acc 为实际准确率,conf 为平均置信度。分箱数影响结果,论文未披露具体设置,复现时应在报告中注明。
F5. 模态贡献分数
MCS_m = Acc(全模态) − Acc(去掉模态 m)。若为负值,说明该模态反而有害(对应"多图干扰")。这一指标对输入构造敏感:是"整段删除"还是"置为空白图",结果可能不同。
补充:与其他眼科基准的量化对照
| 基准 | 影像数 | 模态数 | 任务形态 | 是否有链 | 是否有校准 | 主要用途 |
|---|---|---|---|---|---|---|
| EyePACS | 约 3.5 万 | 1(CFP) | 五级分类 | 否 | 否 | 糖网筛查训练 |
| APTOS-2019 | 3,662 | 1(CFP) | 五级分类 | 否 | 否 | 糖网分级竞赛 |
| ODIR-5K | 5,000 例 | 1(CFP) | 多标签分类 | 否 | 否 | 多病种识别 |
| OCT2017 | 84,484 | 1(OCT) | 四分类 | 否 | 否 | OCT 分类 |
| DeepDRiD | 2,000 | 2(CFP) | 质量 + 分级 | 否 | 否 | 真实世界筛查 |
| e-ophtha | 数百 | 1(CFP) | 病灶分割 | 否 | 否 | 病灶检测 |
| MedFrameQA | 视频级 | 1 | 多帧问答 | 否 | 否 | 视频理解 |
| X-PCR | 26,415 | 6 | 六级链 + 跨模态 | 是 | 是 | 推理评测 |
(注:表中上游数据集的影像数为公开文献常见口径,仅作量级参照;X-PCR 数据为论文与 HF 实查值。)
这张表说明 X-PCR 的定位不是"更大的分类集",而是"另一种评测范式"。它的 26,415 张在数量上并不碾压 OCT2017 的 84,484 张,但其组织方式使其能回答分类集回答不了的问题。
补充:一例完整的推理链走查
以糖尿病黄斑水肿为例,说明六级链在真实病例上的推进方式(示例为方法学演示,非论文原始病例):
- IQA:CFP 存在轻度屈光介质混浊,但黄斑区与视盘可辨,判定"可用"。
- AL:定位视盘位于鼻侧,黄斑位于颞侧血管弓内,中心凹反光可见。
- LC:黄斑区见多发点状出血、硬性渗出呈环形排列,中心凹周围视网膜增厚。
- DD:结合糖尿病史,最可能为糖尿病黄斑水肿,需与视网膜静脉阻塞继发水肿鉴别。
- SG:按国际临床糖尿病视网膜病变分级,参照黄斑水肿中心受累情况定级。
- CD:中心受累的 DME 建议抗 VEGF 治疗,并转诊眼底专科随访。
跨模态扩展:若同时给出 FFA,可要求模型指出渗漏点与 CFP 硬性渗出的对应关系(对应识别);若给出 OCT,可要求其描述囊样间隙与视网膜下积液(诊断整合);若 FFA 提示可疑息肉样改变,则触发"是否需要 ICGA"的模态选择题。
这一走查的价值在于:它把抽象的"六级链"落到了具体影像上,便于读者理解每一级的输入、输出与判断依据,也便于出题者对照自查模板是否覆盖了关键要素。
补充:使用者的十二个具体动作
G1. 拿到数据后的第一件事
不要急着跑模型。先做三件事:
- 打印每个子集的行数与字段:
ds.features。确认 stage 字段的取值集合是否恰好为六级,是否存在空值。 - 抽样 20 条人工看一遍。重点看影像与题干是否匹配——尤其是跨模态样本,确认多张图确为同眼同期。
- 统计每个 category 与 difficulty 的样本量。若某类样本过少,报告中必须注明。
这三步大约耗时半小时,但能避免后面几天跑出无法解释的结果。
G2. 如何构造公平的对照实验
若你要比较"单模态 vs 多模态",必须固定题目集合,只改变输入图像。若题目本身随模态变化(跨模态题只在多模态条件下出现),则不可直接比较。正确做法是:先筛出同时具备单模态与多模态版本的题目子集,再在该子集上做对照。
G3. 如何解释"模型在某模态上很差"
不要只说"模型不擅长 OCT"。要拆解为三个问题:是读不懂(IQA/AL 阶段就错)、是看不清(LC 阶段错)、还是不会用(LC 对但 DD 错)。三者对应完全不同的改进方向:前者要改编码器预训练,中者要改分辨率与增强,后者要改推理提示与知识注入。
G4. 如何设计提示词
论文的评测是零样本,提示词设计会影响结果。建议:明确要求模型按阶段作答,并显式给出上一阶段的答案;要求输出置信度时给出格式约定(如"置信度:0.85");避免在提示中出现答案线索(如疾病名首字母)。
G5. 如何处理多图输入
按模态分组,给每张图加标签(如"图 1:CFP"、“图 2:OCT”),避免模型混淆来源。若模型的视觉 token 预算有限,优先保留 OCT 与 FFA 的关键帧,这些是信息密度最高的通道。
G6. 如何报告结果
至少报告:总均准确率、CCR、S 级准确率、ECE。只报总均分是不充分的,因为它在不同模型间区分度低。若做了模态消融,附上 MCS 表。所有数字注明样本量、解码设置与提示模板。
G7. 如何做错误分析
建议按"阶段 × 病种"二维交叉统计错误率,找出集中失效的区域。经验上,错误往往集中在两个地带:罕见病的 LC 阶段(模型没见过的形态)与常见病的 CD 阶段(模型会描述但不敢决策)。
G8. 如何应对"过拟合基准"
不要把 X-PCR 当作唯一标准。它测的是特定形式的推理,可能存在题型偏置。建议与真实临床回顾性数据、其他基准交叉验证。若模型在 X-PCR 上分数很高但在真实门诊召回率低,以真实数据为准。
G9. 版本管理
HF 仓库无版本标签,只有 commit 哈希。建议在实验记录中固定 06a318fd852230326386e3c6514d8a11b7a6b4af,并保存当时下载的文件清单与校验和,便于日后复现。
G10. 许可合规的实操
学术使用前,在论文致谢中注明数据来源与许可;商用前,逐源回查 51 个上游数据集(至少核查第三方列出的 14 个常用源),确认各自条款;院内 58 例如未公开则不可使用。若不确定,联系通讯作者书面确认。
G11. 与院内数据结合
若你有本院的多模态病例,可用 X-PCR 的六级框架自建评测集,但需重新标注难度与跨模态对应。好处是能评估模型在本地设备与人群上的表现,弥补公开数据的域差异。
G12. 教学场景的改造
用于住院医师培训时,建议去掉模型评测部分,只保留题目与分层难度。R 级题目适合规培月考,A 级适合主治晋升,S 级适合亚专科病例讨论。人机对照结果可作为教学反馈,但不宜公开排名个人。
补充:四类读者的常见追问
对临床医生说
问:这个基准能直接用于诊断吗?
不能。它是评测工具,输出的是模型能力分数,不是诊断结论。临床上仍以医生判断为准。
问:模型在哪些病上最不可靠?
论文指出 OCT、FFA、ICGA 相关任务最弱,涉及脉络膜与血管灌注的病例尤其如此。白内障与外眼疾病相对简单。
问:会不会增加我的工作量?
短期内会增加(需要复核 AI 提示)。长期看,若用于筛查初判可减少阴性阅片量,但前提是系统能给出可靠的"不确定"信号,这正是 UAS/ECE 想解决的问题。
对算法工程师说
问:最该先改什么?
如果 CCR 极低而平均分尚可,优先做长链一致性训练;如果 S 级特别低,优先补专家级知识;如果 ECE 高,优先做置信度校准(如温度缩放、后处理校准)。
问:要不要做领域预训练?
论文的结论是领域知识不自动带来推理能力。预训练可以提升表征,但仍需针对推理链设计训练信号(如中间步骤监督、自一致性约束)。
对数据集建设者说
问:能不能直接复制这套框架?
骨架可复制:五元模式、六级链、四指标。但疾病体系与模态定义需重做,难度标注需本地专家参与,成本主要在人不在技术。
问:最小可行版本是什么?
约 2,000 张影像、每阶段 3–5 个模板、20 位医生做难度标注、一个可跑的分阶段脚本。足以验证框架,不足以发表。
对产品经理说
问:能商用吗?
许可仅学术,需单独授权。技术可行性与法律可行性是两件事。
问:多久能落地?
取决于监管路径。若定位为"辅助提示"而非"辅助诊断",审批门槛不同。建议先做回顾性验证,再考虑前瞻。
补充:术语的临床语境
理解 X-PCR 需要一点眼科常识,这里补充几个易混点:
- 黄斑不是"斑":它是视网膜中心负责精细视觉的区域,中心的中心凹无血管。报告里的"黄斑水肿"指的是这一区域积液增厚,不是长了一个斑块。
- 视盘就是视神经乳头:所有视网膜神经纤维汇聚出眼的位置,青光眼评估的核心。杯盘比是杯(凹陷)与盘(整个视盘)的直径比。
- FFA 看的是"漏":荧光素在血管内流动,凡是血管屏障破坏处就会渗漏发亮。因此 FFA 的亮斑往往提示活动性病变。
- ICGA 看的是"深":吲哚菁绿分子较大,主要停留在脉络膜血管内,适合观察息肉与异常血管网。FFA 看不清的深层病变,ICGA 能补上。
- OCT 看的是"层":它像超声一样做断层,但用光而非声。一张 B-scan 显示的是视网膜十层结构的横切面,层间积液表现为低反射暗区。
- RetCam 是"广角":接触式镜头,视野可达 130 度,专为不能配合的婴幼儿设计,图像会有明显的桶形畸变。
这些语境对理解题目设计很重要:X-PCR 的 LC 阶段考的正是"用什么词描述什么形态",而这些词在中文与英文临床习惯中并不总是一一对应。
补充:数据质量的三个观察
H1. 标签来源的异质性
51 个上游数据集的标签来自不同年代的诊断标准。例如糖网分级,早期研究可能沿用 ETDRS 细则,较新的数据集用 ICDR 简化五级。X-PCR 的统一化处理是在五元模式层做映射,但底层影像的"金标准"本身存在代际差异。这意味着某些题目的正确答案在严格意义上可能有争议。
H2. 影像设备的异质性
同一模态在不同中心用不同设备拍摄,色彩响应、分辨率、视野角都不同。CFP 在散瞳与未散瞳、不同厂家的色温差异会显著影响模型判断。X-PCR 未披露设备构成,这限制了"域泛化"分析的深度。
H3. 题目难度的主观性
R/A/S 三档由医生标注,但"什么算专家级"本身有主观成分。同一位医生在不同日期标注可能不一致,不同医生之间也未必统一。论文的 20% 复核与 κ 阈值缓解了这一问题,但未做重测信度分析。引用难度分层结果时,宜视为"相对难度"而非绝对刻度。
补充:三句话给不同的人
给刚入门的同学:先跑通一个 7B 模型,拿到一组基线数字,再读论文的表格,你会发现自己的数字与论文差多少、差在哪一级。这比读十遍方法节更有用。
给准备投稿的研究者:X-PCR 是一个现成的"强基线"。如果你的方法只在分类任务上好,而在 CCR 上没有提升,审稿人会问"那你解决了什么问题"。
给临床合作者:不必关心模型架构,只需看两条——S 级准确率是否接近主治,CCR 是否过半。这两条不过关,就不要谈上临床。
补充:条目维护记录
| 日期 | 动作 | 说明 |
|---|---|---|
| 2026-10-17 | 首版成稿 | 依据 arXiv 2604.20350、GitHub README、HF API 实查三源互证 |
| 2026-10-17 | 存照双口径 | HF 行数 18,735 与论文 177,868 分别记录,未强行统一 |
| 2026-10-17 | 许可核对 | 确认"学术研究用途"表述,未发现 SPDX 标识 |
后续维护建议:若论文正式见刊(CVPR 2026 论文集上线),补入页码与 DOI;若 HF 仓库出现版本标签,补入固定 revision;若作者公开院内 58 例,补充获取路径与限制条件。
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- liveclin — 共享标签:医学问答与基准 / 多模态 / 视觉问答 / 评测基准
- nejm-bench — 共享标签:医学问答与基准 / 多模态 / 视觉问答 / 评测基准
- medxpertqa — 共享标签:医学问答与基准 / 多模态 / 视觉问答 / 评测基准
- medframeqa — 共享标签:医学问答与基准 / 多模态 / 视觉问答 / 评测基准
- rex-in-the-wild — 共享标签:多模态 / 视觉问答 / 评测基准
- microvqa — 共享标签:医学问答与基准 / 多模态 / 评测基准
- drive — 共享标签:眼科影像 / 医学问答与基准 / 评测基准
- pathvqa — 共享标签:多模态 / 视觉问答 / 评测基准
- iostar — 共享标签:眼科影像 / 评测基准 / 糖尿病视网膜病变
- derm1m — 共享标签:多模态 / 视觉问答 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

