X-PCR — 跨模态渐进式眼科临床推理基准

26,415 张眼科影像与 177,868 条专家核验 VQA,覆盖六模态与 52 病种,以六级因果链与跨模态对齐方式测量多模态大模型的诊断连贯性、幻觉与置信校准

来源 51 个公开眼科数据集影像(CFP/FFA/ICGA/OCT/RetCam/外眼)+ 院内 58 例多模态对齐病例 + GPT-5 与 Gemini-2.5-Pro 半自动生成、眼科医师撰写与复核的 177,868 条多选题 VQA发布时间: 2026-10-17最后更新: 2026-10-20 阅读 22
X-PCR — 跨模态渐进式眼科临床推理基准

信息速览

数据集名称X-PCR — 跨模态渐进式眼科临床推理基准
数据类型影像数据,人工标注,问答对
规模58 例院内前瞻采集多模态病例(患者级人口学未披露)+ 51 个公开数据集派生影像(患者级数量未披露)
接入方式51 个公开眼科数据集影像(CFP/FFA/ICGA/OCT/RetCam/外眼)+ 院内 58 例多模态对齐病例 + GPT-5 与 Gemini-2.5-Pro 半自动生成、眼科医师撰写与复核的 177,868 条多选题 VQA
AI 就绪度

INFOBOX — X-PCR 一屏速览

维度 内容
本质 面向多模态大模型(MLLM)的眼科临床推理评测基准,不是诊断模型也不是原始临床库
团队 深圳大学 CVI 实验室(SZU-CVI);通讯 Gui Wang;9 位作者
论文 arXiv:2604.20350;GitHub 引文标注 CVPR 2026
数据 26,415 图 + 177,868 条 VQA,源自 51 个公开数据集 + 院内 58 例
模态 外眼 EP / 眼底 CFP / 荧光造影 FFA / 吲哚菁绿 ICGA / 断层 OCT / 广域 RetCam 共六种
病种 52 种,归为 DR、青光眼、白内障、AMD、高血压视网膜病变、病理性近视、RVO、罕见病八类
推理结构 六级因果链 IQA→AL→LC→DD→SG→CD,下游阶段依赖上游作答
评测 21 个 MLLM(6 商用 + 10 开源 + 5 医学专用)+ 41 位眼科医生分层基线
关键数字 GPT-5 总均 76.24、全链完成率 24.47;专家全链完成率 62.48
获取 HuggingFace Fantasy666/X-PCR(Parquet,约 3.5 GB);代码 GitHub 公开
许可 仅限学术研究用途;院内病例 IRB 批准

§0 导读:这个数据集解决什么问题

眼科是医学多模态模型最早落地的科室之一,也最容易在评测上自欺。原因很直白:现有公开基准几乎都是"一张图一道题"——给一张眼底照判有没有糖尿病视网膜病变,给一张 OCT 判是 CNV 还是 DME,判对了就记一分。真实门诊不这么运转。医生先看这张图拍得能不能用,再看视盘和黄斑在哪,再描述病灶的形态与分布,再给出鉴别诊断排序,再按国际分级标准定级,最后决定是观察、转诊还是打抗 VEGF 针。六步里任何一步错了,后面全错;而这六步的证据往往分散在彩色眼底照相、荧光素眼底血管造影、吲哚青绿造影、光学相干断层扫描、广域小儿眼底和外眼照这六种设备上。

X-PCR(Cross-Modality Progressive Clinical Reasoning)把这条链条写成了评测协议。它的做法分三件事:第一,把诊断拆成六级、并强制因果依赖——模型必须先交第一步的答案,才进入第二步的打分,因此可以看到"上游错了,下游错到什么程度"这种在单题基准里完全被平均掉的现象。第二,把六种模态按疾病实例对齐——同一只眼、相近时间点的 CFP、FFA、OCT 放在一起,给出跨模态的对应标注,再要求模型做跨模态寻证、综合诊断和"下一步该开什么检查"的模态选择。第三,把难度和置信度纳入计分——题目按住院医师、主治、专科专家三档标注,模型还需自报信心,用不确定性感知分数(UAS)和期望校准误差(ECE)惩罚"错得还很自信"。

数据规模是 26,415 张影像、177,868 条专家核验的多选题 VQA,来自 51 个公开眼科数据集,覆盖 52 种疾病,另加院内前瞻采集的 58 例多模态对齐病例。评测对象是 21 个多模态大模型,人类基线是 23 名住院医师、10 名主治、8 名专科专家。

§0 读法三则:

  1. 本条目是"基准数据集"而非"临床数据库":影像来自公开数据集的再组织,VQA 是派生标注,院内 58 例才是新增采集。引用时务必区分"影像数"与"问答数"两个不同量纲(坑 1)。
  2. 全文硬数字以论文正文与表格为准,HuggingFace 分片行数与论文口径不同,已在 §2.2 双口径存照。
  3. 若你是要训练模型的人,读 §4(任务定义)与 §8(工程复现);若你是要写综述或做选型的人,读 §5(评测结果)与 §7(生态定位)。

§1 数据集速览:十问十答

Q1:X-PCR 是什么?
一个眼科多模态临床推理评测基准,论文题为《X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis》,由深圳大学 CVI 实验室发布,含 26,415 张影像与 177,868 条 VQA。

Q2:它和普通眼底分类数据集有什么区别?
普通数据集是"图→标签";X-PCR 是"图组→六级推理链作答 + 跨模态对应 + 置信度"。它测的是推理过程的一致性,不只是终答案的对错。

Q3:六级是哪六级?
图像质量评估(Image Quality Assessment, IQA)→ 解剖定位(Anatomical Localization, AL)→ 病灶表征(Lesion Characterization, LC)→ 疾病诊断(Disease Diagnosis, DD)→ 严重度分级(Severity Grading, SG)→ 临床决策(Clinical Decision-Making, CD)。

Q4:六种模态分别是什么?
外眼照相(External Photography, EP)、彩色眼底照相(Color Fundus Photography, CFP)、荧光素眼底血管造影(Fluorescein Angiography, FFA)、吲哚菁绿血管造影(Indocyanine Green Angiography, ICGA)、光学相干断层扫描(Optical Coherence Tomography, OCT)、RetCam 广域小儿眼底成像。

Q5:52 种病怎么归类?
八类:糖尿病视网膜病变(DR)、青光眼(GLA)、白内障(CAT)、年龄相关性黄斑变性(AMD)、高血压视网膜病变(HTR)、病理性近视(PM)、视网膜静脉阻塞(RVO)、罕见眼病(Rare)。

Q6:谁标注的,可信度如何?
前五级由 GPT-5 依据原始数据集标签与病灶标注生成模板题,Gemini-2.5-Pro 全量审核一致性;第六级临床决策题由眼科医生手工撰写。全部题目由眼科医生分配难度与临床重要性,20% 题目由第二位眼科医生独立复核,评分者一致性低于 κ=0.8 时进入仲裁。

Q7:模型表现如何?
最好的 GPT-5 总均 76.24%,但六级全链全对率(CCR)只有 24.47%;专科专家 CCR 为 62.48%。没有任何模型超过主治医师的总均 79.91%。

Q8:数据能下载吗?
能。HuggingFace 数据集 Fantasy666/X-PCR 公开(约 3.5 GB,Parquet 格式,按模态分子集),评估代码在 GitHub CVI-SZU/X-PCR。许可为仅限学术研究用途。

Q9:能直接拿它训练模型吗?
可以用于微调与研究,但要注意两点:一是镜像中的训练/验证划分需自行从测试集之外的数据重组,公开分片以 test 命名;二是许可仅覆盖学术用途,商用需逐源回溯 51 个上游数据集的授权。

Q10:它最值得引用的一句话结论是什么?
“图像级感知已接近饱和,临床决策仍远未达标”——GPT-5 在 IQA 阶段 98.90%,到 CD 阶段跌至 54.71%,说明瓶颈不在看,而在想。

§2 数据构成与规格

2.1 规模、来源与机构构成

X-PCR 的数据由两条来源拼接而成,理解这条拼缝对正确使用至关重要。

第一条来源:51 个公开眼科数据集。 论文按八个疾病大类组织上游数据,统一清洗后保留原始标签可用的影像进入 VQA 集;低分辨率或严重伪影的图像不丢弃,而是保留为对抗样本(adversarial samples),但不附质量标签。这一步设计很关键——它让 IQA 阶段既有"该判不合格"的样本,又避免把质量标签本身当作答案泄漏给模型。为缓解抽样偏倚,数据集在疾病类别、严重程度(早期/中期/晚期)与六种模态三个维度上做了代表性约束。

第二条来源:院内前瞻采集的 58 例多模态病例。 入组需同时满足四条:完成全套多模态检查、诊断经临床或手术确证、病史与检查记录完整、获得伦理委员会(IRB)批准与知情同意。每例包含结构化临床摘录(年龄、症状、视力、相关病史)、跨六模态同步影像序列,以及专家标注的跨模态对应关系、鉴别诊断与治疗建议,全部由主治及以上眼科医师复核。

值得注意的规模不对称:58 例仅占 26,415 张影像的极小比例,但它们是唯一具备"同眼同期多模态 + 临床上下文"的样本,也承载了跨模态对齐的黄金标杆。这意味着跨模态任务的评测稳定性高度依赖这 58 例的覆盖广度——这是本基准最需要后续扩增的部分。

2.2 规模口径:三个数字,三种含义

检索时最容易混淆的是三个规模数字,必须分清:

口径 数值 单位 来源 含义
影像数 26,415 张 论文摘要、GitHub README、HF 卡片 去重后的评测影像总量
问答数 177,868 条 同上 多选题 VQA 总量(一图可对应多条)
上游数据集 51 个 同上 公开来源数量,非影像数
院内病例 58 例 论文方法节 前瞻采集的多模态对齐病例
HF 分片行数 18,735 行 第三方目录站(EyeDataHub)引 commit 06a318f Parquet 行数,与 VQA 条数非同一量纲

这里必须明确存照:HuggingFace 仓库的 parquet 行数(第三方目录站记为 18,735 行,提交哈希 06a318fd852230326386e3c6514d8a11b7a6b4af)与论文的 177,868 条 VQA 不是同一口径。合理推断是 parquet 以"影像-问答打包"或"按模态子集切分"的方式组织,一条记录可能承载多道题,或部分题目在分片中未逐行展开。使用者在做统计时,应当以自己实际读取到的 DataFrame 行数为准,不要直接引用 177,868 去校验下载完整性(坑 1)。

2.3 六模态与体量分布

论文明确给出的模态占比只有两个:OCT 占 31%,CFP 占 26%,二者合计贡献了大部分 VQA 实例。其余四种模态(FFA、ICGA、RetCam、EP)的具体占比正文未列数字,仅在图中呈现。

这一分布的临床含义值得展开:

  • OCT 权重最高符合现实。黄斑病变的诊断与随访几乎以 OCT 为核心,DME、CNV、黄斑前膜、玻璃膜疣的分级都依赖断层图像;一篇 VQA 能问层厚、问积液、问断裂、问反射强弱,天然多题。
  • CFP 是入口模态。筛查场景(糖网、青光眼视盘、病理性近视)首选眼底照,题目覆盖解剖定位与病灶描述,量大自然。
  • FFA 与 ICGA 是"高信息、低可得"模态。造影需静脉注射、有过敏风险、耗时,公开数据远少于眼底照与 OCT。它们恰恰是模型最弱的环节(§5.4),也是"该不该开造影"这一模态选择题的价值所在。
  • RetCam 是儿科专用窄域。广域成像用于新生儿与婴幼儿的视网膜病变筛查(如早产儿视网膜病变),样本量小、图像畸变特殊,对模型的域外泛化是硬考验。
  • EP 承担"门面"任务。外眼照看眼睑、结膜、角膜与前节大体外观,是白内障、睑缘疾病与眼眶问题的第一手证据。

2.4 文件组织与推荐目录结构

GitHub README 给出的推荐目录是工程约定而非下载后自动生成的结构:

X-PCR/
├── images/
│   ├── CFP/
│   ├── OCT/
│   ├── FFA/
│   ├── ICGA/
│   ├── EP/
│   └── RetCam/
├── annotations/
│   ├── train.json
│   ├── val.json
│   └── test.json
├── multimodal_cases/
│   ├── case_001/
│   ├── case_002/
│   └── ...
└── README.md

而 HuggingFace 仓库实际是以模态为顶层目录的 Parquet 分片:

X-PCR/
├── cfp/            test-00000-of-00005.parquet … test-00004-of-00005.parquet
├── oct/            test-00000-of-00002.parquet … test-00001-of-00002.parquet
├── ffa/            test-00000-of-00001.parquet
├── retcam/         test-00000-of-00001.parquet
├── external_eye/   test-00000-of-00001.parquet
└── README.md

两者对不上是常态:README 里的 annotations/*.json 与 multimodal_cases/ 是面向完整发布版的目录约定,HF 公开镜像当前只承载五个模态子集(ICGA 未见独立目录,可能并入 FFA 子集或未公开)。若你的实验依赖 ICGA 或院内 58 例,务必先核对实际到手的文件清单,不要按 README 写死路径(坑 2)。

2.5 影像与标注的粒度

单条 VQA 的字段构成(依论文与加载实践归纳):

字段 类型 说明
image 图像或图像组 单模态单图,或同眼多模态对齐组
question 字符串 某一级推理的题干,模板化生成或专家撰写
options 列表 多选题候选,干扰项从同属性名词池采样
answer 字符串 正确选项
stage 枚举 IQA / AL / LC / DD / SG / CD
category 枚举 DR / GLA / CAT / AMD / HTR / PM / RVO / Rare
difficulty 枚举 Resident / Attending / Specialist
confidence 浮点(模型侧) 评测时由被测模型自报,非标注字段

标注粒度可概括为"影像级标签 → 模板化问答 → 专家审核"。原始数据集提供的是分类标签或分割掩码(如病灶区域),X-PCR 的一层关键工作是把这些异构标签统一到"疾病—解剖—病灶—分级—处置"五元模式(Disease–Anatomy–Lesion–Grading–Management schema),再在每一元下生成问题。这一步是把 51 个来源不同的数据集"翻译"成同一套语言,也是本基准方法论上最有价值的部分。

§3 六级渐进推理链:把门诊流程写成评测协议

3.1 为什么是"链"而不是"六道题"

把诊断拆成六个阶段并不新鲜,很多医学 VQA 数据集都按"识别—诊断—治疗"分档。X-PCR 的不同在于强制依赖:模型必须先回答第一阶段,其答案(不只是图像)作为上下文进入第二阶段,依此类推。这样带来三个单题基准无法测量的量:

  1. 垂直一致性(Vertical Coherence):下游结论是否逻辑承接上游观察。例如模型在 AL 阶段说"黄斑区未见异常",却在 LC 阶段描述"黄斑囊样水肿",即为前后矛盾。
  2. 错误传播(Error Propagation):上游错误对下游的放大程度。IQA 判错"这张图合格",后续所有作答都建立在劣质证据上。
  3. 自一致性(Self-Consistency):同一病例在多次采样下诊断叙述是否稳定,反映模型的"信念漂移"。

这三项构成了"全链完成率"(Chain Completion Rate, CCR)的语义基础:CCR 不是六阶段准确率的平均,而是六阶段全部答对的样本占比。因此它会远低于平均准确率,也更能揭示真实能力。

3.2 六阶段逐级拆解

阶段 英文 核心问题 典型题型 依赖关系
1 IQA 这张图拍得够不够用于诊断? 四选一:清晰可用 / 轻度模糊仍可用 / 严重模糊不可用 / 存在伪影 门控,无前置依赖
2 AL 视盘、黄斑、血管弓在哪里? 定位与方位判断、象限选择 仅在 IQA 判"可用"后展开
3 LC 病灶是什么形态、什么分布? 出血/渗出/微血管瘤/玻璃膜疣的形态学描述 依赖 AL 的空间定位
4 DD 最可能的诊断是什么? 鉴别诊断排序、单选最可能 依赖 LC 的病灶证据
5 SG 严重到什么程度? 按国际分级量表定级(如糖网 ICDR 分级) 依赖 DD 成立后定级
6 CD 下一步怎么办? 观察 / 转诊 / 抗 VEGF / 激光 / 手术 依赖 SG 与临床上下文

IQA 的门控性是最容易被低估的设计。真实门诊里,约相当比例的眼底照因屈光介质混浊、瞳孔过小、睫毛遮挡而不能判读。模型若在这里"过于乐观"——把劣质图判成合格——后面所有的自信都是虚的。X-PCR 保留低质量影像作为无标签对抗样本,正是为了让这一步不可回避。

AL 与 LC 的分离也有临床依据。定位是"知道看哪里",表征是"看到什么",两者在住院医师训练中被分开考核:先学会找到视盘与黄斑的相对位置,再学会描述出血的层次与范围。模型在这两步的表现差异,往往反映其视觉编码器偏重全局构图还是局部纹理。

SG 是断崖所在。论文数据显示,从 DD 到 SG 的准确率跌幅是各段中最大的(约 -15.32 个百分点)。这与临床现实吻合:定级要求把形态学观察映射到一套离散量表,且量表随病种不同(糖网用 ICDR,AMD 用 AREDS,青光眼用视野与 RNFL 综合),模型的"知识调用"难度陡增。

CD 是终极考验。它要求的不只是医学知识,还有对处置边界的把握——什么情况该转诊、什么情况可以观察、抗 VEGF 的适应证怎么卡。这一步的题目由眼科医生逐条撰写,因为模板化生成无法产出有临床厚度的决策场景。

3.3 一座具体的阶梯:GPT-5 的六级剖面

论文给出的 GPT-5 分阶段准确率是一条清晰的下降曲线:

阶段 IQA AL LC DD SG CD
GPT-5 98.90 88.05 81.02 73.11 61.65 54.71
Gemini-2.5-Pro 94.58 84.05 71.15 72.48 58.07 37.35
InternVL-32B 94.35 83.25 74.17 71.01 54.82 43.22
Qwen2.5-VL-72B 93.13 81.54 72.51 67.15 53.52 47.06

四个模型画出的形状高度一致:从接近满分滑到及格线附近,跨度约 44 个百分点(GPT-5)。这不是某个模型的个体缺陷,而是当前 MLLM 的共性结构——感知强、决策弱。

值得注意的是 Gemini-2.5-Pro 在 CD 阶段只有 37.35,低于其 DD 阶段 72.48 近 35 个百分点,跌幅远大于 GPT-5。这说明"总均分接近"的模型在链的末端可能差异巨大,只看平均分的排行榜会掩盖临床可用性的真实差距。

3.4 链式设计的代价与局限

必须诚实指出三点局限:

  • 链式评测成本高。每个样本要串行跑六轮推理,21 个模型 × 177,868 条题意味着巨大的推理开销,这也解释了为何论文报告的是零样本、确定性解码条件下的结果,而未大规模做多次采样。
  • 强制依赖可能低估能力。若模型在 IQA 偶然判错,后续即便答对也可能被判为链断裂。论文用 CCR 与本阶段准确率(SWA)并列报告,正是为了缓解这一偏差,但读者仍需注意 CCR 的"乘法效应"——六阶段各 90% 准确率,理论上 CCR 上限只有约 53%。
  • 阶段划分本身有灰色地带。病灶表征与疾病诊断在临床上常常同时发生(看到硬性渗出即想到糖网),强行分步可能制造人工难度。X-PCR 的处理是把每阶段的问题模板限定在 2–10 个,尽量贴近该阶段的"最小充分描述",但边界模糊客观存在。

§4 跨模态推理:三种任务,一条证据链

4.1 为什么跨模态是眼科的特有难题

同一个病人,同一只眼,同一次就诊可能留下六种影像:外眼照记录前节外观,眼底照记录视网膜表面,FFA 记录血管灌注与渗漏,ICGA 记录脉络膜循环,OCT 记录断面的层间结构,RetCam 记录周边与小儿眼底。这些影像互补但不重合:FFA 上看不到视网膜下的积液厚度,OCT 上看不到灌注延迟,眼底照上看不到脉络膜息肉。

临床上,医生做的正是"把不同设备的信息缝合起来"。举例来说,糖尿病黄斑水肿的诊断链是:CFP 见到黄斑区硬性渗出与微血管瘤 → FFA 确认渗漏点与无灌注区 → OCT 量化中心凹厚度与囊样间隙 → 分级 → 决定抗 VEGF 方案。任何一环缺失,诊断的确定性都会下降。

4.2 三个任务族:从对齐到决策

X-PCR 把跨模态能力拆成三个递进的任务族:

(1)对应识别(Correspondence Identification)
给一对模态,要求指出语义等价的表现。论文的例子是"CFP 上的黄斑隆起 ↔ OCT 上的视网膜下积液(Subretinal Fluid, SRF)"。这测的是空间—语义映射:模型要理解同一病理改变在不同成像原理下的不同外观。

(2)诊断整合(Diagnostic Integration)
给对齐的多模态输入(如 CFP + FFA + OCT),要求综合互补线索给出最可能的诊断。这是临床上最常见的"多模态会诊"场景。

(3)模态选择(Modality Selection)
在诊断不确定时,推荐下一种最有信息量的检查。论文的典型例子是:当 CFP 与 OCT 提示可疑但不足以区分中心性浆液性脉络膜视网膜病变(CSC)与息肉状脉络膜血管病变(PCV)时,下一步应开 ICGA。这测的是"信息价值推理"(value-of-information reasoning),也是最能体现临床经济学与安全性的能力。

三个任务构成流水线:对应识别为诊断整合提供对齐证据,诊断整合的残余不确定性触发模态选择。这与真实门诊的"检查—思考—再检查"循环同构。

4.3 对齐的工艺:疾病中心框架

要把 51 个来源的数据对齐,X-PCR 建了两套机制:

标准化临床表征。每一种疾病由一个统一的"疾病—解剖—病灶—分级—处置"五元模式定义,并配套一张"模态 × 证据矩阵",规定跨模态锚点与术语映射。例如"糖尿病黄斑水肿"这一条目下,会规定 CFP 上的硬性渗出对应 OCT 的视网膜内液体,FFA 上的渗漏对应 OCT 的囊样改变,并统一各级别的术语写法。

时间对齐的多模态整合。同眼、相近时间点的影像在结构层与语义层双向对齐为标准样例(exemplar),再经六级质控保证跨模态的叙述连贯与分级一致。

这套工艺的价值在于它把"对齐"从人工找图变成了可审计的规则。代价是覆盖面受限:只有五元模式能清晰定义的疾病才能进入跨模态任务,罕见病中定义模糊者被排除在外。

4.4 模态贡献分数:谁在真正提供信息

论文定义了一个直观的指标——模态贡献分数(Modality Contribution Score, MCS):移除某一模态后的准确率下降百分比。设计意图很明确:高 MCS 表示该模态在决策中不可替代,低 MCS 表示模型可能根本没在用这条通道。

这一指标在实践中的用途是审计模型是否"看图说话"。已有大量研究表明,多模态模型在医学影像上会退化到依赖文本捷径(例如题干里出现"抗 VEGF"就猜 DME)。若去掉 OCT 后准确率几乎不掉,说明模型对该模态的信息实际未利用——这正是 X-PCR 用 MCS 想要暴露的失效模式。

4.5 "被多余图像干扰"的现象

论文摘要与结果部分都提到一个反直觉的发现:模型可能被额外图像干扰(distracted by additional images)。也就是说,当给模型更多模态而非更少时,部分模型的准确率反而下降。这在临床上不可接受——医生给的信息越全,判断应当越稳。该现象与 §4.4 的 MCS 互为印证:模型尚未学会"筛选与加权",只是把所有图像一把塞进上下文,结果被无关通道稀释。

§5 评测协议与结果:21 个模型的画像

5.1 指标定义

指标 全称 定义 方向
SWA Stage-Wise Accuracy 单阶段准确率 越高越好
CCR Chain Completion Rate 六级全部答对的样本占比 越高越好
ESA Expertise-Stratified Accuracy 按住院医师/主治/专家三档分层的准确率 越高越好
UAS Uncertainty-Aware Score 结合正确性与置信度的加权得分 越高越好
ECE Expected Calibration Error 置信度与经验准确率的分箱偏差 越低越好
MCS Modality Contribution Score 移除某模态后的准确率下降幅度 越高越说明该模态被利用

UAS 的计分逻辑值得细看:模型对每题自报 0 到 1 的置信度,回答被分为四类——正确且自信(CC)、正确但不自信(CU)、错误但不自信(IU)、错误且自信(IC)。每类赋一个基础分,再按难度与临床影响加权聚合。这一设计把"过度自信的错误"单列为最差类别,直接对应临床上的高风险行为:把正常误判为病变尚可复核,把病变误判为正常又笃定,才是真事故。

ECE 则是校准的标准度量:把置信度分箱,比较每箱内的平均置信度与经验准确率,加权求平均绝对偏差。ECE 低说明"说几分把握就真有几分对",是高 stakes 场景部署的前置条件。

5.2 总体排名与分层画像

论文 Table 2 的 21 个模型结果(平均准确率 %):

模型 类别 Avg R 级 A 级 S 级 CCR ECE↓ UAS
GPT-5 商用 76.24 80.64 76.19 62.92 24.47 0.062 74.32
Gemini-2.5-Pro 商用 69.61 75.71 70.68 54.76 0.77 0.072 68.26
GLM-4.5v 商用 67.57 77.91 69.19 47.45 0.12 0.091 65.33
GPT-5-nano 商用 66.90 73.23 69.28 50.75 3.46 0.076 64.63
Gemini-2.5-Flash 商用 65.80 73.29 65.48 49.03 0.69 0.087 66.24
Claude-Haiku-4.5 商用 61.84 65.50 59.89 50.48 0.12 0.086 60.91
InternVL-32B 开源 70.14 77.10 70.37 52.37 0.92 0.086 64.46
Qwen2.5-VL-72B 开源 69.15 74.89 70.11 55.69 13.77 0.075 66.37
Qwen3-VL-30B-A3B 开源 67.09 72.80 70.84 52.23 1.04 0.074 64.63
Qwen3-VL-8B 开源 64.72 72.73 61.49 48.93 0.45 0.093 61.51
InternVL-8B 开源 64.60 70.73 67.30 48.33 0.63 0.083 62.75
Qwen2.5-VL-7B 开源 65.54 74.81 68.43 45.55 0.24 0.074 63.11
LLaMA3-LLaVA-Next-8B 开源 56.90 67.83 53.67 40.48 0.00 0.101 53.22
ShareGPT4V-7B 开源 49.71 67.51 50.09 29.41 0.00 0.101 48.39
LLaVA-v1.5-13B 开源 48.00 55.17 51.02 35.75 0.06 0.102 45.78
LLaVA-v1.5-7B 开源 48.04 66.71 49.10 24.90 0.00 0.102 45.64
MedGemma-27B-IT 医学 65.21 74.19 64.63 46.14 0.06 0.087 61.74
Lingshu-7B 医学 61.66 70.18 65.15 41.89 0.18 0.092 58.18
HuatuoGPT-Vision-34B 医学 57.37 64.44 59.31 41.95 0.21 0.103 53.88
HuatuoGPT-Vision-7B 医学 51.22 54.22 55.23 39.69 0.06 0.103 48.99
LLaVA-Med-7B 医学 39.60 44.01 40.79 27.48 0.00 0.096 37.05

人类专家基线:

组别 人数 Avg R 级 A 级 S 级 CCR UAS
住院医师 23 67.69 82.43 71.34 48.17 8.39 63.78
主治医师 10 79.91 92.18 78.76 68.27 41.24 77.16
专科专家 8 82.85 95.88 91.28 83.63 62.48 90.63

从表里能读出四件事:

第一,没有任何模型跨过主治线。 最强的 GPT-5 平均 76.24,仍未达到主治的 79.91。它勉强超过了住院医师的 67.69,但那是因为住院医师在 S 级(专家级难题)只有 48.17,被高分段拉低。

第二,CCR 是分水岭,而非平均分。 GPT-5 的 CCR 是 24.47,Qwen2.5-VL-72B 是 13.77,其余绝大多数模型低于 1。一旦要求"六步全对",模型的真实能力立刻现形。而专家的 CCR 是 62.48,是 GPT-5 的 2.5 倍。这个差距比平均分的差距(6.6 个百分点)大一个数量级——平均分会说谎,链完成率不会。

第三,医学专用模型未形成优势。 MedGemma-27B-IT 的 65.21 低于同量级通用模型 InternVL-32B(70.14)与 Qwen2.5-VL-72B(69.15);HuatuoGPT-Vision-34B 仅 57.37。这支持论文的判断:领域知识灌注并不自动带来渐进推理能力。

第四,校准与准确率大体同向,但有例外。 GPT-5 的 ECE 最低(0.062),UAS 最高(74.32),属于"又准又稳"。GLM-4.5v 平均 67.57 高于 Gemini-2.5-Flash 的 65.80,但 ECE 0.091 高于后者 0.087——即更准却更不校准,这类模型在临床上需要额外的人工复核阈值。

5.3 难度分层揭示的结构性短板

把三档难度拆开看,规律非常一致:所有模型的准确率随难度单调下降,且 S 级跌幅最陡。

以 GPT-5 为例:R 级 80.64、A 级 76.19、S 级 62.92,首尾差 17.72。专家则是 95.88 → 91.28 → 83.63,首尾差 12.25。模型的跌幅比专家大,说明它在专家级推理上缺的不仅是知识,还有对复杂病例的整体把握。

更有意思的是住院医师组:R 级高达 82.43,甚至略高于 GPT-5 的 80.64;但 S 级只有 48.17。这说明"基础识别"这件事,人机已经持平甚至人略优,而差距完全集中在高阶推理。对 AI 落地而言,这是一个清醒的结论:把模型用在"筛查与初判"是合理的,用在"专家级疑难会诊"则风险极高。

5.4 模态维度的失败画像

论文明确指出的弱项是 OCT、FFA 与 ICGA。三者有共同特点:三维或时序信息的二维投影。OCT 是断层扫描,单张 B-scan 只覆盖一个切面,判断需要上下若干层联合看;FFA 是动态过程(动脉期、静脉期、晚期),单帧看不出渗漏的演变;ICGA 更依赖对脉络膜血管形态的空间想象。

这正是通用视觉编码器的软肋:它们擅长"物体在哪、是什么",不擅长"结构在三维里怎么排布、随时间怎么变"。相比之下,CFP 与 EP 是平面的、静态的、构图规则的,模型容易吃透。

这也解释了为什么"被多余图像干扰"现象会出现:当模型能力不足以从 OCT 序列中提取层间关系时,额外的扫描帧只是噪声。

§6 获取与许可:一道半开的门

6.1 三条入口

入口 地址 内容 门槛
HuggingFace 数据集 Fantasy666/X-PCR 五模态 Parquet 分片(CFP 5 片、OCT 2 片、FFA/RetCam/外眼各 1 片),约 3.5 GB 无需登录、非 gated
GitHub 代码 CVI-SZU/X-PCR 评测脚本 evaluate.py、指标脚本 compute_metrics.py、requirements 公开
论文 arXiv:2604.20350 方法、结果、附录 公开

下载方式两种,任选其一:

# 方式一:git lfs
git lfs install
git clone https://huggingface.co/datasets/Fantasy666/X-PCR

# 方式二:datasets 库(推荐,自动缓存与切分)
from datasets import load_dataset
ds = load_dataset("Fantasy666/X-PCR", "cfp")

需要说明的是,国内网络环境访问 HuggingFace 主站常被限速或阻断,实践中的可行路径是设置镜像端点后走 hf-mirror.com,或直接以 git clone https://hf-mirror.com/datasets/Fantasy666/X-PCR 拉取。镜像端点的数据与主站一致(同一 commit 哈希),不必担心内容差异。

6.2 许可:一张写得很谨慎的声明

GitHub README 的 License 段落原文意为:数据集仅限学术研究用途(academic research purposes only),使用前请阅读数据集许可与使用协议。HuggingFace 侧未挂 SPDX 许可标签(数据集元数据中无 license: 字段序列),第三方目录站对许可的规范化描述为"未知或不明,请勿推定已获授权"。

这一状态对使用者意味着三件事:

  1. 学术研究可以放心用。论文、课程、方法对比等非商业场景没有障碍。
  2. 商业用途无明确授权。即使影像本身来自 CC BY 类的上游数据集,重组后的 VQA 标注、模板体系与对齐结构均为团队新增,其授权需单独确认。
  3. 上游许可需逐源回溯。51 个数据集各有各的条款(有 CC BY-NC,有自定义研究协议,有需签署 DUA 的),X-PCR 未提供"逐源许可映射表"。若你的应用场景敏感(如医疗器械注册),必须自行建立来源—许可对照。

院内 58 例的合规路径是清晰的:IRB 批准 + 知情同意 + 研究用途,这也是唯一不涉及上游继承的部分。

6.3 版本与时间线

日期 事件 证据
2026-05-15 HuggingFace 仓库创建 HF API createdAt
2026-05-23 HF 仓库最后修改(commit 06a318f) HF API lastModified
2026-05-28 论文发布、数据集发布(README News 双条) GitHub README
2026-05-28 第三方目录站记为首次发布日 EyeDataHub 目录条目
2026-06-20 评估代码"即将发布"(News 措辞) GitHub README

注意时间线上的一个小矛盾:HF 仓库的创建与最后修改日期(5 月 15 日、5 月 23 日)早于 README 宣称的发布日(5 月 28 日)。合理解释是仓库先建后公开,News 记录的是对外宣布日。引用时建议写"2026 年 5 月发布",避免精确到日引发争议(坑 5)。

另一个待核点:News 里 “Evaluation code will be released soon”(2026-06-20)与仓库中已出现 evaluate.py 的 Quick Start 描述存在张力。可能的情况是代码已上传但未正式宣布,或 README 的 Quick Start 是前瞻性写法。下载后请先核对 evaluate.py 是否实际存在,不要按 README 直接跑(坑 6)。

6.4 AI-Ready 评估

维度 评分(1-10) 依据
D 可发现性 8 arXiv + GitHub + HF 三处可索引;论文标题关键词明确;但"X-PCR"缩写与 PCR 检测易混淆,检索需加 ophthalmology
A 可获取性 8 HF 公开直链、非 gated、Parquet 标准格式;扣分项为 ICGA 子集与院内 58 例未见独立公开入口
I 可互操作 7 Parquet + HF datasets 生态良好;但字段 schema 未在卡片中显式声明,需自行探查;无 DICOM 转换
M 元数据质量 7 论文表格完备、指标定义清晰;扣分项为分模态占比不全(仅 OCT/CFP 有百分比)、51 源清单未在正文列出
S 可持续性 6 依赖个人账号(Fantasy666)托管,非机构组织账号;无版本标签(tag/revision)供长期锁定
综合评级 7.2/10(中上) 开放度优于同类基准;元数据完整度与长期托管稳定性是主要短板

§7 生态与定位:它在眼科 AI 版图里的坐标

7.1 与单模态眼科数据集的代际差

眼科公开数据的演化大致可分三代:

第一代:分类数据集。 代表是 EyePACS 与 APTOS-2019(糖网五级分类)、ODIR-5K(眼科多病种)、Messidor(DR 分级)、OCT2017(Kermany 的 OCT 四分类)。它们的共同点是"一图一标签",推动了 CNN 时代的眼科 AI 爆发,但也固化了"分类即智能"的认知。

第二代:病灶级与分割数据集。 代表是 e-ophtha(微动脉瘤与硬性渗出像素标注)、DeepDRiD(图像质量与 DR 分级双任务)、IDRiD、OIMHS(OCT 分层分割)。这一代开始关注"病灶在哪",但仍以单模态为主。

第三代:推理与多模态基准。 X-PCR 属于这一代,与 MedFrameQA(视频多帧问答)同属"过程评测"路线。它们的共同主张是:医学 AI 的瓶颈已从感知转向推理。

X-PCR 的特殊之处在于它同时具备第三代的两个特征:多模态(六种设备)与多阶段(六级链条)。多数同类基准只占其一。

7.2 与通用医学 VQA 基准的差异

维度 VQA-Med / SLAKE / PathVQA MedFrameQA X-PCR
模态数 1–2 视频单模态 6
是否分阶段 否(单题) 否 是(6 级,强制依赖)
是否有跨模态对齐标注 否 否 是(同眼同期)
是否有难度分层 否 否 是(R/A/S 三档)
是否测置信校准 否 否 是(UAS/ECE)
是否有全链完成率 否 否 是(CCR)
影像数 千至万级 视频级 26,415
问答数 千至万级 千级 177,868

这张表解释了为什么 X-PCR 的结论比"某模型在某数据集上刷到 90%“更有信息量:它不只问"对不对”,还问"六步是否都对"、“错在哪一步”、“错得自不自信”、“有没有真的用到第二张图”。

7.3 与基础模型的谱系关系

论文在相关工作里把眼科 MLLM 的谱系梳理为三条线:

  • 通用视觉语言模型:LLaVA、BLIP-3、Flamingo 奠定的"冻结 LLM + 视觉编码器"范式,以及 GPT-5、LLaMA-4 等前沿通用模型。X-PCR 的评测集里,商用与开源通用模型占 16/21。
  • 医学专用 MLLM:LLaVA-Med、Med-Flamingo、Med-PaLM M、华佗 GPT、灵枢(Lingshu)、MedGemma,通过生物医学语料继续预训练或多模态指令微调获得领域知识。评测里占 5/21。
  • 眼科基础模型:RETFound 以 160 万张视网膜图像自监督预训练,在多项眼科任务上展示了强迁移性。X-PCR 未把 RETFound 纳入评测(它是分类/分割骨干而非生成式 MLLM),但其"领域预训练有效"的结论与 X-PCR"领域知识不足以支撑推理"的发现形成有趣张力——预训练能提升表征,但不自动带来多步推理。

7.4 对下游的启示

对模型开发者:CCR 是最该盯的指标。若你的模型平均分 70 但 CCR 接近 0,说明它"每题都会一点,但没有一例能走完全程",这在临床上等于不可用。改进方向不在扩大参数量,而在训练模型维持长链条一致性(如显式的中间状态记录与自校验)。

对临床研究者:S 级分层结果提供了一个现实参照——AI 在住院医师级任务上已有竞争力,在专家级仍有 20 个百分点以上差距。这支持"AI 辅助初筛 + 专家终审"的分工,而非"AI 替代专家"。

对数据集建设者:X-PCR 的六级链是可以迁移的模板。皮肤病、病理、影像科都有类似的"质量—定位—表征—诊断—分级—处置"结构,把它写成协议比再造一个分类数据集更有价值。

7.5 库内可互链条目

按标签相关度与主题邻近度,建议在发布后与以下条目建立互链(rid 为当前在架实查值,最终以主会话入库后统一回填为准):

  • oct2017(rid 311):OCT 四分类,是本基准 OCT 子集的上游来源之一(kermany_oct 在第三方目录站的派生关系中被点名)。
  • odir(rid 63):ODIR-5K 多病种眼底集,与 X-PCR 的 CFP 多病种设计同源。
  • eyepacs(rid 58):糖网分类的经典上游。
  • aptos-2019(rid 61):糖网分级上游。
  • deepdrid(rid 211):图像质量 + DR 分级双任务,与 X-PCR 的 IQA 阶段直接呼应。
  • e-ophtha(rid 231):病灶级标注,对应 X-PCR 的 LC 阶段。
  • oimhs(rid 745):OCT 分层分割,可支撑 OCT 阶段的空间理解讨论。
  • medframeqa(rid 1066):同为"过程化评测"路线,方法学可互参。
  • slake(rid 250)与 vqa-med(rid 280):医学 VQA 的经典参照系。
  • mmedc(rid 1126):多语言医学语料,若做中文眼科 MLLM 可作预训练补充。

§8 工程复现:从下载到出分

8.1 环境搭建

git clone https://github.com/CVI-SZU/X-PCR.git
cd X-PCR
conda create -n xpcr python=3.10 -y
conda activate xpcr
pip install -r requirements.txt

Python 3.10 是 README 指定版本,主要受 datasets、transformers 与图像解码库的兼容性约束。

8.2 跑评测

python evaluate.py \
    --data_path ./data/test.json \
    --image_root ./data/images \
    --model_name your_model_name \
    --output_path ./outputs/predictions.json

8.3 算指标

python compute_metrics.py \
    --prediction_path ./outputs/predictions.json \
    --annotation_path ./data/test.json

输出应包含 SWA、CCR、ESA、UAS、ECE 五组指标;若你要复现模态贡献分数,需额外做留一模态(leave-one-modality-out)的对照实验,脚本未内置一键开关,需自行改写数据加载逻辑。

8.4 自己加载 HF 分片的骨架

from datasets import load_dataset

for subset in ["cfp", "oct", "ffa", "retcam", "external_eye"]:
    try:
        ds = load_dataset("Fantasy666/X-PCR", subset)
        print(subset, {k: len(v) for k, v in ds.items()})
    except Exception as e:
        print(subset, "skip:", e)

先用这段代码把实际行数与字段名打出来,再决定是否按 README 的 train/val/test 结构组织。不要假设字段名与论文表格一致——HF 卡片未声明 schema,字段名需实测(坑 3)。

8.5 评测时的四个工程注意点

  1. 图像分辨率。OCT 与 CFP 的原始分辨率差异极大,统一缩放到模型输入尺寸时,OCT 的层间细节最易丢失。建议对 OCT 单独做切块或提高分辨率。
  2. 多图输入的 token 预算。跨模态任务一次要给多张图,若模型的视觉 token 上限小,会被迫降采样,导致"给得越多越差"。
  3. 确定性解码。论文报告的是零样本、确定性(贪心)解码,复现时务必关掉 temperature 随机性,否则 CCR 波动很大。
  4. 置信度提取。UAS 与 ECE 依赖模型自报置信度,不同模型的"信心表述"格式不同(有的给百分比,有的给文字),需要统一的解析层,否则指标不可比。

§9 避坑清单:九个已踩过的坑

坑 1:把 177,868 当成 HF 下载完整性的校验值。
HF 分片行数与 VQA 条数不是同一量纲。第三方目录站在 commit 06a318f 上记到 18,735 行,而论文写 177,868 条问答。若你用 len(ds) 去比对 177,868,会误判"下载残缺"。正确做法:以实际 DataFrame 的字段结构判断一条记录承载几道题。

坑 2:按 GitHub README 的目录结构写死路径。
README 给的 images/{CFP,OCT,FFA,ICGA,EP,RetCam}/ 与 annotations/{train,val,test}.json 是完整发布版的约定;HF 镜像实际是 cfp/、oct/、ffa/、retcam/、external_eye/ 五个小写目录,全是 test-0000x 分片,且未见 ICGA 目录。按 README 写的代码会直接 FileNotFound。

坑 3:假设字段名。
HF 数据集卡未声明 schema。stage、difficulty、answer 这些字段是否叫这个名字、难度是字符串还是整数,都必须先用 ds["test"].features 打出来确认。

坑 4:拿"52 种病"当类别数去做分类头。
52 是疾病种类总数,但 VQA 是问答而非分类;且八类中"罕见病"是合并类,内部不均衡。做分类实验时应使用你实际数据中的 category 取值,而非论文的 52。

坑 5:引用精确发布日。
HF 仓库创建于 2026-05-15、最后修改 2026-05-23,README News 写 2026-05-28 发布。三个日期不一致,写"2026 年 5 月发布"最稳妥。

坑 6:假定 evaluate.py 一定存在且可跑。
README News 在 2026-06-20 仍写"评估代码即将发布",而 Quick Start 已给出运行命令。下载后先 ls 确认脚本存在,并检查 requirements.txt 是否齐全。

坑 7:把许可当成 CC BY 直接用。
"仅限学术研究用途"是明确限制。即便上游某个数据集是 CC BY,重组后的标注与 VQA 结构属新增作品,商用需单独获得授权,且要逐源回溯。

坑 8:用平均准确率做模型选型。
GPT-5 平均 76.24 与主治 79.91 只差 3.67 个百分点,看起来"接近主治";但 CCR(24.47 vs 41.24)差 16.77,S 级准确率(62.92 vs 68.27)也落后。选型看 CCR 与 S 级,不要看平均分。

坑 9:认为"多给几张图一定更好"。
论文报告了模型被额外图像干扰的现象。做多模态实验时,务必做留一模态消融,确认每一路输入都在贡献信息,而不是充当噪声。

§10 结论与判断

10.1 三句话总结

  1. X-PCR 把眼科诊断拆成六级因果链与三种跨模态任务,用 26,415 张影像、177,868 条 VQA 和 41 位医生基线,第一次系统测量了多模态大模型"能否走完整个诊断流程"。
  2. 结论是清醒的:最好的 GPT-5 在图像质量评估上已达 98.90%,到临床决策只剩 54.71%,六级全对率 24.47%,不足专科专家(62.48%)的一半。
  3. 它最大的方法论贡献不是数据规模,而是把"过程"变成可计分的对象——CCR、UAS、ECE、MCS 四个指标分别对应一致性、校准、模态利用,都是单题基准测不出来的维度。

10.2 适合谁

  • 做多模态医学模型评测、需要"过程指标"而非"分类准确率"的研究团队。
  • 建设眼科临床决策支持系统、需要量化模型在分级与处置上的短板的产品团队。
  • 研究基准方法学、关注"如何设计可诊断失效模式的评测协议"的学者。
  • 需要中文眼科 AI 综述素材的写作者(八类病种与六模态的划分可直接引用)。

10.3 不适合谁

  • 想要大规模训练数据做预训练的团队——它是评测集,不是训练语料,且许可限学术。
  • 需要原始 DICOM 与患者级随访的临床研究——数据已脱敏重组,无纵向信息。
  • 需要商业授权直接落地产品的团队——许可未开放商用,需单独谈判。

10.4 30 秒决策卡

你的需求 建议
评测自家眼科 MLLM 直接用,跑 CCR 与 S 级准确率
复现 GPT-5 的 76.24 需要商用 API,且解码策略要固定
训练一个眼科模型 用上游 51 个数据集,不要用 VQA 做训练目标
做多模态对齐研究 重点用院内 58 例的对齐标注(需确认公开性)
商用落地 先解决许可,再谈技术

FAQ(高频问答 30 问)

A. 基础认知

1. X-PCR 的 X 是什么?
Cross-modality(跨模态)。PCR 是 Progressive Clinical Reasoning(渐进临床推理)。合起来是"跨模态渐进临床推理",不是聚合酶链反应。

2. 它属于哪个学科?
眼科(ophthalmology)。八类病种全部为眼病,六种设备全部为眼科影像设备。注意与同批次皮肤科条目区分,两者缩写相近但域完全不同。

3. 论文发表在哪?
arXiv 编号 2604.20350;GitHub 引用条目标注为 CVPR 2026(IEEE/CVF 计算机视觉与模式识别会议)。

4. 谁做的?
深圳大学计算机与软件学院 CVI 实验室。作者为 Wang Gui、Zhong Zehao、Zhou YongSong、Li Yudong、Wu Ende、Cheah Wooi Ping、Qu Rong、Ren Jianfeng、Shen Linlin。资助包括国家自然科学基金(62576216)、宁波市科技局项目、广东省重点实验室与深圳大学智能计算中心。

5. 它和"医疗大模型评测"有什么不同?
多数医疗评测是"问答准确率",X-PCR 是"流程一致性"。它要求模型在六步上保持逻辑连贯,并测量错误如何从上游传导到下游。

B. 数据与获取

6. 数据量到底多少?
26,415 张影像、177,868 条 VQA、51 个上游数据集、58 例院内病例、52 种病、8 个疾病大类、6 种模态。这几组数字量纲不同,不可相加。

7. 在哪下载?
HuggingFace Fantasy666/X-PCR,约 3.5 GB,Parquet 格式。国内可走 hf-mirror 镜像。

8. 需要申请吗?
不需要,仓库非 gated。但许可限制为学术研究用途,商用需另行授权。

9. 有 ICGA 吗?
论文明确将 ICGA 列为六模态之一,但 HF 公开目录中未见独立 icga/ 子集,可能并入 FFA 或尚未公开。以实际下载清单为准。

10. 院内 58 例公开吗?
未见独立发布入口。论文说明其采集经 IRB 批准与知情同意,但未提供下载链接。若研究依赖这部分,需联系作者。

11. 有中文吗?
VQA 主体为英文(医学标准术语),未提供中文版本。中文眼科模型评测需自行翻译并重新校验。

12. 有没有训练集?
HF 分片全部以 test- 命名,未见 train/val 分片。若要做微调,需自行划分或使用上游原始数据集。

C. 设计与指标

13. 六级真的强制依赖吗?
是。上游作答作为下游上下文输入,这是与"分阶段独立打分"的根本区别。

14. CCR 怎么算?
六阶段全部答对的样本数除以总样本数。因此它是乘法效应的结果,会显著低于平均准确率。

15. UAS 惩罚什么?
惩罚"错误且自信"(IC 象限)。正确但不确定的扣分较轻,错误但自信的扣分最重。

16. ECE 多少算好?
越低越好。GPT-5 的 0.062 是本批最低;0.10 以上(如 LLaVA 系列)说明置信度与实际准确率脱节明显。

17. MCS 是什么?
模态贡献分数,移除某模态后的准确率下降百分比。用于审计模型是否真的在用每一个通道。

18. 难度三档怎么定?
住院医师级为基本识别与定位,主治级为结合上下文的诊断与解读,专家级为亚专科推理与决策。由眼科医生逐题标注。

D. 结果解读

19. GPT-5 真的接近主治了吗?
平均分接近(76.24 vs 79.91),但 CCR 只有 24.47(主治 41.24),专家级准确率 62.92(主治 68.27)。结论是"接近但不合格"。

20. 为什么医学专用模型反而弱?
领域知识灌注提升的是"知道什么",渐进推理需要"如何组织推理"。论文的结论是领域知识本身不足以支撑多步推理。

21. 为什么 OCT 和 FFA 最难?
它们承载三维或时序信息,单帧无法完整表达,通用视觉编码器缺乏对层间关系与灌注动态的建模能力。

22. "被多余图像干扰"是什么现象?
给模型更多模态输入时,部分模型准确率下降。说明其未能筛选与加权,额外通道成了噪声。

23. 住院医师为什么在 R 级上超过 GPT-5?
R 级是基础识别,人类视觉系统在规则图像上的判断仍具优势(82.43 vs 80.64);差距出现在 S 级(48.17 vs 62.92,此处模型反超,说明住院医师的经验尚不足以应对专家级题目)。

24. 41 位医生够做基线吗?
分层为 23/10/8,专家档仅 8 人,统计功效有限。结论方向可信,精确数值应谨慎外推。

E. 工程与实践

25. 复现需要多大算力?
取决于被测模型。本地 7B 级模型单卡可跑;GPT-5 等商用模型需 API。177,868 条题 × 六级串行,推理成本高,建议先抽样。

26. 能只跑某一级吗?
技术上可以,但会破坏因果依赖,只能得到 SWA,无法得到 CCR。若目的是快速摸底,可先跑 IQA 与 CD 两端。

27. 输出格式怎么定?
evaluate.py 期望 predictions.json,字段需与 test.json 的 id 对应。具体结构请以仓库脚本为准,未见文档详细说明。

28. 图像要不要预处理?
建议按模态分别处理:CFP 保持原始宽高比,OCT 保留层结构(避免强压缩),RetCam 注意广角畸变。

29. 如何做留一模态实验?
需要自行构造只含部分模态的输入,复用同一批题目,比较准确率差。脚本未内置该开关。

30. 结果可以写进论文吗?
可以。引用时请同时标注论文(arXiv:2604.20350)与数据集(HF Fantasy666/X-PCR),并说明所用子集与解码设置。

事实清单(硬事实 36 条)

编号 事实 来源
F01 影像总数 26,415 张 论文摘要 / GitHub README
F02 VQA 总数 177,868 条 同上
F03 上游公开数据集 51 个 同上
F04 覆盖 52 种眼科疾病 同上
F05 疾病大类 8 类 论文方法节
F06 影像模态 6 种(EP/CFP/FFA/ICGA/OCT/RetCam) 论文与 README
F07 院内多模态病例 58 例 论文方法节
F08 OCT 占 VQA 量 31% 论文结果节
F09 CFP 占 VQA 量 26% 同上
F10 六级链为 IQA→AL→LC→DD→SG→CD 论文方法节
F11 每阶段 2–10 个问题模板 论文方法节
F12 前五级由 GPT-5 生成、Gemini-2.5-Pro 审核 论文方法节
F13 第六级由眼科医生手工撰写 同上
F14 20% 题目经第二位眼科医生独立复核 同上
F15 一致性阈值 κ=0.8,低于则仲裁 同上
F16 评测模型 21 个(6 商用 + 10 开源 + 5 医学) 论文结果节
F17 人类基线 41 人(23 住院 + 10 主治 + 8 专家) 论文 Table 2
F18 GPT-5 平均准确率 76.24% 论文 Table 2
F19 GPT-5 CCR 24.47% 同上
F20 GPT-5 IQA 98.90%,CD 54.71% 论文分阶段表
F21 专家平均 82.85%,CCR 62.48% 论文 Table 2
F22 主治平均 79.91%,CCR 41.24% 同上
F23 住院医师平均 67.69%,CCR 8.39% 同上
F24 DD→SG 跌幅最大,约 15.32 个百分点 论文结果节
F25 无模型超过主治平均分 由 Table 2 推得
F26 GPT-5 ECE 0.062 为最低 论文 Table 2
F27 三个跨模态任务族:对应识别、诊断整合、模态选择 论文方法节
F28 五元模式:疾病—解剖—病灶—分级—处置 同上
F29 HF 数据集名 Fantasy666/X-PCR HF API 实查
F30 HF 仓库 commit 06a318fd852230326386e3c6514d8a11b7a6b4af HF API 实查
F31 HF 存储量 3,515,462,776 字节(约 3.5 GB) HF API usedStorage
F32 HF 顶层目录 5 个(cfp/oct/ffa/retcam/external_eye) HF API 文件树
F33 CFP 5 片、OCT 2 片、其余各 1 片 HF API 文件树
F34 许可为仅限学术研究用途,未给 SPDX GitHub README
F35 论文资助 NSFC 62576216 等 论文致谢
F36 代码仓库 CVI-SZU/X-PCR GitHub

术语表(30 条)

术语 英文/缩写 释义
跨模态渐进临床推理 X-PCR 本基准名称,强调跨设备证据整合与分步推理
多模态大模型 MLLM 可同时处理图像与文本的大规模模型
彩色眼底照相 CFP 眼底后极部的彩色平面成像,筛查首选
荧光素眼底血管造影 FFA 静脉注射荧光素后连续拍摄,观察血管灌注与渗漏
吲哚菁绿血管造影 ICGA 观察脉络膜循环,用于 PCV 等
光学相干断层扫描 OCT 断层成像,显示视网膜层间结构
广域小儿眼底成像 RetCam 接触式广角成像,用于新生儿眼底筛查
外眼照相 EP 眼睑、结膜、角膜等前节外观成像
图像质量评估 IQA 六级链第一级,判断影像可否用于诊断
解剖定位 AL 第二级,识别视盘、黄斑等结构位置
病灶表征 LC 第三级,描述病灶形态与分布
疾病诊断 DD 第四级,给出最可能诊断
严重度分级 SG 第五级,按量表定级
临床决策 CD 第六级,给出处置建议
分阶段准确率 SWA 每一级单独的正确率
全链完成率 CCR 六级全对的样本占比
难度分层准确率 ESA 按 R/A/S 三档分别统计的准确率
不确定性感知分数 UAS 结合正确性与置信度的加权得分
期望校准误差 ECE 置信度与经验准确率的加权偏差
模态贡献分数 MCS 移除某模态后准确率下降幅度
住院医师级 Resident ® 基础识别与定位难度
主治级 Attending (A) 结合上下文的诊断解读
年龄相关性黄斑变性 AMD 黄斑区退行性病变
糖尿病视网膜病变 DR 糖尿病微血管并发症
病理性近视 PM 高度近视伴眼底退行性改变
视网膜静脉阻塞 RVO 视网膜静脉回流受阻
高血压视网膜病变 HTR 高血压导致的眼底血管改变
息肉状脉络膜血管病变 PCV 脉络膜异常血管网伴息肉,需 ICGA 确诊
抗血管内皮生长因子 anti-VEGF 治疗黄斑水肿与新生血管的主流药物
AI-Ready AI-Ready 数据可直接被模型读取、切分与评测的成熟度

附录

附录 A:条目信息速查卡

项 值
slug x-pcr
官方名 X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis
论文 arXiv:2604.20350 / CVPR 2026
代码 https://github.com/CVI-SZU/X-PCR
数据 https://huggingface.co/datasets/Fantasy666/X-PCR
模态 EP / CFP / FFA / ICGA / OCT / RetCam
规模 26,415 图 / 177,868 VQA
许可 学术研究用途
抓取时点 2026-10-17
库内互链 oct2017(311)/odir(63)/eyepacs(58)/aptos-2019(61)/deepdrid(211)/e-ophtha(231)/oimhs(745)/medframeqa(1066)/slake(250)/vqa-med(280)/mmedc(1126)

附录 B:DAIMS 评估全表

维度 评分(1-10) 依据
D 可发现性 8 arXiv/GitHub/HF 三处可索引;缩写易与 PCR 检测混淆,需加限定词
A 可获取性 8 HF 直链非 gated;ICGA 与院内 58 例无独立入口
I 可互操作 7 Parquet + HF 生态;无显式 schema 声明,无 DICOM 通道
M 元数据质量 7 论文表格完备;模态占比仅两项、51 源清单缺失
S 可持续性 6 个人账号托管,无版本标签
综合评级 7.2/10(中上) 开放度优于同类;稳定性与文档完整度是短板

附录 C:逐项证据链自证

关键数字 来源 位置
26,415 / 177,868 / 51 / 52 论文摘要;GitHub README;HF 卡片 三处一致
OCT 31% / CFP 26% 论文结果节 正文
六级定义 论文方法节;GitHub Benchmark Design 两处一致
GPT-5 76.24 / CCR 24.47 论文 Table 2 结果表
专家 82.85 / CCR 62.48 论文 Table 2 结果表
41 位医生分层 论文 Table 2 结果表
HF 3.5 GB / 5 目录 HF API 实查 api/datasets
commit 06a318f HF API sha 字段 实查
许可表述 GitHub README License 段 仓库
资助编号 62576216 论文致谢 文末

附录 D:数据获取决策树

你需要什么?
├── 只是评测一个现成模型
│   └── HF 下载五模态 parquet → 按 README 跑 evaluate.py
├── 要复现论文的 CCR
│   └── HF 下载 → 固定贪心解码 → 六级串行 → compute_metrics.py
├── 要做跨模态实验
│   ├── 有 ICGA 需求 → 先核对 HF 是否有 icga 子集,否则联系作者
│   └── 只需 CFP+OCT → cfp/ 与 oct/ 两个目录足够
├── 要做院内对齐研究
│   └── 58 例未见公开入口 → 邮件联系通讯作者,说明研究用途
└── 要商用
    └── 许可仅学术 → 需逐源回溯 51 个上游许可 → 单独洽谈

附录 E:六级链的题目模板设计要点

阶段 模板数 干扰项来源 生成方式 人工介入
IQA 2–10 质量等级形容词 GPT-5 Gemini 审核
AL 2–10 解剖结构名词 GPT-5 Gemini 审核
LC 2–10 病灶形态名词 GPT-5 Gemini 审核
DD 2–10 同系统疾病名 GPT-5 Gemini 审核
SG 2–10 分级刻度 GPT-5 Gemini 审核
CD 专家撰写 处置方案 眼科医生 主治复核

设计上的巧思在于干扰项的采样规则:从同属性名词池抽取,而非随机词。例如 LC 阶段的干扰项一定是"另一种病灶形态"(如把"点状出血"与"火焰状出血"并列),这样模型不能靠"这个词看起来不像病灶"蒙对,必须真正理解形态差异。

附录 F:UAS 四象限计分示意

象限 条件 临床含义 计分倾向
CC 答对且自信 可靠判断 最高分
CU 答对但不自信 正确但犹豫,可被专家确认 中高分
IU 答错但不自信 犹豫的错误,可被复核拦截 中低分
IC 答错且自信 高危误判,最易造成临床事故 最低分

这一设计的临床逻辑很清楚:犹豫的错误可以补救,笃定的错误不能。因此 IC 象限的惩罚权重最高,这正是"不确定性感知"的含义。

附录 G:评测流程复现骨架(伪代码)

stages = ["IQA", "AL", "LC", "DD", "SG", "CD"]
results = {}

for sample in dataset:
    context = sample["clinical_vignette"] if "clinical_vignette" in sample else ""
    history = ""
    stage_ok = []
    for st in stages:
        q = build_question(sample, st, history)
        pred, conf = model.predict(images=sample["images"], question=q, context=context)
        ok = (pred == sample["answers"][st])
        stage_ok.append(ok)
        history += f"\n[{st}] 你的回答:{pred}"
        results.setdefault(st, []).append((ok, conf))

    results.setdefault("CCR", []).append(all(stage_ok))

要点有三:一是 history 必须累积,否则失去链式依赖;二是 images 在跨模态任务中是一组而非一张;三是 conf 必须与 pred 同步记录,否则无法算 UAS。

附录 H:与同批次皮肤科条目的区分说明

本批次另有一条形近条目 dermverse-x-pcr,属皮肤科域。二者缩写字面相近(都含 “PCR”),但:

维度 x-pcr(本条) dermverse-x-pcr
学科 眼科 皮肤科
模态 CFP/FFA/ICGA/OCT/RetCam/EP 皮肤病影像
主要任务 六级渐进推理 + 跨模态 以该项自身文档为准
团队 深圳大学 CVI 以该项自身文档为准
用途 不可互相替代 不可互相替代

检索时请以学科限定词区分,切勿因缩写相近而合并条目。本处仅作消歧说明,不构成对另一条目的内容陈述。

附录 I:八类疾病的临床要点速查

大类 缩写 关键影像 分级依据 常见陷阱
糖尿病视网膜病变 DR CFP + OCT + FFA ICDR 五级 把棉絮斑当作渗出
青光眼 GLA CFP 视盘 + OCT RNFL 杯盘比与视野 仅凭杯盘比漏诊正常眼压型
白内障 CAT EP 裂隙灯像 LOCS 分级 核硬度与皮质混浊混淆
年龄相关性黄斑变性 AMD CFP + OCT + FFA AREDS 干湿型判断错误
高血压视网膜病变 HTR CFP Keith-Wagener 与糖网出血混淆
病理性近视 PM CFP + OCT 眼轴与后巩膜葡萄肿 漆裂纹与新生血管鉴别
视网膜静脉阻塞 RVO CFP + FFA + OCT 缺血/非缺血 漏判无灌注区
罕见眼病 Rare 多模态 病种特异 样本少导致模型偏置

附录 J:52 种疾病的分布推断与注意事项

论文未提供逐病种的影像计数,只说明按真实患病率平衡常见与罕见病。这一处理在临床上合理(常见病应占多数),但对评测有副作用:罕见病类的单病种样本极少,其准确率的方差很大。若你的研究报告"罕见病分类准确率 60%",需同时给出该类的样本量,否则数字不可解读。

另外,八类中的"罕见病"是一个合并桶(Rare),内部包含多种疾病。这意味着"52"这个数字的构成是:七类常见病(DR、GLA、CAT、AMD、HTR、PM、RVO)下的若干亚型 + 罕见病桶下的多个病种。做细粒度分析时,应按 category 字段而非"52"来分组。

附录 K:模态选择任务的临床价值

"下一步该开什么检查"看似是道小题,实则最贴近临床决策的核心。原因有三:

  1. 检查有创且昂贵。FFA 需要静脉注射,有过敏与恶心风险;ICGA 更甚;OCT 虽无创但占用设备时间。医生必须在信息收益与成本之间权衡。
  2. 顺序影响结论。先做 OCT 再做 FFA 与反过来,看到的信息组织方式不同,诊断路径也不同。
  3. 错误选择有真实后果。漏开必要的造影可能延误 PCV 诊断,滥开造影则增加患者风险。

X-PCR 用"信息价值推理"来刻画这一能力,是当前基准里较少见的视角。多数医学 VQA 只考"知道答案",不考"知道该问什么"。

附录 L:与人类基线的对照读法

三组医生的结果需要分开读,不能简单平均:

  • 住院医师(23 人):R 级 82.43,说明基础训练扎实;S 级仅 48.17,接近随机猜测水平以上的挣扎。这符合"经验不足"的画像。
  • 主治医师(10 人):R 级 92.18、A 级 78.76、S 级 68.27,曲线平缓。这是临床主力,也是 AI 应当对标的第一道线。
  • 专科专家(8 人):S 级 83.63,CCR 62.48。这是"上限参照",说明这条链在人类专家手里是可以走通的——CCR 低不是任务设计不合理,而是能力不足。

特别提醒:住院医师的 S 级 48.17 低于 GPT-5 的 62.92。这不是说住院医师不如 AI,而是说这批题目对住院医师而言超出其训练范围。引用时若不加说明,容易被误读为"AI 超过医生"。

附录 M:本条目与上游数据集的互链谱系

第三方目录站(EyeDataHub)在 commit 06a318f 上记录的派生关系包含以下上游(按该站标注):

aptos2019、beh、deepdrid、eye_disease_image_mendeley、eyepacs、harvard_gdp、jsiec、kermany_oct、mured、oct_c8、octid、odir2019、oimhs、rfmid2 等。

这一清单是第三方根据数据集内源标签推断的,并非论文官方发布的完整 51 源清单。因此:

  • 可用于快速定位常见上游在库内的对应条目(如 kermany_oct → oct2017 rid 311;odir2019 → odir rid 63;eyepacs → eyepacs rid 58;aptos2019 → aptos-2019 rid 61;deepdrid → deepdrid rid 211;oimhs → oimhs rid 745)。
  • 不可作为"X-PCR 只用了这些源"的依据——清单不完整。
  • 若需完整 51 源,应查论文附录或直接统计 HF 数据集中的 source 字段(若存在)。

附录 N:检索与引用建议

检索词组合(按召回率排序):

  1. X-PCR ophthalmology benchmark(最精确)
  2. "Cross-Modality Progressive Clinical Reasoning"(引号锁定短语)
  3. X-PCR MLLM six-stage ophthalmic(加限定词避开 PCR 检测)
  4. CVI-SZU X-PCR(定位团队)
  5. Fantasy666 X-PCR(定位数据托管)

引用格式(按 GitHub 提供的 BibTeX):

@inproceedings{wang2026xpcr,
  title={X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis},
  author={Wang, Gui and Zhong, Zehao and Zhou, YongSong and Li, Yudong and Wu, Ende and Cheah, Wooi Ping and Qu, Rong and Ren, Jianfeng and Shen, Linlin},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2026}
}

引用时的三条注意事项:

  1. 若论文尚未正式见刊,建议同时标注 arXiv 编号,避免"CVPR 2026"页码缺失引发质疑。
  2. 数据引用应单列,注明 commit 哈希以便复现。
  3. 引用结果数字时,务必说明是零样本、确定性解码条件下的结果,不可与微调后的结果混比。

附录 O:按角色的阅读路径

角色 建议路径 预计 15 分钟可获得
模型研究者 §0 → §3 → §5 → §8 知道该测什么指标、怎么跑
临床医生 §0 → §2 → §5.3 → 附录 I 知道 AI 在哪一级不可靠
数据集建设者 §2 → §3.1 → §4.3 → §7 知道六级链与对齐工艺怎么复用
产品经理 §1 → §10.4 → §6.2 知道能不能用、能不能商用
综述写作者 §7 → 附录 C → 事实清单 拿到可直接引用的硬数字与坐标

附录 P:一页速查卡

X-PCR ─ 眼科跨模态渐进推理基准
├─ 规模:26,415 图 / 177,868 VQA / 51 源 / 52 病 / 58 例院内
├─ 模态:EP CFP FFA ICGA OCT RetCam(OCT 31%,CFP 26%)
├─ 链:IQA → AL → LC → DD → SG → CD(强制依赖)
├─ 指标:SWA / CCR / ESA / UAS / ECE / MCS
├─ 结论:GPT-5 均分 76.24、CCR 24.47;专家 CCR 62.48
├─ 短板:OCT/FFA/ICGA;多图反被干扰;医学专用模型无优势
├─ 获取:HF Fantasy666/X-PCR(约 3.5 GB)
└─ 许可:学术研究用途

附录 Q:待核事项与遗留疑点

编号 疑点 现状 建议核实方式
Q1 51 个上游数据集的完整清单 论文正文未列,第三方仅列 14 个 查论文附录;或统计 HF 数据字段
Q2 FFA/ICGA/RetCam/EP 的模态占比 仅 OCT/CFP 有百分比 查论文图 2
Q3 ICGA 子集是否公开 HF 无独立目录 核对 parquet 内是否含 ICGA 影像
Q4 HF 行数 18,735 与 177,868 的对应关系 第三方记录,量纲不同 实测 DataFrame 行数与每题映射
Q5 evaluate.py 是否已发布 News 称"即将",README 给命令 下载仓库后 ls 核对
Q6 院内 58 例的公开渠道 无入口 联系通讯作者
Q7 逐阶段 VQA 数量分布 论文未给 查附录表
Q8 许可的具体条款文本 仅一句"学术研究用途" 查 HF 仓库是否附 LICENSE 文件
Q9 论文与 CVPR 2026 的对应关系 GitHub 引文标注 CVPR 查 CVPR 2026 论文集或 OpenReview
Q10 中文版本是否存在 未提及 检索作者主页或后续版本

附录 R:检索决策树

你要查什么?
├── 数据集能不能下
│   └── HF 搜 Fantasy666/X-PCR → 看 Files 与 README
├── 论文数字
│   └── arXiv 2604.20350 → Table 2 / 分阶段表
├── 代码怎么跑
│   └── GitHub CVI-SZU/X-PCR → Quick Start
├── 上游是什么
│   ├── 先看 HF 数据字段有无 source
│   └── 再看论文附录;最后才用第三方目录站的推断清单
└── 库内有没有相关条目
    └── 按 oct2017/odir/eyepacs/aptos-2019/deepdrid/e-ophtha/oimhs 查

深度解读:这套基准的方法论贡献

D1. 把"数据异构"变成"结构同构"

51 个公开数据集之间的差异,远不止影像外观。它们的分级量表不同(有的按 ICDR 五级,有的按三等)、标注粒度不同(图级标签 vs 像素掩码)、病例定义不同(有的含双眼,有的只含患眼)、模态不同(只有 CFP,或 CFP+OCT)。直接把它们拼在一起训练或评测,得到的数字没有可比性。

X-PCR 的解法不是"统一重新标注"(成本过高),而是造一层中间表征:把每一种疾病映射到"疾病—解剖—病灶—分级—处置"五元模式,再为每一元定义跨模态的证据锚点。这样,不同来源的数据都能被"翻译"成同一套语义结构,而不需要改动原始影像。

这个思路的可迁移性很强。病理、皮肤、放射都有类似的异构问题,都可以用"五元模式 + 模态×证据矩阵"来收敛。它比"再花三年做一套统一标注数据集"现实得多。

D2. 用因果依赖把"分步"变成"链"

分阶段提问不难,难的是让阶段之间真的有关联。X-PCR 的做法是把上游作答写进下游提示(prompt),使下游模型看到的是"图像 + 自己前面的判断"。这在工程上很简单,但在评测语义上意义重大:

  • 它让"自相矛盾"变得可检测。若模型说"视盘正常"又在后面描述"视盘水肿",矛盾会直接暴露在链路里。
  • 它让"错误传播"可量化。把上游强制替换成错误答案,观察下游准确率下降多少,就得到该阶段的敏感度。
  • 它让"部分正确"不再是满分。传统单题评测里,答对四级中的三级或许能拿 75 分;链式评测里,任何一级断裂都使 CCR 归零。

代价是评测成本与提示长度增加,以及"上游错误惩罚下游"的公平性问题。论文用 SWA 与 CCR 并列报告来平衡这一点,但读者仍需知道:CCR 是严苛指标,不应被解读为"模型完全不会"。

D3. 把"置信度"从附属品变成一等公民

绝大多数医学 VQA 基准不问模型"你有多确定"。X-PCR 要求自报置信度,并据此计算 UAS 与 ECE。这一设计的临床意义在于:医疗 AI 的错误不可避免,但"知道自己在哪不确定"是可以工程化的。

从结果看,ECE 与准确率大体同向但非完全相关,说明"准"与"知道自己在猜"是两种能力。这为临床部署提供了新的筛选维度:与其只挑准确率最高的模型,不如挑"高准确率 + 低 ECE"的组合,因为后者在边界病例上更容易被人工复核拦截。

D4. 把"要不要多给一张图"变成可测问题

模态贡献分数(MCS)与"多图干扰"现象,共同指向一个被长期忽视的问题:多模态模型是否真的在利用多模态信息。大量宣称"多模态"的系统,实际上主要依赖文本与单张主图,其余通道只是陪衬。MCS 提供了一种低成本审计手段:去掉某一路,看准确率掉不掉。掉得多说明依赖,掉得少说明冗余,反而升高说明干扰。

这个方法可以直接移植到任何多模态医学系统,不限于眼科。

横向对比:三种"过程化"评测路线

C1. 规则化流程评测

以 X-PCR 为代表:预先定义阶段与依赖关系,模型必须按序作答,按阶段计分。优点是可控、可复现、指标清晰;缺点是流程由人设定,可能不完全贴合真实决策(真实门诊有跳跃、有回头)。

C2. 自由推理评测

让模型自由输出完整诊疗思路,再由专家或 LLM 评判其合理性。优点是贴近真实;缺点是评分主观、难以规模化、可复现性差。多数"临床推理"类论文采用此路线,但结论往往依赖评判者。

C3. 对话式模拟评测

用模拟患者或标准化病人与模型多轮交互,考察问诊、检查选择与处置。优点是覆盖沟通能力;缺点是需要大量角色设定,且难以覆盖影像判读。

X-PCR 明确站在 C1 一侧。这三种路线不是替代关系:C1 适合做能力定位(哪一步弱),C2 适合做质量评估(叙述是否合理),C3 适合做交互评估(会不会问、会不会解释)。理性的做法是组合使用,而不是争论谁更"真实"。

常见误解澄清

误解一:X-PCR 是训练集,可以拿来微调出很强的眼科模型。
它是评测基准,不是训练语料;而且许可限学术研究。用它微调后再用它评测,属于数据泄漏,结论无效。

误解二:CCR 低说明基准设计有问题。
专家 CCR 是 62.48,证明这条链在人手里能走通。模型 CCR 低是能力问题,不是任务不可完成。

误解三:平均分接近主治就意味着可以替代主治。
CCR 与 S 级准确率的差距说明,模型在"每一题都基本对"与"一整例能走完"之间有巨大鸿沟。临床要的是后者。

误解四:影像数 26,415 就是病人数。
不是。一例病人可有多张影像、多种模态、多个时间点。论文未披露患者级计数,做流行病学推论时不可用影像数代替病人数。

误解五:六模态等于六倍信息。
模态之间有大量冗余(CFP 与 FFA 都看血管),且模型未必能利用。MCS 实验正是为了剔除这种想当然。

误解六:这是中国团队做的,所以只适合中文场景。
VQA 主体为英文医学标准术语,团队是深圳大学但在国际化数据上构建。中文场景需另做术语本地化。

典型使用场景解剖

场景一:模型选型

某医院要采购眼科辅助诊断系统,候选三家厂商都宣称"准确率 90%+"。用 X-PCR 复测,发现:A 厂商平均 72、CCR 4;B 厂商平均 68、CCR 15;C 厂商平均 70、CCR 9。结论是 B 的综合可用性最好,尽管平均分不是最高。原因是临床上"每例都能给出连贯判断"比"平均每题多对两道"更重要。

场景二:短板定位

某团队模型在 CFP 上表现优秀,在多模态任务上却掉分。用 MCS 分析发现,去掉 OCT 后准确率不降反升——说明模型把 OCT 当成噪声。进一步检查发现其视觉编码器对灰阶断层图的归一化处理有误。修复后 CCR 提升明显。

场景三:教学与考核

眼科住院医师培训可用 X-PCR 的 R/A/S 分层做题库:R 级用于规培考核,A 级用于主治晋升模拟,S 级用于亚专科培训。人机对照还能揭示"医生在哪一级不如 AI",从而调整教学重点。

场景四:基准建设参考

其他专科团队想建类似基准,可复用其"五元模式 + 六级链 + 四指标"的骨架,只需替换疾病体系与模态定义。皮肤科可换成"皮疹形态—分布—诊断—严重度—治疗",放射科可换成"扫描质量—解剖—征象—诊断—分期—处置"。

写在最后:这个基准真正提醒我们的事

X-PCR 最有价值的地方,不是它给出的排名,而是它揭示的一条降序曲线:98.90 → 88.05 → 81.02 → 73.11 → 61.65 → 54.71。这条曲线不是某个模型的缺陷,而是当前一代多模态模型的共同形状。

它说明,“看图说话"这件事已经做得不错,“看图思考"还没有。眼科只是第一个被系统测量的科室,其他专科大概率也是同样的形状。对做 AI 的人来说,这意味着下一个阶段的重点不应是"喂更多图”,而是"教模型如何组织证据”;对做临床的人来说,这意味着短期内应当把 AI 放在"初筛与提示"的位置,而不是"决策"的位置。

一个基准能同时说清这两件事,就已经完成了它的使命。

扩展阅读:三个容易忽略的细节

E1. “OCT 31%” 与 “CFP 26%” 的解读陷阱

这两个百分比是VQA 量占比,不是影像数占比。一张 OCT 序列能问出层厚、积液、断裂、反射等多个问题,单张 CFP 能问的病灶描述相对有限。因此 OCT 在题目上占比高,不代表其影像张数最多。若你的研究需要"影像数量分布",必须自己统计,不能直接引用这两个百分比。

另外,二者合计 57%,意味着剩余 43% 分散在 FFA、ICGA、RetCam、EP 四种模态上。考虑到 FFA 与 ICGA 在公开数据中本就稀缺,这部分很可能高度集中在 EP 与 RetCam。这解释了为什么论文强调"模型在 OCT/FFA/ICGA 上挣扎"——前三者里有两项恰恰是样本少、难度高的模态。

E2. "58 例"的双重角色

院内 58 例在论文里有两种身份:一是跨模态对齐的黄金标杆(同眼同期、六模态齐全、有临床上下文),二是临床真实性的补充(补足公开数据缺乏病史与随访信息的短板)。这双重身份带来一个使用建议:

  • 若你要做跨模态对应识别的研究,应优先用这 58 例,因为只有它们有可靠的跨模态 ground truth。
  • 若你要做统计意义上的性能评估,不应只用这 58 例,因为样本量太小,置信区间会很宽。

E3. "20% 二次复核"的实际含义

论文写"20% 的 VQA 题目由第二位眼科医生独立复核",并规定评分者一致性低于 κ=0.8 时进行仲裁。这听起来严谨,但需要注意:

  • 20% 是抽样比例,不是全量。剩余 80% 未经二次独立确认,其质量依赖首轮审核(Gemini-2.5-Pro)的可靠性。
  • κ 阈值为 0.8,属于"高度一致"标准,较严格;但仅有 20% 抽样时,κ 的估计本身也有不确定性。
  • 前五级由模型生成,第六级由医生撰写,两类题目的质量保障机制不同。分析结果时若能按 stage 拆分错误类型,会更有洞察。

这三点提醒我们在引用"专家核验"这一表述时保持精确:它是"专家参与的多层核验",而非"全量双人独立标注"。

E4. 与"视觉问答"传统的距离

传统 VQA 研究关注的是"语言先验"与"视觉 grounding"的博弈——模型是看了图,还是只读了题。X-PCR 在这个传统上往前走了一步:它不仅问"你看了图吗",还问"你看的是哪张图、看到的信息有没有用上、用上之后判断是否连贯"。MCS 与多图干扰实验,本质上都是 grounding 研究在临床场景的延伸。

对做 VQA 方法学的人而言,X-PCR 提供了一个高质量的"高风险域"测试床:题目有明确的临床后果,错误有清晰的分级(IC 象限最严重),因此模型行为的分析比通用 VQA 更有意义。

E5. 为什么没有纳入 RETFound

RETFound 是眼科领域最知名的自监督基础模型,在多项视网膜任务上表现优异。X-PCR 未将其纳入评测,原因是任务形态不匹配:RETFound 输出的是表征或分类,不产生自然语言推理链。要评测它,需要外接一个语言解码器,这就引入了额外的变量,使结果难以归因。

这一取舍值得理解:评测基准的边界由任务形态决定,不由模型知名度决定。把不适配的模型硬塞进来,反而会削弱结论的可解释性。

E6. 排名之外的读法:看分布不看均值

Table 2 只给了均值,但临床更关心分布。举例来说,两个模型平均都是 70 分,一个在常见病上 85、罕见病上 40,另一个在各病种上都 70,它们的临床价值完全不同。X-PCR 的 category 字段允许做这种拆分,但论文未充分展开。这为后续研究留了口子:基于 X-PCR 做病种级、模态级、难度级的细粒度误差分析,是很有价值的跟进工作。

E7. 对中文眼科 AI 的启示

国内眼科 AI 的公开评测多集中在糖网分级(如 DeepDRiD 系列挑战赛)与青光眼筛查,缺少覆盖全流程、全模态的基准。X-PCR 虽为英文,但其六级链与八类病种的框架可以直接借鉴。若要做中文本地化,关键工作有三:术语映射(如"黄斑水肿"的规范表述)、分级量表对齐(ICDR 与国内共识的差异)、以及中文题干的语言习惯适配(避免直译导致的语义漂移)。

补充:指标计算的形式化说明

F1. 分阶段准确率

对阶段 s,准确率定义为该阶段答对样本数除以参与该阶段评测的样本数。注意分母可能因上游门控而缩小:若 IQA 判为"不可用",后续阶段可能不展开,此时分母变化会影响可比性。论文未明确说明门控后的样本处理方式,这是复现时需要留意的细节。

F2. 全链完成率

CCR = (六阶段全部答对的样本数)/(总样本数)。它是准确率的乘积上界:若各阶段独立且准确率为 p1…p6,则 CCR ≈ p1×p2×…×p6。以 GPT-5 的阶段准确率粗算:0.989×0.881×0.810×0.731×0.617×0.547 ≈ 0.216,与报告的 0.2447 同量级。这一粗算说明 CCR 的低值主要是乘法效应,而各阶段之间的相关性使其略高于独立假设的预测。

F3. 不确定性感知分数

UAS 的构造可概括为:对每个回答按其"正确性 × 置信度"落入四象限,赋基础分,再按难度权重与临床重要性权重加权平均。具体权重论文未在正文完全展开,复现时应以代码或附录为准。其核心性质是单调性:在同等准确率下,置信度越校准,UAS 越高。

F4. 期望校准误差

ECE = Σ (n_b / N) × |acc(b) − conf(b)|,其中 b 为置信度分箱,n_b 为该箱样本数,acc 为实际准确率,conf 为平均置信度。分箱数影响结果,论文未披露具体设置,复现时应在报告中注明。

F5. 模态贡献分数

MCS_m = Acc(全模态) − Acc(去掉模态 m)。若为负值,说明该模态反而有害(对应"多图干扰")。这一指标对输入构造敏感:是"整段删除"还是"置为空白图",结果可能不同。

补充:与其他眼科基准的量化对照

基准 影像数 模态数 任务形态 是否有链 是否有校准 主要用途
EyePACS 约 3.5 万 1(CFP) 五级分类 否 否 糖网筛查训练
APTOS-2019 3,662 1(CFP) 五级分类 否 否 糖网分级竞赛
ODIR-5K 5,000 例 1(CFP) 多标签分类 否 否 多病种识别
OCT2017 84,484 1(OCT) 四分类 否 否 OCT 分类
DeepDRiD 2,000 2(CFP) 质量 + 分级 否 否 真实世界筛查
e-ophtha 数百 1(CFP) 病灶分割 否 否 病灶检测
MedFrameQA 视频级 1 多帧问答 否 否 视频理解
X-PCR 26,415 6 六级链 + 跨模态 是 是 推理评测

(注:表中上游数据集的影像数为公开文献常见口径,仅作量级参照;X-PCR 数据为论文与 HF 实查值。)

这张表说明 X-PCR 的定位不是"更大的分类集",而是"另一种评测范式"。它的 26,415 张在数量上并不碾压 OCT2017 的 84,484 张,但其组织方式使其能回答分类集回答不了的问题。

补充:一例完整的推理链走查

以糖尿病黄斑水肿为例,说明六级链在真实病例上的推进方式(示例为方法学演示,非论文原始病例):

  1. IQA:CFP 存在轻度屈光介质混浊,但黄斑区与视盘可辨,判定"可用"。
  2. AL:定位视盘位于鼻侧,黄斑位于颞侧血管弓内,中心凹反光可见。
  3. LC:黄斑区见多发点状出血、硬性渗出呈环形排列,中心凹周围视网膜增厚。
  4. DD:结合糖尿病史,最可能为糖尿病黄斑水肿,需与视网膜静脉阻塞继发水肿鉴别。
  5. SG:按国际临床糖尿病视网膜病变分级,参照黄斑水肿中心受累情况定级。
  6. CD:中心受累的 DME 建议抗 VEGF 治疗,并转诊眼底专科随访。

跨模态扩展:若同时给出 FFA,可要求模型指出渗漏点与 CFP 硬性渗出的对应关系(对应识别);若给出 OCT,可要求其描述囊样间隙与视网膜下积液(诊断整合);若 FFA 提示可疑息肉样改变,则触发"是否需要 ICGA"的模态选择题。

这一走查的价值在于:它把抽象的"六级链"落到了具体影像上,便于读者理解每一级的输入、输出与判断依据,也便于出题者对照自查模板是否覆盖了关键要素。

补充:使用者的十二个具体动作

G1. 拿到数据后的第一件事

不要急着跑模型。先做三件事:

  1. 打印每个子集的行数与字段:ds.features。确认 stage 字段的取值集合是否恰好为六级,是否存在空值。
  2. 抽样 20 条人工看一遍。重点看影像与题干是否匹配——尤其是跨模态样本,确认多张图确为同眼同期。
  3. 统计每个 category 与 difficulty 的样本量。若某类样本过少,报告中必须注明。

这三步大约耗时半小时,但能避免后面几天跑出无法解释的结果。

G2. 如何构造公平的对照实验

若你要比较"单模态 vs 多模态",必须固定题目集合,只改变输入图像。若题目本身随模态变化(跨模态题只在多模态条件下出现),则不可直接比较。正确做法是:先筛出同时具备单模态与多模态版本的题目子集,再在该子集上做对照。

G3. 如何解释"模型在某模态上很差"

不要只说"模型不擅长 OCT"。要拆解为三个问题:是读不懂(IQA/AL 阶段就错)、是看不清(LC 阶段错)、还是不会用(LC 对但 DD 错)。三者对应完全不同的改进方向:前者要改编码器预训练,中者要改分辨率与增强,后者要改推理提示与知识注入。

G4. 如何设计提示词

论文的评测是零样本,提示词设计会影响结果。建议:明确要求模型按阶段作答,并显式给出上一阶段的答案;要求输出置信度时给出格式约定(如"置信度:0.85");避免在提示中出现答案线索(如疾病名首字母)。

G5. 如何处理多图输入

按模态分组,给每张图加标签(如"图 1:CFP"、“图 2:OCT”),避免模型混淆来源。若模型的视觉 token 预算有限,优先保留 OCT 与 FFA 的关键帧,这些是信息密度最高的通道。

G6. 如何报告结果

至少报告:总均准确率、CCR、S 级准确率、ECE。只报总均分是不充分的,因为它在不同模型间区分度低。若做了模态消融,附上 MCS 表。所有数字注明样本量、解码设置与提示模板。

G7. 如何做错误分析

建议按"阶段 × 病种"二维交叉统计错误率,找出集中失效的区域。经验上,错误往往集中在两个地带:罕见病的 LC 阶段(模型没见过的形态)与常见病的 CD 阶段(模型会描述但不敢决策)。

G8. 如何应对"过拟合基准"

不要把 X-PCR 当作唯一标准。它测的是特定形式的推理,可能存在题型偏置。建议与真实临床回顾性数据、其他基准交叉验证。若模型在 X-PCR 上分数很高但在真实门诊召回率低,以真实数据为准。

G9. 版本管理

HF 仓库无版本标签,只有 commit 哈希。建议在实验记录中固定 06a318fd852230326386e3c6514d8a11b7a6b4af,并保存当时下载的文件清单与校验和,便于日后复现。

G10. 许可合规的实操

学术使用前,在论文致谢中注明数据来源与许可;商用前,逐源回查 51 个上游数据集(至少核查第三方列出的 14 个常用源),确认各自条款;院内 58 例如未公开则不可使用。若不确定,联系通讯作者书面确认。

G11. 与院内数据结合

若你有本院的多模态病例,可用 X-PCR 的六级框架自建评测集,但需重新标注难度与跨模态对应。好处是能评估模型在本地设备与人群上的表现,弥补公开数据的域差异。

G12. 教学场景的改造

用于住院医师培训时,建议去掉模型评测部分,只保留题目与分层难度。R 级题目适合规培月考,A 级适合主治晋升,S 级适合亚专科病例讨论。人机对照结果可作为教学反馈,但不宜公开排名个人。

补充:四类读者的常见追问

对临床医生说

问:这个基准能直接用于诊断吗?
不能。它是评测工具,输出的是模型能力分数,不是诊断结论。临床上仍以医生判断为准。

问:模型在哪些病上最不可靠?
论文指出 OCT、FFA、ICGA 相关任务最弱,涉及脉络膜与血管灌注的病例尤其如此。白内障与外眼疾病相对简单。

问:会不会增加我的工作量?
短期内会增加(需要复核 AI 提示)。长期看,若用于筛查初判可减少阴性阅片量,但前提是系统能给出可靠的"不确定"信号,这正是 UAS/ECE 想解决的问题。

对算法工程师说

问:最该先改什么?
如果 CCR 极低而平均分尚可,优先做长链一致性训练;如果 S 级特别低,优先补专家级知识;如果 ECE 高,优先做置信度校准(如温度缩放、后处理校准)。

问:要不要做领域预训练?
论文的结论是领域知识不自动带来推理能力。预训练可以提升表征,但仍需针对推理链设计训练信号(如中间步骤监督、自一致性约束)。

对数据集建设者说

问:能不能直接复制这套框架?
骨架可复制:五元模式、六级链、四指标。但疾病体系与模态定义需重做,难度标注需本地专家参与,成本主要在人不在技术。

问:最小可行版本是什么?
约 2,000 张影像、每阶段 3–5 个模板、20 位医生做难度标注、一个可跑的分阶段脚本。足以验证框架,不足以发表。

对产品经理说

问:能商用吗?
许可仅学术,需单独授权。技术可行性与法律可行性是两件事。

问:多久能落地?
取决于监管路径。若定位为"辅助提示"而非"辅助诊断",审批门槛不同。建议先做回顾性验证,再考虑前瞻。

补充:术语的临床语境

理解 X-PCR 需要一点眼科常识,这里补充几个易混点:

  • 黄斑不是"斑":它是视网膜中心负责精细视觉的区域,中心的中心凹无血管。报告里的"黄斑水肿"指的是这一区域积液增厚,不是长了一个斑块。
  • 视盘就是视神经乳头:所有视网膜神经纤维汇聚出眼的位置,青光眼评估的核心。杯盘比是杯(凹陷)与盘(整个视盘)的直径比。
  • FFA 看的是"漏":荧光素在血管内流动,凡是血管屏障破坏处就会渗漏发亮。因此 FFA 的亮斑往往提示活动性病变。
  • ICGA 看的是"深":吲哚菁绿分子较大,主要停留在脉络膜血管内,适合观察息肉与异常血管网。FFA 看不清的深层病变,ICGA 能补上。
  • OCT 看的是"层":它像超声一样做断层,但用光而非声。一张 B-scan 显示的是视网膜十层结构的横切面,层间积液表现为低反射暗区。
  • RetCam 是"广角":接触式镜头,视野可达 130 度,专为不能配合的婴幼儿设计,图像会有明显的桶形畸变。

这些语境对理解题目设计很重要:X-PCR 的 LC 阶段考的正是"用什么词描述什么形态",而这些词在中文与英文临床习惯中并不总是一一对应。

补充:数据质量的三个观察

H1. 标签来源的异质性

51 个上游数据集的标签来自不同年代的诊断标准。例如糖网分级,早期研究可能沿用 ETDRS 细则,较新的数据集用 ICDR 简化五级。X-PCR 的统一化处理是在五元模式层做映射,但底层影像的"金标准"本身存在代际差异。这意味着某些题目的正确答案在严格意义上可能有争议。

H2. 影像设备的异质性

同一模态在不同中心用不同设备拍摄,色彩响应、分辨率、视野角都不同。CFP 在散瞳与未散瞳、不同厂家的色温差异会显著影响模型判断。X-PCR 未披露设备构成,这限制了"域泛化"分析的深度。

H3. 题目难度的主观性

R/A/S 三档由医生标注,但"什么算专家级"本身有主观成分。同一位医生在不同日期标注可能不一致,不同医生之间也未必统一。论文的 20% 复核与 κ 阈值缓解了这一问题,但未做重测信度分析。引用难度分层结果时,宜视为"相对难度"而非绝对刻度。

补充:三句话给不同的人

给刚入门的同学:先跑通一个 7B 模型,拿到一组基线数字,再读论文的表格,你会发现自己的数字与论文差多少、差在哪一级。这比读十遍方法节更有用。

给准备投稿的研究者:X-PCR 是一个现成的"强基线"。如果你的方法只在分类任务上好,而在 CCR 上没有提升,审稿人会问"那你解决了什么问题"。

给临床合作者:不必关心模型架构,只需看两条——S 级准确率是否接近主治,CCR 是否过半。这两条不过关,就不要谈上临床。

补充:条目维护记录

日期 动作 说明
2026-10-17 首版成稿 依据 arXiv 2604.20350、GitHub README、HF API 实查三源互证
2026-10-17 存照双口径 HF 行数 18,735 与论文 177,868 分别记录,未强行统一
2026-10-17 许可核对 确认"学术研究用途"表述,未发现 SPDX 标识

后续维护建议:若论文正式见刊(CVPR 2026 论文集上线),补入页码与 DOI;若 HF 仓库出现版本标签,补入固定 revision;若作者公开院内 58 例,补充获取路径与限制条件。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • liveclin — 共享标签:医学问答与基准 / 多模态 / 视觉问答 / 评测基准
  • nejm-bench — 共享标签:医学问答与基准 / 多模态 / 视觉问答 / 评测基准
  • medxpertqa — 共享标签:医学问答与基准 / 多模态 / 视觉问答 / 评测基准
  • medframeqa — 共享标签:医学问答与基准 / 多模态 / 视觉问答 / 评测基准
  • rex-in-the-wild — 共享标签:多模态 / 视觉问答 / 评测基准
  • microvqa — 共享标签:医学问答与基准 / 多模态 / 评测基准
  • drive — 共享标签:眼科影像 / 医学问答与基准 / 评测基准
  • pathvqa — 共享标签:多模态 / 视觉问答 / 评测基准
  • iostar — 共享标签:眼科影像 / 评测基准 / 糖尿病视网膜病变
  • derm1m — 共享标签:多模态 / 视觉问答 / 评测基准

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集