Rotterdam EyePACS AIROGS train set — 真实筛查场景下 10 万张眼底照的青光眼鲁棒性识别基准

INFOBOX — AIROGS 一屏速览

维度	内容
本质	ISBI 2022 附属挑战赛「AIROGS：鲁棒 AI 青光眼筛查」的官方训练集——真实筛查环境眼底照，非实验室数据
数据	训练集 101,442 张可分级 CFP / 54,274 受试者 / 约 500 采集点（EyePACS 平台）；全集合 113,893 张 / 60,357 人
任务	referable glaucoma 识别 + 不可分级（ungradable）判定——四个评测输出 O1-O4，把图像质量意识写进赛题
标注	89 名候选分级者考试筛选留 32 人；每图双人独立标注，分歧交资深青光眼专家仲裁
类别	训练集 No-Glaucoma 98,172 / Glaucoma 3,270（正例率约 3.2%，极度不平衡）
图像	JPG，212×320 至 6000×6000，中位 2354×3296；族群与设备异质
论文	arXiv:2302.01738（2023）→ IEEE TMI 2024;43(1):542-557
许可	训练集 CC BY-NC-ND 4.0（Zenodo DOI 10.5281/zenodo.5793241，门控+人工批准）；测试集封闭
评测	Grand Challenge 平台 Docker 容器执行（NVIDIA T4 16GB），封闭测试集约 11,000 张含不可分级图
纪律	禁用一切额外眼底数据（含眼底预训练权重与视盘分割预处理）——保证算法自足性
后继	JustRAIGS 挑战赛；AIROGS 本身重开为无限期提交
库内互链	orcascore（不可分级性同构任务）、refuge2/papila（青光眼）、idrid/deepdrid（眼底筛查）、g1020/largeia（大视盘集）

AIROGS 是一个把「AI 在实验室很准、到了真实筛查现场就拉胯」这件事正面搬上台面的数据集：它不采集干净整齐的科研级眼底照，而是从 EyePACS 真实远程筛查流里取出 113,893 张彩色眼底彩照——来自约 500 个不同采集点、设备与人群高度异质——并用一套考试筛选加双人标注加专家仲裁的流水线，给每张图贴上 referable glaucoma（需转诊青光眼）、no referable glaucoma（无需转诊）或 ungradable（不可分级）三种标签之一。挑战赛的赛题设计是它的灵魂：参赛算法不仅要回答「这张图有没有需要转诊的青光眼」，还必须回答「这张图到底能不能看」——后者在以往眼底挑战赛里几乎从不出现，却是真实筛查系统每天都要面对的生死题。

导语读法三则：

1. 只想下数据：直奔 §6 获取与许可——Zenodo 门控发放要人工批准，测试集拿不到，别白忙。
2. 关心鲁棒性与 OOD：直奔 §4 挑战赛设计——O1-O4 四输出与 Docker 封闭评测是理解这个数据集定位的钥匙。
3. 关心标注质量：直奔 §3 标注流水线——考试筛选、双人一致即定标、专家仲裁三层机制可与库内其他标注条目对照。

§0 导读：这个数据集解决什么问题

AI 青光眼筛查的故事有个尴尬的断层。基于彩色眼底彩照（CFP）的深度学习筛查算法在实验室数据集上纷纷报出漂亮指标，可一旦部署到真实筛查流程，性能断崖式下跌。原因有二：一是分布外（out-of-distribution, OOD）数据——真实世界的图像来自成百上千个不同站点、不同相机、不同操作员，任何单一来源训练集都无法覆盖；二是低质图像——屈光介质混浊、瞳孔过小、对焦失败、眼睑遮挡，这些图人眼都看不了，模型更看不了。真实筛查系统的正确做法是把这类图拦下来转人工复检或重拍，而不是让模型硬着头皮输出一个看似自信的评分。

此前的眼底挑战赛——包括 DR 筛查的 Kaggle EyePACS 挑战赛（恰是本数据集的上游图像来源）与 REFUGE 等青光眼赛题——几乎全部在「可分级」的干净数据上评测，等于默认了模型只需要会看好图。AIROGS（Artificial Intelligence for RObust Glaucoma Screening，鲁棒 AI 青光眼筛查挑战赛，ISBI 2022 附属）的 organizers——鹿特丹眼科医院、阿姆斯特丹大学 QurAI 组、Radboudumc 与国际防盲组织 Project Orbis——决定反其道而行：训练集保持纯净（只含可分级图，便于方法学研究），测试集则原样保留筛查流里的全部图像类型，包括不可分级图，且评测要求算法显式输出「这张图不可分级」的判定（O3）和一个与不可分级性正相关的连续标量（O4）。一句话：把拒绝判断的能力作为正式计分项。

§0 读法三则：

1. 本条目对象是 Zenodo 公开的训练集（101,442 张，CC BY-NC-ND）；约 11,000 张测试集封闭，只能在 Grand Challenge 平台经 Docker 评测——这是理解一切获取与复现问题的前提。
2. 数据集的学术落点是 IEEE TMI 2024 总结论文（arXiv:2302.01738），里面有完整评测方法与参赛队结果；本条目硬数字以官网、Zenodo、论文三方互证为准。
3. 训练集与测试集的分布刻意不同（训练=纯可分级，测试=原样筛查流），任何「在 AIROGS 训练集上调好、以为就完事」的预期都需要修正——这个设计本身就是数据集要传达的核心信息。

§1 数据集速览：十问十答

Q1：AIROGS 这五个字母代表什么？
Artificial Intelligence for RObust Glaucoma Screening——人工智能鲁棒青光眼筛查。名字里的「鲁棒」就是赛题灵魂：考察算法面对真实世界异质数据的稳定性。

Q2：图像从哪来？
EyePACS 平台的真实远程筛查数据（与美国 Kaggle DR 挑战赛同一上游平台），覆盖约 500 个不同采集点，族群高度异质。数据集冠名「Rotterdam EyePACS」是因为由鹿特丹团队完成筛选与标注。

Q3：一共多少张图？
完整集合 113,893 张 CFP、60,357 名受试者。其中训练集 101,442 张、54,274 名受试者，公开于 Zenodo；测试集约 11,000 张（可分级与不可分级混合），封闭。

Q4：标签有哪几类？
三类：referable glaucoma（可转诊青光眼）、no referable glaucoma（无可转诊青光眼）、ungradable（不可分级）。训练集只保留前两类（即全部可分级）；ungradable 图只出现在封闭测试集。

Q5：训练集里正负例各多少？
No-Glaucoma 98,172 张，Glaucoma（referable）3,270 张——正例率约 3.2%，符合筛查场景低患病率常态，训练时必须处理类别不平衡。

Q6：谁标注的，标准是什么？
89 名候选分级者（综合眼科医生、青光眼专科医生、住院医师与验光师，均受过视盘评估训练）先考试：特异性 ≥92% 且敏感性 ≥85% 才能上岗，最终 32 人通过。每图先双人独立分级，一致即定标；不一致交由两名资深青光眼专家之一仲裁。

Q7：图像规格如何？
JPG 彩色眼底彩照，尺寸从 212×320 到 6000×6000 不等，中位 2354×3296——尺寸跨度大正是真实筛查多站点多设备的特点。

Q8：挑战赛怎么评测？
算法打包成 Docker 容器上传 Grand Challenge 平台，在 NVIDIA T4（16 GB）+ 8 CPU（32 GB）环境执行于封闭测试集。评测要求四个输出（详见 §4）：O1 转诊似然评分、O2 二分类决定、O3 不可分级二分类、O4 不可分级性连续标量。

Q9：license 是什么，怎么获取？
训练集 CC BY-NC-ND 4.0，Zenodo DOI 10.5281/zenodo.5793241。注意是门控发放：提交请求后需组织方人工批准，可能等待数日。测试集永久封闭。

Q10：和 REFUGE、Drishti-GS 这些青光眼数据集有何本质区别？
规模（10 万 vs 千级）、真实性（500 站点筛查流 vs 单中心科研采集）、任务（显式不可分级判定 vs 纯分类/分割）三个维度都不在一个量级。库内既有青光眼条目多为科研级小集，AIROGS 是「真实世界」一端的极值样本。

§2 数据构成与规格：10 万张真实筛查照的解剖

2.1 上游与采样

AIROGS 的原始图像全部来自 EyePACS——一个在美国大规模运营的糖尿病视网膜病变远程筛查平台，其图像库的副产品属性（影像为筛查而拍、非为科研而拍）决定了本数据集的整个性格：相机型号混杂、采集参数不一、患者配合度参差、视场覆盖随意。鹿特丹团队从 EyePACS 流水中筛选出符合青光眼筛查研究需要的子集，冠名「Rotterdam EyePACS AIROGS dataset」。这一血缘关系值得注意：Kaggle 2015 DR 挑战赛用的 EyePACS 子集（约 3.5 万张训练图）与本数据集共享上游，但两者标签体系完全不同（DR 分级 vs 青光眼转诊），不可混用。

2.2 两个切片的精确边界

切片	图像数	受试者数	内容	可获得性
训练集（train set）	101,442	54,274	仅可分级图，二类标签	Zenodo 公开（门控）
测试集（test set）	约 11,000	未单独披露	可分级 + 不可分级混合	封闭（平台 Docker 评测）
完整集合	113,893	60,357	全部	——

几个值得停留的细节：

1. 约 500 个采集点：官方原文反复强调 “approximately 500 different sites with a heterogeneous ethnicity”。这不是装饰性描述——500 站点意味着任何按站点划分的训练/验证切分实验都很难做干净，也意味着模型必须对设备相关的颜色、亮度、视场差异天然免疫才有意义。
2. 训练集只含可分级图：官方原话——“the training set is an in-the-lab set where only gradable images are considered and ungradable images excluded”。这是刻意设计：让参赛者在一个干净的分布上做方法学探索，而把脏活留给封闭测试集。
3. 测试集含全部图像类型：模拟真实筛查场景——这正是 AIROGS 区别于所有前辈眼底挑战赛的单点突破。

2.3 图像规格

• 格式：JPG 彩色眼底彩照（color fundus photography, CFP）
• 尺寸跨度：最小 212×320 像素，中位 2354×3296，最大 6000×6000（openmedlab 统计口径）
• 尺寸异质性含义：从不足 700 万像素到 3600 万像素横跨 5 倍以上，任何固定分辨率的预处理流程都必须处理大量上/下采样，这本身就是鲁棒性考验的一部分
• 文件组织（openmedlab 口径）：images/ 目录存放全部 JPG，train.txt 与 test.txt 提供切分清单；Zenodo 正式发布为 2.zip（9.7 GB）与 5.zip（6.2 GB）两个压缩包，外加 train_labels.csv（1.6 MB）标签表
• Zenodo 当前版本全记录约 54.9 GB（含历史版本文件；当前版数据本体约 15.9 GB）

2.4 标签分布：3.2% 的现实

训练集标签分布（openmedlab 转引口径，98,172 + 3,270 = 101,442 与训练集总数精确吻合）：

类别	图像数	占比
No referable glaucoma	98,172	≈96.8%
Referable glaucoma	3,270	≈3.2%

这一分布有三层含义。第一，真实筛查的患病率写照：人群中需要转诊的可疑青光眼本就是少数，数据集忠实还原了这一先验，任何在此集上训练的模型都必须直面 1:30 的类别不平衡。第二，指标选择的强制约束：accuracy 在此分布下毫无意义（全预测阴性即可得 96.8%），参赛者必须以 AUROC、敏感性-特异性曲线为核心指标——官方评测也确实如此设计。第三，采样设计的稀缺性意识：3,270 张正例对 10 万量级的数据集而言相当克制，说明 organizers 有意保留了筛查流的真实比例而非过采样放大正例。

2.5 受试者与图像的关系

54,274 名受试者贡献 101,442 张图，人均约 1.87 张——即大部分受试者贡献双眼各一张（左右眼各计一次），少量受试者因重拍或随访贡献更多。做数据切分时必须按受试者而非按图像划分，否则左右眼同入训练与验证集会导致信息泄漏，这是所有眼科影像数据集的通病级坑点（AIROGS 未官方给出建议切分，需使用者自行处理）。

§3 标注流水线：考试筛选 + 双人标注 + 专家仲裁

3.1 为什么值得单独写一章

10 万张医学图像的人工标注，质控设计的难度远超标注本身。AIROGS 的流水线有三个可迁移的设计决策，值得逐条拆解。

3.2 第一层：考试准入

组织方从更大的候选池（综合眼科医生、青光眼专科医生、住院医师、验光师——共 89 人表示愿意参与，均受过视盘评估训练）中组织上岗考试：候选人在测试图上判读青光眼，特异性 ≥92% 且敏感性 ≥85% 双门槛全过者方可成为正式分级者。89 人中 32 人过关——通过率约 36%。这个设计把「资格」从职称变成了实测表现：一名验光师只要判读能力达标，与一名青光眼专科医生在流水线中地位相同。

3.3 第二层：双人独立标注

每张图初始由两名分级者独立判读，互不可见对方结论。判读选项即数据集的三分类：

• referable glaucoma：该眼应转诊（需转诊青光眼）
• no referable glaucoma：该眼不应转诊
• ungradable：图像质量不足以分级

两人一致即采纳一致标签为最终标签——绝大多数图像止步于此。双人一致性机制同时是质控与效率工具：一致率本身就是标签可靠性的免费度量。

3.4 第三层：专家仲裁

分歧图交由两名资深青光眼专家之一做第三次判读，其结论为最终标签。注意仲裁者是固定的两位专家而非随机抽调——这保证了分歧处置的一致性口径。整条流水线由一套专门构建的优化 web 标注系统支撑，且每位分级者的表现在全程被持续监控（“the performance of all graders was monitored”）。

3.5 可迁移经验

1. 考试准入优于资质筛选：职称与实际判读能力相关性有限，直接测表现成本极低而信噪比高。
2. 一致即定标，分歧才升级：把昂贵的专家时间精确花在分歧子集上，是 10 万张图在有限专家资源下完成三级质控的唯一可行路径。
3. ungradable 作为一等公民标签：把「图不能看」作为显式判读选项而非标注员的自由备注，才使得测试集上 O3/O4 的不可分级性评测成为可能——这是流水线与赛题设计的闭环。

§4 挑战赛设计：O1-O4 四输出与 Docker 封闭评测

4.1 四个评测输出

AIROGS 对每张输入测试图要求四个输出，这是理解本数据集学术定位的钥匙：

输出	内容	说明
O1	referable glaucoma 的似然评分	连续值，主排序依据
O2	referable glaucoma 二分类决定	不用于排行榜，仅用于挑战赛论文的附加分析
O3	图像是否 ungradable 的二分类	true = 不可分级——显式的拒绝判断
O4	与不可分级性正相关的未阈值标量	官方建议示例：模型概率向量的熵、集成方差（ensemble variance）——即任何「模型自己也不确定」的度量

O3/O4 的存在把「分布外检测（OOD detection）/ 图像质量评估（IQA）」从锦上添花变成了计分项。一个只会在好图上表现好的算法，即使 O1 满分也拿不到综合冠军。

4.2 封闭测试与 Docker 执行

测试集约 11,000 张（可分级与不可分级混合）不可下载。参赛流程：

1. 算法打包为 Docker 容器（官方提供示例仓库）
2. 上传至 Grand Challenge 评估平台
3. 平台在 NVIDIA T4 GPU（16 GB）+ 8 CPU（32 GB）环境执行算法
4. 算法对测试图产出 O1-O4，评测在封闭数据侧完成
5. 预赛 phase 1 验证容器可用性（提交次数较多），预赛 phase 2 使用 10% 终测数据（3 次提交机会），最终 phase 一次提交定榜

配套纪律：禁止使用任何额外眼底数据——包括在眼底图像上预训练的权重、以及任何眼底预处理步骤（如视盘分割模型）。这条禁令保证排行榜对比的是算法设计而非数据积累，也让 AIROGS 成为「自足算法」的测试场。同一团队多账号被明令禁止。

4.3 评测方法论

官方评测把 O1（可分级图上的转诊评分）与 O3/O4（不可分级性检测）综合排名。总结论文（IEEE TMI 2024）报告了完整的参赛队结果与方法对比；顶级方案在可分级测试子集上的转诊判别达到约 0.9 区间的 AUROC，同时需要在不牺牲转诊性能的前提下维持可靠的不可分级性检测（精确逐队分数以论文表格为准——本条目未逐表转录，见 §10 存照）。AIROGS 挑战赛后来重开为无限期提交（奖品已发放完毕，排行榜继续接受新算法）；组织方随后启动了后继挑战 JustRAIGS。

4.4 与前辈挑战赛的设计对照

维度	Kaggle DR（EyePACS, 2015）	REFUGE（2018）	AIROGS（2022）
图像来源	EyePACS 筛查流	科研级采集	EyePACS 筛查流（同上游、重标注）
规模	~35k 训练	~1,200	101k 训练
任务	DR 分级	青光眼分类+视杯分割	青光眼转诊 + 不可分级判定
测试集	公开	公开	封闭（Docker 平台执行）
OOD/质量控制	无	无	正式计分项

§5 数据的双面性：训练纯净与测试严酷

AIROGS 最容易被误读的地方在于它的「双面性」。训练集是 in-the-lab 的：全部可分级、标签干净、可直接跑通标准分类流水线——许多二次使用者因此把它当作一个普通的 10 万张青光眼二分类数据集。但数据集的存在理由全在测试集一面：真实筛查流的原样分布、不可分级图的存在、四输出评测。使用者需要清醒于以下几点：

1. 在训练集上的高分数不代表筛查可用性——官方用分布切换把这个陷阱制度化地摆在你面前。
2. 本地无法复现官方测试——任何声称「在 AIROGS test set 上取得 XX」的第三方论文，若非经平台评测，都值得怀疑；合理的替代做法是在训练集内做受试者级切分自建验证。
3. 不可分级性建模有免费素材——训练集虽全部可分级，但可分级图上依然存在难易梯度；O4 的官方建议（概率熵、集成方差）提示：即使没有不可分级训练样本，也能从模型不确定性出发构造不可分级性检测器，再在真实数据上校准。
4. 503 采集点（约 500）是天然的 federated 学习素材——虽然元数据不逐点公开，多站点属性使其成为讨论跨站点泛化、领域偏移的常用案例。

§6 获取与许可：门控发放的门怎么进

6.1 获取路径全景

内容	渠道	许可	门槛
训练集（101,442 张 + 标签）	Zenodo DOI 10.5281/zenodo.5793241	CC BY-NC-ND 4.0	注册后提交访问请求，人工批准，可能等待数日
测试集（约 11,000 张）	Grand Challenge 平台	不可下载	仅限 Docker 算法提交，平台侧执行
官方元信息与赛题	airogs.grand-challenge.org	——	公开
总结论文	arXiv:2302.01738；IEEE TMI 2024;43(1):542-557	arXiv 公开	公开
AWS Registry of Open Data	官网预告「将来」	未落地	遗留疑点

6.2 Zenodo 门控的三点实操提醒

1. 人工批准不可预测：官方原话——“we have to manually accept requests on Zenodo, so it may take some time before you will be granted access”。项目排期时应把这段等待计入，不要按自动下载的节奏规划。
2. 版本链要认准：旧版数据曾拆为两个 Zenodo record，当前版本（5793241）合并了全部数据，旧 record 已标记 deprecated。引用与下载一律走当前版本 DOI，避免拿到残缺的历史版本。
3. 下载体积可观：当前版本数据本体约 15.9 GB（2.zip 9.7 GB + 5.zip 6.2 GB + train_labels.csv 1.6 MB），整条 record 含历史文件约 54.9 GB——下载前确认磁盘与带宽，核对官方给出的 md5（2.zip: eee5d9fec8bc9177eae36533525b17af；5.zip: 65f306f250fdb6d7ffbac436e82892c6）。

6.3 CC BY-NC-ND 的边界

CC BY-NC-ND 4.0 允许署名后的非商业使用，但 ND（NoDerivatives） 条款禁止再分发演绎版本——严格来说，把图像裁剪、增强后重新打包发布都在灰色区内。学术使用惯例是引用原 DOI 并在论文中展示分析结果（展示与内部分析通常被视为允许），但构建「AIROGS 衍生公开数据集」需要组织方另行授权。NC 条款同时排除了商业筛查产品的直接训练用途。另注意：这是训练集数据的许可；IEEE TMI 论文本身的许可与数据许可相互独立。

6.4 复现研究的三条现实路径

由于测试集封闭，本地研究事实上只有三种姿势：

1. 受试者级自切分：把训练集按 54,274 名受试者分层切出 train/val/test（保持左右眼不跨集），自建评测。缺点是与官方排行榜不可比，优点是流程可控、可重复。
2. 平台评测：打包 Docker 提交 Grand Challenge——挑战赛已重开为无限期提交，这是获得官方口径分数的唯一途径。
3. 只取数据做预训练/表征研究：把 10 万张图当作眼底表征学习语料（如自监督预训练），下游在库内其他公开青光眼/DR 数据集上评估——这绕开了测试集封闭的限制，也最贴合 NC-ND 的使用边界。

6.5 版本与引用格式

官方推荐引用总结论文（BibTeX 键 devente23airogs，arXiv:2302.01738 / IEEE TMI 2024）并标注 Zenodo DOI 10.5281/zenodo.5793241。数据集作者署名：Coen de Vente, Koenraad A. Vermeer, Nicolas Jaccard, Bram van Ginneken, Hans G. Lemij, Clara I. Sánchez。

§7 机构与人物：一个荷兰眼科 AI 联盟

7.1 四方联盟

AIROGS 的组织方阵容是荷兰眼科 AI 生态的横截面：

1. Rotterdam Ophthalmic Institute / Rotterdam Eye Hospital（鹿特丹眼科医院）：荷兰最大的独立眼科中心，青光眼临床与影像研究的重镇。数据集冠名的「Rotterdam」即来自此；资深作者 Hans G. Lemij（青光眼专家）与 Koenraad A. Vermeer（眼科影像科学家）坐镇临床与标注侧——两名资深仲裁专家的组织基础亦在此。
2. 阿姆斯特丹大学（UvA）Informatics Institute — QurAI 组：定量医疗 AI 实验室，第一作者 Coen de Vente（博士生，同为 ISBI/RETOUCH 系列挑战赛核心组织者）与通讯/资深作者 Clara I. Sánchez（QurAI 组长、Radboudumc 兼职）承担算法侧与工程侧。
3. Radboudumc — Diagnostic Image Analysis Group（DIAG）：Bram van Ginneken（医学影像 AI 元老级人物，LUNA16、CAD4 系列挑战赛的重要推手）参与组织，DIAG 的挑战赛工程传统（Grand Challenge 平台本身就是 Radboud 系主导建设）是整个评测基础设施的底座。
4. Project Orbis International（纽约）：国际防盲非营利组织，运营 Cybersight 远程眼科教学与筛查平台。Nicolas Jaccard 出任第四作者，为数据集带来全球筛查场景的运营视角——EyePACS 多站点、多族裔数据的现实感与 Orbis 的全球防盲使命一脉相承。

7.2 人际网络的可追溯性

de Vente 与 Sánchez 的组合此前已产出 RETOUCH（OCT/ ultrasound 篡改检测挑战赛）等作品；van Ginneken 则是 Grand Challenge 平台生态的长期架构师。这意味着 AIROGS 的赛题设计（Docker 封闭评测、四输出、禁外部数据）不是灵光一现，而是该联盟多年挑战赛工程经验的收束——理解这一点，才能理解为什么它能把「不可分级判定」这一在其他赛题中被回避的问题制度化地纳入评测。

7.3 资助与利益

官方页面未列出专项资助声明（与多数荷兰公共研究联合体一致，经费来自机构常规经费与挑战赛配套）；Project Orbis 的参与是非营利协作，无商业化许可安排。使用数据时无需额外的使用协议（除 Zenodo 门控接受时的使用条款）。

§8 生态与影响：AIROGS 在青光眼 AI 版图中的位置

8.1 数据集生态位

库内既有青光眼相关条目几乎全部位于「科研级小集」一端：REFUGE(62)/REFUGE2(766)、PAPILA(765)、RIM-ONE(291)、Drishti-GS(301) 等量级在数百至千余张，采集环境受控、设备单一。AIROGS 以 101k 张、500 站点的体量填入了「真实世界筛查流」的空档，与它们构成天然的训练-迁移对照轴：常见做法是在 AIROGS 上预训练/大规模训练，再在 REFUGE/RIM-ONE 上做跨数据集泛化评测，或反向以小集验证大集训练模型的少样本行为。

8.2 图像质量与 OOD 检测的参照系

AIROGS 的 O3/O4 输出设计使其成为眼底图像质量评估（IQA）与不可分级性检测的天然基准。库内 orcascore(776) 是视网膜 OCT 质量评分数据集——模态不同（OCT vs CFP）但任务同构（模型自主判断「这张图能不能用」），两者常在论文中被并列为质量评估双基准。harvard-fairvision(863) 等公平性基准则与 AIROGS 的多站点多族裔属性形成「质量之外的第二重鲁棒性」讨论。

8.3 挑战赛谱系与后继

• ISBI 2022：AIROGS 随会启动，2023 年收官总结（arXiv 2023-02，IEEE TMI 2024 正式版）
• 无限期重开：官方宣布 AIROGS 排行榜继续接受提交（无奖金），这使它的「挑战赛数据集」身份实际上长期有效
• JustRAIGS：官方宣示的 follow-up 挑战赛，转向 AI 生成的眼底图像质量相关命题（库内暂无条目，可作侦察候选）
• 工程遗产：四输出评测 + Docker 封闭执行的组合后来成为 grand-challenge.org 平台同类赛题（含各种「质量感知筛查」命题）的模板

8.4 使用热度与二次研究

自 2021 年发布以来，AIROGS 已成为青光眼筛查、不确定性量化、OOD 检测、联邦学习（多站点属性）几个方向论文的常用基准。二次研究的三条主脉：①在训练集上做受试者级切分的分类方法学；②利用其规模做眼底自监督预训练；③把 O3/O4 作为质量感知筛查的评测叙事。引用以 IEEE TMI 2024 总结论文为锚（openmedlab 口径 IEEE Xplore document 10253652）。

§9 方法学启示：三条可迁移的经验

9.1 把「拒绝的权利」写进评测

几乎所有医学影像挑战赛的默认假设是「每张测试图都必须给出预测」。AIROGS 证明了这个假设可以被打破且应该被打破：O3/O4 让模型显式表达「我不知道」，评测侧把它纳入综合排名。任何设计新医学 AI 基准的团队都应自问：我的测试集里有没有该被拒判的样本？如果答案是有而评测不允许拒判，这个基准就在系统地奖励过度自信。

9.2 训练-测试分布刻意的非对称

训练集纯净、测试集原始的非对称设计，是对「实验室性能 ≠ 部署性能」这一行业公痛的结构化回答。比起在论文讨论区写一段 limitation，把分布落差做成赛题本身，是更有力的行业沟通。这一手法可迁移到任何筛查类模态（皮肤镜、内镜、胸片）。

9.3 考试准入标注员

89 → 32 的考试筛选把标注质量从「事后抽检」前移到「事前准入」，成本几乎为零而收益显著。配合双人一致即定标、分歧专家仲裁的漏斗，整套流水线对任何 10 万量级医学标注项目都是直接可抄的模板——与库内 panda-plus(560) 的三层学生-专家流水线是两种互补哲学：AIROGS 靠准入门槛压平个体差异，PANDA-PLUS 靠层级复核兜底。

§10 与库内条目的关系

关系	条目	说明
任务同构（质量/可分级性判定）	orcascore(776)	OCT 质量评分 vs CFP 不可分级判定——质量评估双基准
同域青光眼分类	refuge(62)、refuge2(766)、papila(765)、rim-one(291)、drishti-gs(301)、g1020(764)	科研级小集，跨数据集泛化的天然对照端
同域大规模眼底	idrid(191)、deepdrid(211)、fives(741)、largeia(733)	DR/眼底多任务大集，预训练-微调组合素材
血管/分割同模态	drive(241)、stare(788)、e-ophtha(231)、hrf(261)、palm(281)、riga(768)	眼底分割系，与 AIROGS 分类任务互补
质量与去篡改	retouch(321)	同组织者（de Vente/Sánchez）前作，挑战赛工程血缘
公平性	harvard-fairvision(863)	多族裔鲁棒性的第二维度

建议互链优先级：orcascore(776) > refuge2(766) > idrid(191) > retouch(321) > papila(765)。

§13 深读：青光眼筛查的真实世界问题域（背景扩充）

13.1 青光眼为什么必须筛查

青光眼是全球不可逆性失明的首要病因。它的流行病学画像决定了筛查的必要性：疾病早期几乎无症状（开角型青光眼尤其如此），视野从周边开始悄然缺损，患者往往在中晚期才因视野明显丧失就医——而此时的视神经损伤不可逆转。据世界卫生组织口径，青光眼在全球致盲病因中位列前茅，且随着人口老龄化，患病人数持续上升。早发现、早干预（降眼压药物、激光或手术）是目前唯一被证明能延缓失明的路径。这就是「筛查」的价值所在：在患者自我察觉之前，把无症状的进展期病例从人群中捞出来。

13.2 CFP 筛查的经济学逻辑

大规模青光眼筛查的工具箱里，彩色眼底彩照（CFP）是最现实的候选：设备相对便宜、免散瞳方案可行、采集速度快、可在基层与非专业场所部署。但 CFP 筛查的瓶颈在读图人力——每张眼底照都需要受过训练的读图员判读视盘、视神经纤维层与视网膜神经纤维层的形态学改变，专业读图员的供给远跟不上筛查量。AI 的价值主张因此非常具体：替代或前置人力读图，把筛查的边际成本压到可扩展的水平。这正是 Project Orbis 参与 AIROGS 的动机——其 Cybersight 平台服务于全球资源匮乏地区的眼科能力建设，AI 读图对它们的边际价值远高于发达国家的三甲医院。

13.3 为什么「真实世界性能」会崩

实验室数据集（库内 REFUGE、RIM-ONE 等）的采集流程是科研化的：固定设备、统一曝光、技师指导摆位、必要时重拍。真实筛查流则相反：

1. 设备异质：500 个采集点意味着数百台不同品牌、不同型号、不同标定状态的相机；色彩响应、视野角、分辨率各不相同。
2. 操作员异质：基层采集人员培训水平参差，对焦失误、眼睑遮挡、瞳孔过小（散瞳失败）都留在数据里。
3. 患者异质：屈光介质混浊（白内障共病率随年龄上升）、小瞳孔、眼球震颤，使一部分图像在物理上不可判读。
4. 分布漂移：不同地区、族裔的视盘形态基线不同，模型可能学到与种族相关的伪相关。

论文与官网反复强调：性能骤降的两大元凶正是 OOD 数据与低质图像。实验室里这些因素被清洗掉了，测试时它们全部回来——AIROGS 的设计哲学就是拒绝清洗测试集。

13.4 ungradable 的处理是筛查系统工程的核心

一个真实的筛查系统由三层决策构成：①这张图能不能看（可分级性）；②如果能看，有没有可疑病变（转诊判定）；③整个系统的假阴性率是否可接受（质控审计）。绝大多数学术工作只研究第②层，而第①层在部署现场恰恰是最先暴露的问题——质量差的图不是「判错」而是「不该进模型」。AIROGS 用 O3/O4 把第①层拉进评测，等于承认了筛查系统工程的完整栈。官方对 O4 的建议（概率熵、集成方差）也暗示了一条工程捷径：不需要单独训练质量分类器，模型自身的不确定性往往就是可分级性的良好代理——这与深度学习不确定性量化文献中的发现一致。

13.5 禁令的方法学含义

「禁用一切额外眼底数据（含眼底预训练权重）」这条规则值得放大理解。预训练权重是当代视觉方法学的默认起点，但在医学挑战赛语境下，它引入了一个不可审计的自由度：用了眼底预训练的参赛者事实上把自己的训练数据规模隐藏在了权重里。AIROGS 的禁令把所有参赛者拉回同一起跑线（只允许 ImageNet 等非眼底预训练），使排行榜真正反映算法架构与训练策略的差异。副作用是：排行榜分数不等于该架构在「允许眼底预训练」的现实条件下的最优表现——复现者须知这一前提。

§14 深读：数据切分与实验设计实操

14.1 受试者级切分的参考方案

由于官方不提供训练集内部的验证切分，二次研究者需自行设计。参考方案：

1. 按 54,274 名受试者做分层随机划分（保持每名受试者的所有眼图同侧），推荐比例 train:val:test = 70:10:20 或 80:10:10。
2. 分层变量建议用「是否有 referable glaucoma 图」——正例仅 3,270 张，必须保证三个子集都有足够的正例支撑稳定估计。
3. 若研究跨站点泛化，可进一步按受试者 id 哈希做「留站点」切分——但约 500 站点的映射未逐条公开，只能近似。
4. 报告指标时固定特异性阈值（如 95% 特异度下的敏感性）以贴合筛查场景的运行点，而非只报 AUROC。

14.2 类别不平衡的三板斧

在 1:30 的不平衡下：

• 损失加权：正类权重 30 上下起步，或用 focal loss（γ=2 是常用起点）。
• 采样策略：正例过采样到 1:5 至 1:10 区间往往比纯加权更稳；避免过采样到 1:1（会牺牲特异性校准）。
• 校准意识：筛查系统下游要做阈值决策，概率校准（如 temperature scaling）值得单独报告 ECE。

14.3 不确定性输出的构造实践

对 O4 型研究（不可分级性代理量）：

1. 单模型熵：softmax 概率向量的香农熵；训练时的标签噪声会污染熵的绝对值，建议温度缩放后再用。
2. 深度集成：5-10 个不同随机种子的模型，方差天然捕捉「模型间分歧」；计算成本是主要代价。
3. MC Dropout：单模型推理时开 dropout 多次前传，方差作为廉价替代。
4. 辅助质量头：多任务学习加一个质量分支——但 AIROGS 训练集没有 ungradable 标签，质量头需要弱监督（如图像锐度、曝光统计）或外部数据，注意许可与数据来源声明。

14.4 预处理流水线的兼容性提醒

训练集图像尺寸跨度 5 倍以上，任何 resize 策略（等比缩放+padding、中心裁剪、多尺度训练）都会在真实分布上遇到极端样本（212×320 的图放大到 512² 会糊成一团）。鲁棒性导向的实验应报告「按原始尺寸分桶的性能」——这是把 AIROGS 的异质性变成研究素材而不是障碍的用法。

§15 深读：与库内眼底条目的组网用法

15.1 「大预训练 + 小精标」组合

AIROGS(airogs) × REFUGE2(refuge2, 766)：在 AIROGS 101k 上训练转诊分类器，在 REFUGE2 的带分割标注子集上评估跨数据集泛化与视盘形态学解释性。REFUGE2 提供视盘/视杯分割金标准，可作为 AIROGS 训练模型注意力热图的解剖学验证锚点。

15.2 质量评估双基准

AIROGS(O3/O4) × orcascore(orcascore, 776)：前者是 CFP 不可分级性（分类语义），后者是 OCT 图像质量评分（连续语义）。联合使用可论证「跨模态的质量感知筛查能力」，是方法学论文常见的双域验证结构。

15.3 DR 筛查生态的迁移链

AIROGS × IDRiD(idrid, 191) × DeepDRiD(deepdrid, 211)：IDRiD 提供病灶级标注、DeepDRiD 提供分级随访结构。多站点预训练（AIROGS）→ 病灶敏感微调（IDRiD）→ 分级评估（DeepDRiD）构成完整的「筛查 AI 素质链」叙事。

15.4 大视盘集的边界案例

G1020(g1020, 764) 与 LargeIA(largeia, 733) 都是千级以上的青光眼分类集，与 AIROGS 的差异主要在采集环境（科研级 vs 筛查流）。把它们作为「分布内 vs 分布外」对照端，可以定量回答「筛查流训练的模型在科研集上表现如何，反之如何」——这正是 AIROGS 双面性设计的延伸实验。

15.5 挑战赛工程血缘

RETOUCH(retouch, 321) 与 AIROGS 共享 de Vente/Sánchez 的组织者组合，两者的 Docker 封闭评测范式同源。写挑战赛设计综述时，RETOUCH（多模态篡改检测）→ AIROGS（质量感知筛查）→ JustRAIGS 是一条可梳理的演进线。

§16 深读：许可与伦理的细颗粒度

16.1 患者隐私路径

数据集来自真实筛查流，发布前已由组织方完成去标识处理（公开数据集未附患者身份信息，仅图像 id 与标签）。Zenodo 门控机制提供了访问审计的最低形态：每次下载都有请求记录与人工批准留痕——这比 Kaggle 式一键下载更符合医疗数据的治理预期。使用者仍需遵守本单位 IRB/伦理审查流程：CC 许可解决版权问题，不豁免伦理审查义务。

16.2 ND 条款与论文图表

「禁止演绎再分发」在学术发表中的通行解释：论文中展示样例图、定量结果、热图属于分析与评论（合理使用范畴惯例），不构成 ND 意义上的「再分发演绎物」；但把预处理后图像批量打包上传（如做成新基准或 HF 数据集）则明确越线。库内已有条目（如若干 HF 镜像类数据集）的处理方式各不相同——引用 AIROGS 时建议只链接 Zenodo 官方渠道。

16.3 模型部署的许可外溢

若用 AIROGS 训练的模型被用于商业筛查产品，CC BY-NC-ND 只约束数据及其演绎物，不直接约束「从数据学到的模型权重」——这是许可法的灰色地带，各法域解释不一。审慎的立场：商用部署前与组织方确认，或至少在产品文档中声明训练数据来源与许可边界。

§17 深读：评测指标的选择逻辑

17.1 为什么主指标是 AUROC 而非 accuracy

96.8% 的负例占比使 accuracy 完全失效（全预测阴性即 96.8%）。AUROC 对类别先验不敏感，衡量「随机正例排在随机负例之前的概率」，是筛查类不平衡任务的默认主指标。挑战赛评测同样以 O1 的 AUROC 类指标为骨架。

17.2 运行点指标

筛查系统的实际运行点由「转诊容量」决定：读图人力、复查成本、假阳性转诊的医患负担共同决定系统只能承受某个假阳性率。因此「固定特异性下的敏感性」（如 SE@SP95）比 AUROC 更贴近部署决策。挑战赛论文与二次研究建议至少同时报告两者。

17.3 不可分级性检测的指标

O3（二分类）可用 AUROC 评估（以不可分级为正类）；O4（连续标量）与 O3 标签间的 AUROC 是其直接评测。综合排名按官方方法将各输出指标排名求和（论文口径的线性无权重排名机制），这使「单点最优」不如「全面无短板」——与数据集的鲁棒性主题形成指标层面的呼应。

17.4 复现实验的报告规范建议

1. 明确声明切分方式（受试者级、比例、随机种子）。
2. 声明是否使用眼底预训练（虽然本地研究不受挑战赛禁令约束，声明是必要的）。
3. 不使用「AIROGS test set」一词描述自建切分——那是封闭官方测试集的专名，混用会污染文献计量。
4. 引用总结论文 + Zenodo DOI 双引。

§18 深读：失败模式图鉴——模型在真实筛查流里会怎么死

把 AIROGS 的设计动机翻译成具体的失败模式清单（对调试真实筛查系统的工程团队是实用参考）：

1. 过自信的垃圾进垃圾出：模型对模糊图输出高置信错误评分——O3/O4 检测的就是这类失败。
2. 色彩域偏移：不同相机的白平衡差异使视盘苍白度（青光眼重要体征）判读漂移；颜色归一化是常见的第一道补丁，但归一化本身可能抹掉病理性苍白信息。
3. 视场缺失：筛查流中相当比例图像未覆盖完整视盘——模型在裁剪语义上不稳定。
4. 尺寸灾难：212×320 的低分辨率图上 2354×3296 训练的卷积特征完全失配。
5. 族裔基线漂移：视盘尺寸与苍白基线存在人群差异，纯单源训练的模型把差异当病变。
6. 共病干扰：白内障、高度近视（视盘变形）、视网膜病变共存使青光眼体征遮蔽或伪装。

AIROGS 测试集保留全部这些因素，是它在方法学上「残酷」而有价值的原因。

§19 时间线全景

时间	事件
2021-12	Zenodo 发布训练集（DOI 10.5281/zenodo.5793241），旧版两 record 后续合并
2022	ISBI 2022 附属挑战赛启动：Docker 提交、封闭评测
2023-02	总结论文挂 arXiv:2302.01738
2023-2024	IEEE TMI 正式版 2024;43(1):542-557
挑战赛后	重开为无限期提交（无奖金）；宣布后继 JustRAIGS
未来（预告）	AWS Registry of Open Data 上架（截至 2026-10 未见落地）

§11 避坑清单：八个已踩过或必然会被踩的坑

坑 1：把 AIROGS 当成普通的 10 万张青光眼分类集。
训练集确实可以这么用，但这会错过数据集的灵魂（O3/O4、分布落差）。正确姿势：训练集做方法学，叙事里明确「测试集封闭、官方指标经平台评测」。

坑 2：按图像切分导致左右眼泄漏。
54,274 名受试者对应 101,442 张图，双眼同受试者高度相关。任何本地切分必须按受试者划分，否则验证指标虚高。AIROGS 无官方切分建议，这是使用者必须自己堵的洞。

坑 3：Zenodo 请求被人工批准的等待期没算进排期。
官方明说需要人工接受请求（“may take some time”）。排期按 T+数日预估，并提前在 Zenodo 完善机构信息以免审批退回。

坑 4：拿到 deprecated 的旧 Zenodo record。
旧版数据曾拆为两个 record，当前版本 5793241 才是完整集合。引用一律走当前 DOI，下载前核对 md5。

坑 5：在挑战赛语境下偷用眼底预训练权重。
官方禁令明确：不允许任何额外眼底数据，含眼底预训练权重与视盘分割预处理。做平台评测的团队若用了 ImageNet 之外的眼底预训练，提交会被规则性否定（即使平台不自动检测，挑战赛论文与复现伦理上也不成立）。做纯本地研究不受此约束，但引用分数时必须声明使用条件不同。

坑 6：把测试集数量「约 11,000」当成精确值外推。
113,893 − 101,442 = 12,451 ≠ 11,000——官方对测试集只给约数（“about 11,000”），差额部分可能含预赛阶段与最终评测的分配差异。论文引用时保持官方约数口径，勿自行推精确数。

坑 7：把正例率 3.2% 的不平衡当小事实处理。
3,270 张正例在 10 万张中，任何不做加权的损失函数都会把模型训成「高特异性、低敏感性」。标准做法：focal loss、类别加权、过采样正例，并始终以 AUROC 与敏感性@固定特异性报告。

坑 8：NC-ND 许可下的衍生数据集再分发。
CC BY-NC-ND 禁止演绎再分发：裁剪图、增强图、打包成新数据集公开都在禁区。学术展示与分析不受影响，但「AIROGS 预处理后公开镜像」类项目需要组织方授权。

§12 总结：一句话与三行注

一句话：AIROGS 用 10 万张真实筛查眼底照和一道「你能承认自己看不了这张图吗」的赛题，把医学 AI 从实验室指标文化推向部署鲁棒性文化——它是青光眼筛查领域第一个把不可分级性判定制度化计入成绩的基准。

三行注：

1. 对数据集设计者：考试准入标注员 + 双人一致即定标 + 专家仲裁的流水线，以及训练/测试分布刻意非对称的赛题结构，都是可直接复用的设计资产。
2. 对算法开发者：在这个数据集上，模型的不确定性输出与判别输出同等重要；概率熵、集成方差这类免费的不确定性度量是 O4 的官方推荐起点。
3. 对资源建设者：10 万张、500 站点、低患病率保真的组合证明「真实世界规模」与「标注质控」可以兼得——代价是 Zenodo 门控与测试集封闭，这是刻意的取舍而非缺陷。

FAQ（高频问答 30 问）

Q1：AIROGS 训练集有多少张图？
101,442 张彩色眼底彩照，来自 54,274 名受试者、约 500 个采集点。全部为可分级图。

Q2：完整的 AIROGS 集合多大？
113,893 张、60,357 名受试者。训练集 101,442 张公开，测试集约 11,000 张封闭。

Q3：标签有哪些类别？
referable glaucoma / no referable glaucoma / ungradable 三类。训练集只含前两类。

Q4：正负例比例？
训练集 No-Glaucoma 98,172 张、Glaucoma 3,270 张，正例率约 3.2%。

Q5：图像什么格式、多大？
JPG，212×320 到 6000×6000，中位 2354×3296。

Q6：什么是 referable glaucoma？
「可转诊青光眼」——筛查语境下达到转诊阈值的可疑青光眼，是筛查系统的输出动作定义，不是临床分期。

Q7：谁标注的数据？
89 名候选分级者中经考试（特异性 ≥92%、敏感性 ≥85%）筛选出的 32 人；每图双人独立标注，分歧由两名资深青光眼专家之一仲裁。

Q8：挑战赛要求算法输出什么？
四个输出：O1 转诊似然评分、O2 二分类决定（不上榜）、O3 不可分级二分类、O4 与不可分级性正相关的连续标量（如概率熵、集成方差）。

Q9：测试集能下载吗？
不能。封闭测试集只能通过 Grand Challenge 平台提交 Docker 容器在平台侧评测。

Q10：用什么硬件跑参赛算法？
NVIDIA T4（16 GB）+ 8 CPU（32 GB），平台统一环境。

Q11：可以用眼底预训练权重吗？
挑战赛禁止任何额外眼底数据（含眼底预训练权重与视盘分割预处理）；本地研究不受此限但引用分数时需声明。

Q12：license 是什么？
训练集 CC BY-NC-ND 4.0。禁止商用与演绎再分发。

Q13：怎么下载？
Zenodo DOI 10.5281/zenodo.5793241，提交访问请求后等人工批准；当前版约 15.9 GB（2.zip 9.7 GB + 5.zip 6.2 GB + train_labels.csv）。

Q14：为什么要人工批准？
组织方逐请求审查访问资格（学术用途确认），官方明示可能需要等待。

Q15：总结论文在哪？
arXiv:2302.01738（2023-02）；正式版 IEEE Transactions on Medical Imaging 2024;43(1):542-557。

Q16：AIROGS 是哪一年的挑战赛？
ISBI 2022 附属挑战赛；数据集 Zenodo 首发 2021-12；总结论文 2023-2024。

Q17：图像来自哪里？
EyePACS 平台的真实远程筛查数据，约 500 个采集点、族群异质。数据集冠名「Rotterdam EyePACS」。

Q18：训练集里有不可分级图吗？
没有——官方刻意剔除，训练集是 in-the-lab 纯净集；不可分级图只在封闭测试集。

Q19：O4 输出怎么构造？
官方建议用模型不确定性的代理量：概率向量熵、集成方差等与不可分级性正相关的未阈值标量。

Q20：能在本地复现官方排行榜吗？
不能。合理替代是受试者级自切分，或打包 Docker 提交平台（挑战赛已重开为无限期提交，无奖金）。

Q21：切分训练集要注意什么？
必须按受试者（54,274 名）划分，保持左右眼同受试者不跨集，防止信息泄漏。

Q22：什么是 JustRAIGS？
AIROGS 组织方宣示的后继挑战赛（follow-up challenge），主题延续筛查 AI 质量命题。

Q23：AIROGS 与 Kaggle DR 挑战赛什么关系？
共享 EyePACS 上游图像平台，但标签体系不同（DR 分级 vs 青光眼转诊），两集合不可混用标签。

Q24：数据集作者有哪些人？
Coen de Vente、Koenraad A. Vermeer、Nicolas Jaccard、Bram van Ginneken、Hans G. Lemij、Clara I. Sánchez。

Q25：参与机构？
阿姆斯特丹大学 QurAI 组、Rotterdam Ophthalmic Institute / Rotterdam Eye Hospital、Radboudumc DIAG、Project Orbis International。

Q26：和 REFUGE 相比如何？
规模 100 倍级（101k vs ~1.2k）、来源真实筛查流 vs 科研采集、任务多出不可分级判定——三个维度都不在一个量级。

Q27：可以商用吗？
不可以。CC BY-NC-ND 的 NC 条款排除商业训练用途。

Q28：Zenodo 上 54.9 GB 是下载体积吗？
不是——54.9 GB 是整条 record 含历史版本文件的总量；当前版数据本体约 15.9 GB。

Q29：AWS Registry of Open Data 有了吗？
官网预告「将来」（in the future），截至本条目抓取时点未见落地页——引用时以 Zenodo 渠道为准。

Q30：论文里能找到各参赛队精确分数吗？
能。IEEE TMI 2024 总结论文含完整评测方法与结果表；本条目未逐表转录，引用精确分数请查原文（arXiv 版免费）。

事实清单（硬事实 24 条）

1. 全称 Rotterdam EyePACS AIROGS dataset；AIROGS = Artificial Intelligence for RObust Glaucoma Screening。
2. 完整集合 113,893 张 CFP / 60,357 受试者 / 约 500 采集点。
3. 训练集 101,442 张 / 54,274 受试者；测试集约 11,000 张（封闭）。
4. 训练集标签：No-Glaucoma 98,172 / Glaucoma 3,270（≈3.2%）。
5. 三类标签：referable glaucoma / no referable glaucoma / ungradable；训练集仅含前两类。
6. 标注者：89 名候选人 → 考试（特异度 ≥92%、敏感度 ≥85%）→ 32 人上岗。
7. 每图双人独立标注，一致即定标；分歧由两名资深青光眼专家之一仲裁。
8. 挑战赛附属 ISBI 2022。
9. 评测四输出 O1-O4；O2 不用于排行榜；O4 官方建议熵/集成方差。
10. 测试集 Docker 平台执行：NVIDIA T4 16 GB + 8 CPU 32 GB。
11. 预赛 phase 2 = 10% 终测数据、3 次提交；最终 phase 一次提交。
12. 禁用一切额外眼底数据（含眼底预训练权重、视盘分割预处理）。
13. Zenodo DOI 10.5281/zenodo.5793241，2021-12 发布，CC BY-NC-ND 4.0，门控+人工批准。
14. Zenodo 旧版拆两 record，当前版合并，旧版 deprecated。
15. 文件：2.zip 9.7 GB（md5 eee5d9fec8bc9177eae36533525b17af）、5.zip 6.2 GB（md5 65f306f250fdb6d7ffbac436e82892c6）、train_labels.csv 1.6 MB；record 总量 54.9 GB。
16. 图像尺寸 min 212×320 / median 2354×3296 / max 6000×6000。
17. 论文：arXiv:2302.01738（2023）；IEEE TMI 2024;43(1):542-557。
18. 作者：de Vente, Vermeer, Jaccard, van Ginneken, Lemij, Sánchez。
19. 机构：UvA QurAI + Rotterdam Ophthalmic Institute/Rotterdam Eye Hospital + Radboudumc DIAG + Project Orbis International。
20. 挑战赛重开为无限期提交（无奖金）；后继挑战 JustRAIGS。
21. 官网预告数据将上 AWS Registry of Open Data（未落地）。
22. 训练集仅可分级图（in-the-lab）；测试集含全部筛查流图像类型。
23. 标注全程由专用 web 系统支撑并持续监控分级者表现。
24. 官方推荐引用 BibTeX 键 devente23airogs。

术语表（20 条）

1. CFP（color fundus photography）：彩色眼底彩照，本数据集唯一模态。
2. Referable glaucoma（可转诊青光眼）：达到筛查转诊阈值的可疑青光眼。
3. Ungradable（不可分级）：图像质量不足以供人工判读分级。
4. O1-O4：挑战赛四个评测输出（评分/二分类/不可分级判定/不可分级性标量）。
5. OOD（out-of-distribution）：分布外数据，训练分布未覆盖的真实样本。
6. IQA（image quality assessment）：图像质量评估。
7. Ensemble variance（集成方差）：多模型预测方差，不确定性代理量。
8. Entropy（熵）：概率向量的不确定度度量，O4 官方建议之一。
9. ISBI：IEEE International Symposium on Biomedical Imaging，本挑战赛附属会议。
10. Grand Challenge：医学影像挑战赛与算法托管平台，AIROGS 评测基础设施。
11. Docker 容器：参赛算法的打包格式，保证平台侧可复现执行。
12. EyePACS：美国大规模糖尿病视网膜病变远程筛查平台，本数据集图像上游。
13. CC BY-NC-ND 4.0：署名-非商业-禁止演绎许可。
14. 门控发放（gated access）：需提交请求并获人工批准方可下载。
15. Grader（分级者）：执行眼底判读标注的人员。
16. Arbitration（仲裁）：双人标注分歧后的第三读定标。
17. JustRAIGS：AIROGS 后继挑战赛。
18. QurAI：阿姆斯特丹大学定量医疗 AI 组。
19. DIAG：Radboudumc 诊断图像分析组。
20. Project Orbis International：国际防盲非营利组织，Cybersight 平台运营方。

附录 A：DAIMS 24 项画像

#	维度	评分/描述
1	模态	彩色眼底彩照（CFP），单模态
2	任务	二分类（referable glaucoma）+ 不可分级判定（挑战赛 O1-O4）
3	解剖部位	眼（眼底/视盘）
4	疾病	青光眼
5	规模	训练集 101,442 张 / 全集 113,893 张
6	受试者数	54,274（训练）/ 60,357（全集）
7	采集来源	EyePACS 真实筛查流，约 500 站点
8	族群多样性	异质（官方明示 heterogeneous ethnicity）
9	标注类型	图像级三分类标签
10	标注者数量	32 名考试筛选分级者 + 2 名仲裁专家
11	标注协议	双人独立 + 一致定标 + 专家仲裁
12	标签质量机制	考试准入 + 持续表现监控
13	类别平衡	1:30 不平衡（3.2% 正例）
14	图像规格跨度	212×320 至 6000×6000，中位 2354×3296
15	数据格式	JPG + CSV 标签
16	数据体量	当前版约 15.9 GB
17	切分	官方 train/test；train 公开、test 封闭
18	许可	CC BY-NC-ND 4.0
19	获取门槛	Zenodo 门控 + 人工批准
20	机器可读元数据	train_labels.csv（图像 id + 标签）
21	基准/排行榜	Grand Challenge 封闭评测 + 无限期排行榜
22	论文支撑	arXiv:2302.01738 / IEEE TMI 2024;43(1):542-557
23	版本治理	Zenodo 版本链（旧版 deprecated）
24	持续维护	挑战赛重开 + 后继 JustRAIGS

附录 B：三源核验记录

硬数字	源 1（grand-challenge 官网）	源 2（Zenodo/UvA-DARE）	源 3（openmedlab/OpenAIRE）	一致性
全集 113,893 / 60,357 / ~500 站点	✅ 原文	✅（口径一致）	✅ 原文	一致
训练集 101,442 / 54,274	✅ 约 101,000	✅ 精确值	✅ 精确值	一致
CC BY-NC-ND / 门控人工批准	✅ 原文	✅ License 标注	✅	一致
标签分布 98,172/3,270	未给出	未给出	✅ 唯一来源	单源转引（总数吻合互证）
测试集约 11,000	✅ 原文	——	✅	一致（约数口径）

尾注

• 数据：https://zenodo.org/record/5793241（DOI 10.5281/zenodo.5793241）
• 官网：https://airogs.grand-challenge.org/data-and-challenge/
• 论文：https://arxiv.org/abs/2302.01738；IEEE TMI 2024;43(1):542-557（IEEE Xplore 10253652）
• UvA-DARE 存档：https://www.dare.uva.nl/id/5252d3da-c682-4102-af31-2c4ba345b725
• 条目抓取与核验时点：2026-10-13（agent-b-airogs）

§20 深读：标注协议的边界情况与可靠性论证

20.1 「一致性即正确」的假设边界

双人一致即定标的机制隐含假设：独立错误不太会一致地发生。对于清晰的边界样本这个假设基本成立；但对于「系统性共同盲区」（例如两名分级者都来自同一训练传统、对某类视盘形态有相同误读），一致性会固化错误。AIROGS 的缓解因素是分级者池的构成异质（眼科医生+专科+住院医+验光师 32 人，培训背景不同）与持续表现监控——但数据集本身没有发布逐标注者数据，使用者无法审计个体偏差。这是标注协议透明度的一个边界，做标签噪声研究时应纳入 limitation 叙述。

20.2 资深专家仲裁的一致性口径

分歧仲裁交给「两名资深青光眼专家之一」而非两人共同裁决——单人仲裁保留了效率，但也意味着分歧子集的最终标签携带单人偏好。仲裁子集的规模官方未公布（数据集论文或可提供），使用者若复现标注协议做对比研究，建议至少双人仲裁并报告仲裁者间一致性。

20.3 ungradable 判定的主观度

「不可分级」的判定天然比「有无病变」更主观：同一张边界质量的图，一名分级者判定勉强可读、另一名判定放弃，完全正常。这使 ungradable 的双人一致率理论上低于病变标签——也正因如此，把 ungradable 判定做成 O3/O4 的连续输出（而非硬二分）在语义上更诚实。二次研究做质量评估时应意识到：训练集没有 ungradable 样本，任何本地质量评估都是间接推断。

20.4 与库内标注流水线的横评

数据集	标注者组织	质控机制	规模承受力
AIROGS(airogs)	32 名考试筛选分级者+2 专家仲裁	考试准入+双人一致+监控	10 万级
PANDA-PLUS(panda-plus)	学生注释+高年级复核+单专家终审	层级复核兜底	百级 WSI
IDRiD(idrid, 191)	专家标注（小团队）	专家共识	百级
G1020(g1020, 764)	专家分级	单轮	千级

AIROGS 的「准入制」是唯一在 10 万量级仍维持双人+仲裁结构的方案，其考试筛选的设计（89→32）本质上是把质控预算前置。

§21 深读：AIROGS 在挑战赛文献中的叙事位置

21.1 挑战赛范式的三代演进

第一代（2015-2017，Kaggle DR、DIARETDB 系）：公开数据+公开测试、单一指标、图像级任务。暴露的问题：测试集泄漏、过拟合排行榜。

第二代（2018-2020，REFUGE、RETOUCH、Glas 系）：Grand Challenge 平台化、Docker 提交、封闭测试、多任务多指标。解决了泄漏，但「每图必预测」的假设原封未动。

第三代（2022-，AIROGS 为代表）：把「拒绝预测」「不确定性」「分布漂移」制度化进评测。AIROGS 的四输出是第三代范式的教科书实现——它不是把鲁棒性当论文里的讨论段落，而是当排行榜上的硬分数。

21.2 「禁外部数据」规则的谱系

AIROGS 的禁令与同期医学挑战赛的「自足性」潮流一致（部分病理挑战赛禁用外部病理数据）。其差异化在于明确把「预训练权重的数据来源」也纳入禁令——这比「不许用外部训练数据」的粗颗粒规则更精确，堵住了「权重即数据」的漏洞。

21.3 JustRAIGS 与质量叙事的延续

官方后继挑战 JustRAIGS 把命题推向 AI 生成内容时代的图像质量与真实性（生成式眼底图像的判别与质量评估方向），延续了 AIROGS「质量是一等公民」的叙事线。对关注合成数据污染问题的研究者，AIROGS（真实流基准）与 JustRAIGS（合成判别基准）构成前后呼应的一对。

§22 深读：从 AIROGS 看医学数据集的门控发放之争

22.1 门控的两面

AIROGS 选择 Zenodo 门控+人工批准，而非 Kaggle/HF 的一键下载。支持面：访问审计、学术用途确认、与医疗数据治理惯例对齐。反对面：获取延迟不可控、可能造成「有影响力的团队能更快迭代」的隐性不公平、降低二次研究基数。官网为缓解等待焦虑专门写了 “may take some time” 的预期管理——这本身就是门控成本的自认。

22.2 封闭测试集 vs 门控训练集的组合

AIROGS 的完整治理结构是「训练集门控公开 + 测试集永久封闭」的双轨。这与纯开放（训练+测试全公开，如 IDRiD）和纯封闭（全部平台执行）都不同。三者的复现成本与防作弊强度依次上升；AIROGS 的组合可以理解为：训练集门控保护了去标识数据的使用边界，测试集封闭保护了排行榜的对比有效性。

22.3 对库内条目的启示

库内医疗数据集的获取方式光谱（完全公开 → 一键 → 门控 → 请求制 → 完全封闭）中，AIROGS 占据「门控+封闭测试」的组合位置。写跨条目对比（如 panda-plus 的请求制掩码、bigbrain 的开放下载）时，AIROGS 是「治理强度换复现成本」讨论的典型样本。

§23 扩展 FAQ（15 问）

Q31：AIROGS 适合做自监督预训练语料吗？
适合。10 万张多站点 CFP 是眼底表征学习的优质语料，且许可允许内部训练使用。注意 ND 条款：预训练权重再分发属灰色地带，建议只发布下游评估结果或与组织方确认。

Q32：训练集能用来做跨站点泛化研究吗？
可以但受限：约 500 站点的事实成立，但站点 id 未逐条公开，只能按受试者近似「留站点」切分。

Q33：AIROGS 有官方的 validation set 吗？
没有。官方只有 train/test 两分，验证集需使用者从训练集自行切出。

Q34：train_labels.csv 里有什么？
图像 id 与对应标签（referable glaucoma / no referable glaucoma），1.6 MB 的 CSV。

Q35：能拿到原始 RAW 格式图像吗？
不能。发布的是 JPG（筛查平台输出格式），RAW 未提供。

Q36：AIROGS 图像有视盘/视杯分割标注吗？
没有。只有图像级三分类标签；分割需求请看 REFUGE2(refuge2, 766)、RIGA(riga, 768) 等。

Q37：有没有人口统计学元数据（年龄、性别、族裔）？
官方描述确认「异质族裔」的集合级属性，但公开训练集未附逐受试者人口学字段。

Q38：测试集的 ungradable 比例是多少？
官方未公布精确比例，只说明测试集「含可分级与不可分级两类」。

Q39：可以用 AIROGS 数据训练后发布模型权重吗？
训练行为被许可允许；权重再分发的 ND 边界存在解释争议，审慎做法是附来源声明或先咨询组织方。

Q40：AIROGS 挑战赛现在还能提交吗？
可以。官方宣布挑战赛无限期重开（无奖金），排行榜继续更新。

Q41：数据集标注用了 AI 辅助吗？
官方描述为人工双人标注+专家仲裁，未提及 AI 预标注。

Q42：为什么训练集要剔除 ungradable 图？
官方设计：训练集是 in-the-lab 纯净集，便于方法学对比；真实分布的考验留给封闭测试集。

Q43：AIROGS 与 JustRAIGS 数据能一起用吗？
两者独立发布与许可；JustRAIGS 数据获取规则见其官方渠道。

Q44：论文里报告 AIROGS 分数，引用格式？
引 de Vente et al. 的 IEEE TMI 2024 论文（或 arXiv:2302.01738）+ Zenodo DOI 10.5281/zenodo.5793241 双引。

Q45：这个数据集有中文介绍吗？
本条目即中文详述；另有 openmedlab 的 Awesome-Medical-Dataset 中文条目可参考。

§24 扩展事实清单（补充 12 条）

25. 青光眼是全球首位不可逆致盲病因（背景事实，筛查动机）。
26. EyePACS 上游与 2015 Kaggle DR 挑战赛共享平台。
27. 训练集人均图数约 1.87（双眼为主）。
28. 分级者候选池构成：综合眼科医生、青光眼专科、住院医师、验光师。
29. 标注系统：专用优化 web 标注平台。
30. 挑战赛禁令覆盖预处理模型（视盘分割）与预训练权重。
31. 官方提供 Docker 打包示例仓库。
32. 预赛 phase 1 允许多次提交用于容器调试。
33. O2（二分类决定）不上排行榜，仅用于挑战赛论文附加分析。
34. Zenodo record 页含官方 BibTeX（键 devente23airogs）。
35. UvA-DARE（阿姆斯特丹大学机构库）为数据集存档镜像。
36. Project Orbis International 为主办方之一（国际防盲非营利组织）。

§25 存照与遗留疑点（正文版）

1. 测试集精确数量：官方口径「约 11,000」；与全集训差值 12,451 不完全吻合，官方使用约数，精确值未公布——条目全程沿用官方约数。
2. IEEE TMI DOI 精确串：论文卷期页码（2024;43(1):542-557）与 IEEE Xplore 文档号 10253652 经 openmedlab 核实；精确 DOI 字符串未逐字核验，引用时以 IEEE Xplore 页为准。
3. 各参赛队精确分数：未逐表转录，引用精确分数请查 arXiv:2302.01738 / IEEE TMI 原文。
4. AWS Registry of Open Data：官网预告「将来」，截至 2026-10-13 未见落地页。
5. Zenodo 旧 record 编号：存在 deprecated 旧 record，编号未抓取（对使用者无实质影响，当前版 5793241 为完整集合）。
6. 仲裁子集规模与仲裁者间一致性：官方页面未披露。
7. 标签分布单源：98,172/3,270 仅 openmedlab 给出，但与训练集总数 101,442 精确吻合，采信并标注转引。

附录 C：数据文件清单（Zenodo 当前版本）

文件	大小	md5
2.zip	9.7 GB	eee5d9fec8bc9177eae36533525b17af
5.zip	6.2 GB	65f306f250fdb6d7ffbac436e82892c6
train_labels.csv	1.6 MB	ae86ce3e614495fd1b3d1b61fba9c02b

记录整体（含历史版本文件）约 54.9 GB；当前版本数据本体约 15.9 GB。

附录 D：检索与使用快速清单

1. Zenodo → DOI 10.5281/zenodo.5793241 → Request access（人工批准，预留数日）
2. 下载 2.zip + 5.zip + train_labels.csv，核对 md5
3. 受试者级切分（建议 70:10:20，按有无正例分层）
4. 不平衡处理（加权/focal/过采样）→ 报 AUROC + SE@SP95
5. 不确定性输出（熵/集成方差）→ 仿 O3/O4 做质量感知评估
6. 论文引用：IEEE TMI 2024;43(1):542-557 + Zenodo DOI
7. 官方榜对比：Docker 打包 → grand-challenge.org 提交

附录 E：术语中英对照补遗

英文	中文
referable glaucoma	可转诊青光眼
gradable / ungradable	可分级 / 不可分级
likelihood score	似然评分
reference standard	参考标准
adjudication	仲裁定标
out-of-distribution detection	分布外检测
ensemble variance	集成方差
specificity / sensitivity	特异度 / 敏感度
gated access	门控获取
no-derivatives	禁止演绎
site heterogeneity	站点异质性
screening workflow	筛查工作流

§26 实操指南：六类典型用户的路径图

26.1 筛查算法工程师

目标：训练一个可上线的转诊分类器 + 质量守门模块。

1. 数据层：下载训练集后先做分布体检——按图像尺寸分桶、按亮度/对比度统计、抽检 500 张人工目检，建立对「真实流脏度」的直觉。
2. 切分层：受试者级 70:10:20，分层键=受试者是否含正例；固定随机种子并在论文/文档中登记。
3. 训练层：ImageNet 预训练骨干（若将来部署不受挑战赛规则约束，可用眼底预训练但需声明）+ focal loss 或正类加权；多尺度 resize 增强是必选项而非可选项——训练分布必须覆盖 212×320 到 6000×6000 的跨度。
4. 质量层：单模型熵做基线，5-fold 深度集成做上限；把验证集按熵分位分桶报告转诊 AUROC，验证「熵高→分数不可信」的单调关系。
5. 验收层：报告 SE@SP95 与校准曲线；有条件就打 Docker 提交官方平台拿封闭测试分数。

26.2 方法学研究者（不确定性/OOD 方向）

AIROGS 训练集没有 ungradable 样本，这既是限制也是设计空间：可以做「只用可分级数据 + 模型内在不确定性」的无监督质量检测，然后把方法在 orcascore(776)（OCT 有显式质量分数）上做跨模态验证。若需要 CFP 的显式质量标签，可参考图像质量评估文献中的失真合成策略——但务必在 limitation 中声明合成失真与真实低质图的域差距。

26.3 数据集设计者

AIROGS 提供的三份可复制资产：

1. 标注员准入考试：题库（测试图集）+ 双阈值（SP≥92%、SE≥85%）+ 淘汰制。任何标注项目只需一份小规模金标测试集即可复制。
2. 双人一致+仲裁漏斗：与多人标注取多数（如 LabelMe 式）相比，该漏斗在专家资源稀缺时更省预算——一致样本零边际成本。
3. 双面分布设计：训练纯净、测试原始的非对称结构可整体迁移到皮肤镜筛查、内镜质控、胸片筛查等场景。

26.4 综述作者

AIROGS 在综述中的定位句式：规模（10 万级）、真实性（500 站点筛查流）、任务创新（不可分级性评测）三个维度的组合在公开青光眼数据集中独一无二；引用时与 REFUGE2、RIM-ONE、Drishti-GS 作「科研级」对照组，与 EyePACS-Kaggle 作「同上游异任务」组。挑战赛设计史叙述中，把它作为第三代范式（质量感知评测）的起点案例。

26.5 教学场景使用者

AIROGS 的三重教学价值：①类别不平衡的活教材（3.2% 正例让教科书级技巧全部落地）；②数据切分泄漏的教学案例（双眼泄漏是眼科教具的经典陷阱）；③「评测设计即研究伦理」的讨论素材——为什么要给模型拒绝的权利。教学使用注意：门控获取流程本身可作为医疗数据治理的演示环节。

26.6 竞赛参赛者

赛题要点复盘：①O2 不计分——把二分类头当副产品，别为它牺牲 O1 的排序质量；②O4 用集成方差起步最快（训练 5 个种子模型几乎零额外设计）；③预赛 phase 1 的多次提交用于调试容器（I/O 格式、显存、超时），phase 2 的 10% 数据用于策略验证，最终 phase 一次定榜——把最好的配置留给终局；④禁眼底预训练是硬规则，架构层面（更强的骨干、更好的增广、TTA）是合规的提升空间。

§27 对照阅读：AIROGS 与 DR 筛查数据集的标签体系差异

维度	AIROGS（青光眼转诊）	EyePACS-Kaggle（DR 分级）	IDRiD(idrid, 191)（DR 病灶）
判读对象	视盘/视神经形态	视网膜血管病变	微动脉瘤/出血/渗出病灶
标签粒度	图像级二分+质量	图像级 5 级	像素级病灶掩码+分级
转诊语义	直接对应转诊动作	需阈值映射（≥2 级转诊）	研究用途为主
规模	101k	~35k	516
质量维度	O3/O4 显式评测	无	无

青光眼筛查与 DR 筛查虽然共用眼底相机与筛查平台（EyePACS 同时服务两者），但判读逻辑完全不同：DR 看的是血管与渗出的「可见病灶」，青光眼看的是视盘凹陷扩大、盘沿变窄、RNFL 缺损的「形态学改变」——后者对图像质量与颜色保真更敏感，这也是青光眼筛查中 ungradable 问题更尖锐的原因之一。

§28 校准与部署安全：把 AIROGS 分数翻译成运行参数

假设你训练的模型在受试者级切分上取得 SP95 下 SE 约 60-70%（该区间是此数据规模与方法下的合理成绩带），把它翻译成筛查系统运行参数：

1. 转诊压力：SP95 意味着 5% 的无转诊眼被误转诊；在年筛查量 10 万的眼科体系中即约 4,800 例假阳性转诊/年——转诊容量规划的核心输入。
2. 漏诊成本：SE 65% 意味着 35% 的可转诊青光眼被漏掉——这不是产品可接受线，而是「需要第二道防线（复查周期、风险分层随访）」的明确信号。
3. 质量守门的净效应：把熵最高的 5% 图像拦截转人工后，若 SE@SP95 提升 3-5 个百分点（文献常见量级），即是质量模块的量化价值。
4. 持续监控：部署后按采集点分层监控分数漂移——AIROGS 的 500 站点事实提醒你，分布漂移不是「会不会发生」而是「从哪个站点先开始」。

§29 常见错误问答（排错向）

E1：下载的图像数量对不上 101,442？
先核对是否拿了 deprecated 旧 record 的文件；再核对两个 zip 是否都解压完整（md5 校验）；最后注意 openmedlab 口径的 train.txt/test.txt 切分文件与 train_labels.csv 的覆盖范围差异。

E2：训练 loss 不收敛 / 模型全预测阴性？
1:30 不平衡下无加权的交叉熵几乎必然塌到多数类。加正类权重（起步 30）或换 focal loss。

E3：验证分数虚高到 0.99+？
几乎一定是按图像而非按受试者切分——左右眼泄漏。改受试者级切分。

E4：Zenodo 请求几天没批准？
正常现象（人工批准）。检查 Zenodo 账户邮箱验证与机构信息完整性后耐心等待；不要重复提交多个请求（组织方人工逐条处理，重复请求只会增加处理负担）。

E5：官方榜分数与本地分数差距大？
预期行为。官方测试集含 ungradable 图且分布原始，本地切分是「分布内」自测——两者本来就不该相等。论文中分开报告，勿混用。

E6：Docker 提交超时/爆显存？
T4 16 GB + 8 CPU 是硬环境；大模型需量化或裁剪；预加载权重放进镜像避免运行时下载（无外网假设）。

§30 关于本条目

• 条目对象：Rotterdam EyePACS AIROGS train set（Zenodo 公开部分）；测试集作为赛题设计要素叙述。
• 编写基准：官网数据页（airogs.grand-challenge.org）、Zenodo record 5793241、UvA-DARE 存档页、OpenAIRE 记录、openmedlab 条目、arXiv:2302.01738 摘要信息，三源互证见附录 B。
• 抓取时点：2026-10-13；数据集为静态发布物（除 Zenodo 版本合并外无内容变更），条目数字长期有效。
• 库内互链：见 §10 与 frontmatter relatedLink（orcascore、refuge2、papila、fives、idrid、deepdrid、g1020、largeia）。
• 双口径存照与遗留疑点：见 §25（正文版）与 FACTS.md §9（档案版）。

附录 F：AIROGS 挑战赛规则要点转录

以下为官网规则的结构化转录（意译，规则原文以官网为准）：

1. 算法形态：Docker 容器，官方示例仓库起步。
2. 执行环境：NVIDIA T4（16 GB）GPU + 8 CPU（32 GB RAM）。
3. 输出契约：每图 O1（似然评分）、O2（二分类）、O3（可分级性二分类）、O4（不可分级性连续标量）。
4. 计分范围：排行榜用 O1/O3/O4；O2 留作论文附加分析。
5. 数据禁令：禁止一切额外眼底数据，含眼底预训练权重与眼底预处理模型（如视盘分割）。
6. 账号纪律：每队单账号，多账号禁止。
7. 阶段结构：预赛 phase 1（容器调试，多提交）→ 预赛 phase 2（10% 终测数据，3 次提交）→ 最终 phase（一次提交，定榜）。
8. 测试集：封闭，约 11,000 张，可分级+不可分级混合。
9. 论文署名：最佳团队可选最多 3 人进入挑战赛总结论文作者名单。
10. 赛后：挑战赛重开为无限期提交（无奖金，排行榜续更）。

附录 G：训练集数字速查卡

训练集图像总数      101,442
训练集受试者数       54,274
No-Glaucoma         98,172   (96.8%)
Glaucoma             3,270   ( 3.2%)
全集图像数         113,893
全集受试者数        60,357
采集站点           ~500
测试集             ~11,000（封闭）
尺寸范围            212×320 ~ 6000×6000
尺寸中位数          2354×3296
数据体积（当前版）  ~15.9 GB（2.zip 9.7 + 5.zip 6.2）
Zenodo record 总量  54.9 GB（含历史版本）
License             CC BY-NC-ND 4.0（门控）
DOI                 10.5281/zenodo.5793241
论文                arXiv:2302.01738 / IEEE TMI 2024;43(1):542-557

§31 背景扩读：Grand Challenge 平台与挑战赛基础设施

31.1 平台是什么

Grand Challenge（grand-challenge.org）是由 Radboudumc 系团队主导建设的医学影像算法评测平台，后来成为全球医学 AI 挑战赛的事实标准基础设施。它的核心抽象是「算法包」：参赛者上传 Docker 化的推理算法，平台在受控硬件上对（通常封闭的）测试数据执行推理并计分。AIROGS 的评测架构（T4 GPU 环境示例仓库、四输出契约、分阶段提交）完全建立在这套抽象上。对使用者而言，平台意味着：①排行榜分数可复现（同一容器同一数据同一硬件）；②算法工程约束（显存、超时、无外网）从提交那一刻就是评测的一部分；③赛后排行榜可持续接受新算法，挑战赛从「一次性事件」变成「持续基准」——AIROGS 重开无限期提交正是这一模式的运用。

31.2 Docker 评测对算法设计的隐性影响

封闭评测不只是防作弊，它把三类工程问题提前到开发期：

1. 依赖封闭：镜像必须自带全部权重与依赖（运行时无外网下载），大模型需在 16 GB 显存内完成推理。
2. I/O 契约：输入输出格式由平台定义，格式错误是最常见的提交失败原因——预赛 phase 1 的存在就是为了烧掉这些错误。
3. 延迟约束：约 11,000 张图的推理需在平台时限内完成，单图推理时间是设计变量而非事后优化项。

31.3 与 Kaggle 式评测的对比总结

维度	Kaggle（EyePACS DR 2015）	Grand Challenge（AIROGS）
测试数据	公开或半公开	封闭
提交物	预测文件	Docker 算法
硬件	平台统一	平台统一（GPU 规格 per 赛题）
防泄漏	靠藏测试标签	数据物理不可见
可持续评测	弱（赛后停摆常见）	强（算法长期在线）
工程门槛	低	中高（容器化）

AIROGS 选择后者的原因清晰可见：四输出契约里 O3/O4 这类「算法内部状态外露」的输出，只有算法容器化提交才能可靠收集——预测文件提交无法保证 O4 是真实的模型不确定性而非事后编造。

§32 背景扩读：青光眼筛查的判读基础（非专业读者向）

32.1 眼底照上青光眼长什么样

对非眼科读者，青光眼在彩色眼底彩照上的主要线索集中在视盘（optic disc，视网膜上视神经汇出的亮黄色椭圆结构）：

1. 视杯扩大（cupping）：视盘中央更亮的凹陷区（视杯）与整个视盘的直径比（cup-to-disc ratio, CDR）增大；垂直方向 CDR 增大尤其提示青光眼。
2. 盘沿变窄（rim thinning）：视杯扩大挤占神经纤维通过的盘沿组织，局部变薄或出现切迹（notching）。
3. 神经纤维层缺损（RNFL defect）：视网膜神经纤维层的楔形暗带。
4. 盘周萎缩：视盘周围萎缩弧扩大（非特异线索）。

这些体征的判读高度依赖图像的颜色保真与对焦质量——视盘苍白度的细微变化在低质图上与白内障介质混浊导致的整体变暗难以区分。这解释了为什么青光眼筛查的 ungradable 判定不能简单外包给通用的「模糊检测」：需要的不是「图糊不糊」而是「视盘结构能不能被可靠判读」。

32.2 referable glaucoma 阈值的意义

筛查语境的「referable」（可转诊）不是临床诊断，而是一个行动阈值：判读者的任务是把有限的眼科专科资源投向「值得进一步检查」的眼。英国 NHS 等成熟筛查体系为 referable glaucoma 定义了可操作的判读标准（CDR 阈值+视野/眼压复核路径）。AIROGS 标注遵循同样的行动导向语义：32 名分级者回答的统一问题不是「这只眼有没有青光眼」，而是「这只眼该不该转诊」——训练标签与部署决策因此严格同构，这是筛查数据集设计里容易被忽视的正确性细节。

32.3 为什么训练集不提供 CDR 等中间标注

使用者常问：数据集为何不附视盘分割或 CDR 数值？官方答案在禁令里已经暗示——挑战赛禁用视盘分割预处理，组织方也不提供任何形态学中间标注，保持「图像→行动」的端到端语义。需要中间标注的研究请组合库内分割资源：REFUGE2(refuge2, 766)（视盘视杯分割金标）、RIGA(riga, 768)（多套视盘标注）、DRISHTI-GS(301)。

§33 背景扩读：不确定性量化方法在筛查中的谱系

AIROGS O4 的官方建议（熵、集成方差）只给了两个锚点，把它放回不确定性量化（UQ）文献的谱系更利于方法选型：

1. 偶然不确定性（aleatoric）：数据固有噪声——图像本身的信息不足。异方差回归头、贝叶斯数据建模捕捉的是它。ungradable 本质上是极端的偶然不确定性。
2. 认知不确定性（epistemic）：模型知识的缺乏——训练分布没覆盖的样本。MC Dropout、深度集成、贝叶斯神经网络捕捉的主要是它。OOD 检测与它同源。
3. 实用代理族：softmax 熵（两者混杂）、最大 softmax 概率（MSP）、能量分数、Mahalanobis 距离（特征空间）、kNN 距离。工程上最省力的是 MSP 与熵——零训练成本，一行前向。
4. 质量专用模型族：单独的 IQA 网络（合成失真训练）或质量回归头。优点是可解释，缺点是合成失真与真实低质的域差。

在 AIROGS 上的实证共识（总结论文与后续文献方向）：集成方差普遍强于单模型熵；「转诊性能与不可分级性检测的联合优化」比两阶段流水线（先质量后分类）更受排行榜激励设计青睐——因为综合排名同时考核两者。

§34 扩展术语表（补充 15 条）

21. Cup-to-disc ratio（CDR）：视杯与视盘直径比，青光眼核心体征指标。
22. Optic disc / cup：视盘 / 视杯。
23. RNFL（retinal nerve fiber layer）：视网膜神经纤维层。
24. Notching：盘沿局部切迹，青光眼特征性改变。
25. Aleatoric uncertainty：偶然不确定性（数据固有）。
26. Epistemic uncertainty：认知不确定性（模型知识不足）。
27. MC Dropout：蒙特卡洛 Dropout，推理期不确定性估计法。
28. Temperature scaling：温度缩放，概率校准方法。
29. ECE（expected calibration error）：期望校准误差。
30. SE@SP95：95% 特异度下的敏感度，筛查运行点指标。
31. Ensemble：深度集成，多模型聚合。
32. TTA（test-time augmentation）：测试时增强。
33. Cybersight：Project Orbis 的远程眼科平台。
34. DARE：阿姆斯特丹大学机构知识库（数据集存档镜像）。
35. Deprecated record：Zenodo 已废弃的历史版本记录。

§35 扩展 FAQ（再补 12 问）

Q46：AIROGS 的图像有统一分辨率吗？
没有，这正是其真实性所在。212×320 到 6000×6000 的跨度来自 500 个站点的设备差异。

Q47：可以在 AIROGS 上做视盘分割吗？
训练集没有分割标注；需要标注请用 REFUGE2/RIGA/DRISHTI-GS。在 AIROGS 上只能做弱监督或自监督的形态学学习。

Q48：数据集有没有按站点分层？
没有公开站点 id。约 500 站点是集合级事实，非逐图元数据。

Q49：挑战赛的评测代码公开吗？
评测逻辑在总结论文中描述，Grand Challenge 平台侧执行；具体计分脚本以论文与平台为准。

Q50：训练集里同一患者的左右眼标签一定一致吗？
不保证。双眼青光眼进展常不对称，同受试者一眼 referable 一眼 not referable 完全可能——再强调一次受试者级切分。

Q51：可以用 AIROGS 训练 DR 筛查模型吗？
标签只有青光眼转诊与质量语义，没有 DR 分级；不能直接训练 DR 模型（只能做预训练语料）。

Q52：AIROGS 图像是免散瞳还是散瞳拍摄？
官方未逐图披露散瞳状态；EyePACS 筛查流两种皆有，属真实分布的一部分。

Q53：能申请到测试集做研究吗？
官方口径测试集不提供下载；研究需求通过平台算法提交满足。

Q54：数据集发布后有没有更新过标签？
公开信息只有 Zenodo 版本合并（旧两 record 合一），无标签修订记录。

Q55：AIROGS 适合联邦学习实验吗？
适合作案例（多站点事实），但无逐站点元数据限制了真实跨站点联邦模拟，只能做受试者级伪站点划分。

Q56：模型在 AIROGS 上训练后能直接用于其他人群吗？
不能假设。跨数据集泛化必须实验验证——这正是 AIROGS 与库内 REFUGE/RIM-ONE 对照实验的价值。

Q57：如果只想快速体验这个数据集怎么办？
先下载 train_labels.csv（1.6 MB，Zenodo 页可预览）看标签结构与分布，再决定是否申请完整图像。

§36 数据集质量自评（组织方视角的隐含取舍）

把 AIROGS 的设计决策重排成一张「得到什么/付出什么」的账：

决策	得到	付出
训练集剔除 ungradable	干净方法学空间	与真实分布脱节（测试集补）
测试集封闭	防泄漏、防过拟合榜	本地无法复现官方分数
Zenodo 门控	访问审计、用途确认	获取延迟、二次研究摩擦
禁眼底外部数据	排行榜可比性	分数低于「允许预训练」的实用上限
保真 3.2% 患病率	真实先验	训练难度上升
仅图像级标签	标注可扩展到 10 万级	无形态学中间监督

这张表是理解 AIROGS 一切「不方便」的钥匙：每个摩擦点都对应一个治理或科学上的收益，没有一个是事故。

§37 一段话给未来的接管者/续写者

若本条目需要修订：核心硬数字（101,442/54,274/113,893/60,357/~500/98,172/3,270/~11,000/尺寸三值/文件 md5/DOI/许可）均经三源互证且互相咬合（98,172+3,270=101,442），除非组织方发布新版本，否则不需要重抓。需要留意的动态只有两个：AWS Registry of Open Data 是否落地、JustRAIGS 数据集是否可入库（后者是新条目候选）。FACTS.md §9 的遗留疑点清单是修订起点。

附录 H：与库内相关条目的功能定位一句话

• orcascore(776)：OCT 版的「这张图能不能用」——AIROGS 的跨模态镜像任务。
• refuge2(766)：青光眼科研级金标（分类+分割），AIROGS 的对照端与注意力验证锚。
• papila(765)：双中心青光眼小集，跨域实验第三极。
• fives(741)：眼底血管分割大集，同模态不同任务。
• idrid(191)：DR 病灶级标注，筛查素质链的病灶敏感环节。
• deepdrid(211)：DR 分级随访结构，素质链的分级评估环节。
• g1020(764)：千级青光眼二分类，科研端规模参照。
• largeia(733)：大视盘数据集，形态学大样本参照。
• retouch(321)：同组织者前作，挑战赛工程血缘证据。
• drive(241)/stare(788)/e-ophtha(231)/hrf(261)/palm(281)/riga(768)/rim-one(291)/drishti-gs(301)：眼底分割与青光眼科研集家族，跨域评估池。
• harvard-fairvision(863)：公平性评测，多族裔鲁棒性第二维。

§38 收尾补遗：从条目写作角度的三条核验注记

1. 数字咬合关系总检：101,442（训练）+ 约 11,000（测试官方约数）与 113,893（全集）之间存在约 1,400 张的官方约数弹性——这不是矛盾而是官方「about」口径的自然区间，条目全程未自行补精确值，引用者应保持同样纪律。
2. 年份三口径：数据发布 2021-12（Zenodo）、挑战赛 2022（ISBI）、论文 2023（arXiv）与 2024（TMI 卷期）——条目叙述中每个年份都绑定了明确对象，不存在「AIROGS 是哪年的」这种单一年份答案。
3. 许可链完整性：数据 CC BY-NC-ND（Zenodo 页与官网双确认）；论文开放获取；挑战赛规则原文公开——三层许可与规则各自独立、互相不覆盖，条目 §6/§16/附录 F 分别处理。

§39 收尾补遗：关于 ungradable 的三句哲学

第一句：承认无知是能力的组成部分——O3/O4 让「看不了」成为模型可表达且被奖励的输出，这是对过度自信文化的制度性纠偏。
第二句：分布的选择就是价值的选择——AIROGS 保留筛查流的原样脏度，等于宣布「数据集的职责是反映世界，不是美化世界」。
第三句：好的基准让失败可见——在干净测试集上，低质图像导致的失败被隐藏在总分里；在 AIROGS 上，它有专门的分数、专门的排名、专门的论文段落。

§40 收尾补遗：术语一致性备忘

本条目中文术语首现标英文，后文统一使用中文；以下对照供检索与翻译参考：

• 可转诊青光眼 = referable glaucoma（转诊阈值语义，非临床确诊）
• 不可分级 = ungradable（质量语义，非「未见病变」）
• 可分级 = gradable（ungradable 的否定）
• 站点 = site（采集地点/设备单元，非医院级别的精确概念）
• 分级者 = grader（判读标注人员，非「评分者」的泛义）
• 仲裁 = arbitration（分歧后第三读，非委员会裁决）
• 门控 = gated（需请求+人工批准，非完全开放也非邀请制）

§41 收尾补遗：快速导航索引

想找什么	直达
图像数/受试者数/站点数	§2.2 表、§1 Q3、附录 G 速查卡
标签类别与分布	§2.4、§1 Q4/Q5
标注流水线细节	§3、§20
O1-O4 输出与评测	§4、§17、附录 F
下载与许可	§6、§16、附录 C
机构与作者	§7、§1 Q24/Q25
与库内条目的关系	§9、§10、§15、附录 H
坑点清单	§11（8 条）
切分与训练实操	§14、§26.1、§29 排错
不确定性方法选型	§13.4、§33
双口径存照与疑点	§25、FACTS.md §9

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• justraigs — 共享标签：医学影像 / 眼科影像 / 图像分类 / 青光眼 / 挑战赛数据集 / 评测基准
• refuge2 — 共享标签：医学影像 / 眼科影像 / 图像分类 / 青光眼 / 挑战赛数据集
• acrima — 共享标签：医学影像 / 眼科影像 / 图像分类 / 青光眼 / 评测基准
• age-as-oct — 共享标签：医学影像 / 眼科影像 / 图像分类 / 青光眼 / 挑战赛数据集
• harvard-gdp — 共享标签：医学影像 / 眼科影像 / 图像分类 / 青光眼 / 评测基准
• mario-amd — 共享标签：医学影像 / 眼科影像 / 图像分类 / 挑战赛数据集 / 评测基准
• origa-light — 共享标签：医学影像 / 眼科影像 / 图像分类 / 青光眼 / 评测基准
• riga — 共享标签：医学影像 / 眼科影像 / 图像分类 / 青光眼 / 评测基准
• sics-155 — 共享标签：医学影像 / 眼科影像 / 图像分类 / 挑战赛数据集
• g1020 — 共享标签：眼科影像 / 图像分类 / 青光眼 / 评测基准

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。