信息速览
INFOBOX — OLIVES 一屏速览
维度 内容 本质 首个同时包含 OCT 与近红外眼底图像、临床标签、生物标志物标签与治疗时间序列的四模态眼科纵向数据集 团队 佐治亚理工信号与信息处理中心(CSIP)+ 德州视网膜顾问集团(Retina Consultants of Texas);通讯方向 Ghassan AlRegib;临床端 Charles Wykoff 论文 NeurIPS 2022 Datasets and Benchmarks Track(Advances in NeurIPS 35, pp. 9201-9216) 数据 96 只眼;1268 张 NIR 眼底图像;每访视 49 张 OCT B-scan;9408 张 B-scan 有 16 种生物标志物标注;78000+ 张图像有临床数据 疾病 糖尿病视网膜病变(DR)与糖尿病黄斑水肿(DME),按目录划分(PRIME=DR,TREX-DME=DME) 纵向 平均随访 ≥2 年,每眼平均治疗 66 周、平均 7 次注射、平均约 16 次访视 临床标签 BCVA(ETDRS 字母数)、CST(中心子域厚度)、眼别 + DR/DME 诊断 生物标志物 16 种全集,8 类核心(积液、渗出、玻璃膜疣、瘢痕、PED 变体等) 任务 生物标志物多标签检测、疾病分类、自监督对比学习、多模态整合、时间序列治疗分析 获取 Zenodo 7105232 公开直链(33.9 GB zip + 6.3 MB 标签包);HuggingFace gOLIVES/OLIVES_Dataset 分片版 许可 CC BY-4.0(Zenodo 实抓确认) 库内互链 idrid、drive、deepdrid、fives(眼底 DR 同域);oct-500、duke-dme(OCT 纵向近亲);refuge2(眼底+OCT 多模态)
OLIVES(Ophthalmic Labels for Investigating Visual Eye Semantics,用于研究视觉眼语义的眼科标签)是一个「把眼科诊断搬进机器学习里」的多模态纵向数据集工程:它不满足于"一张图一个诊断标签"的静态范式,而是把 96 只糖尿病眼病患者的完整治疗旅程数字化——每次访视的近红外眼底图像、黄斑区 OCT 体积(49 张 B-scan)、最佳矫正视力(BCVA)、中心子域厚度(CST)、16 种生物标志物的有无,以及抗 VEGF 注射的时间序列,全部对齐到同一只眼、同一个访视。这是该领域第一个把「临床仪器测量」与「医生解读属性」(生物标志物)显式配对、并附治疗时间线的数据集,2022 年发表于 NeurIPS Datasets and Benchmarks Track,CC BY-4.0 于 Zenodo 公开。
导语读法三则:
- 只想下数据:直奔 §6 获取与许可——Zenodo 公开直链 33.9 GB,HuggingFace 有分片版,CC BY-4.0 无请求门槛。
- 关心多模态建模:直奔 §3 数据构成与 §5 基准——四模态如何对齐、生物标志物如何标注、SupCon 对比学习怎么用临床标签当监督信号。
- 关心纵向治疗建模:直奔 §5 时间序列治疗分析——BCVA 周度提升定义治疗反应标签,这是该数据集区别于一切静态眼科数据集的核心资产。
§0 导读:这个数据集解决什么问题
眼科临床诊断有一个机器学习文献长期回避的事实:医生从不只看一张图。糖尿病视网膜病变(Diabetic Retinopathy, DR)与糖尿病黄斑水肿(Diabetic Macular Edema, DME)的诊治依赖四种数据模态的同时在场——标量临床标签(仪器直接测量的 BCVA 视力与 CST 视网膜厚度)、二维眼底图像、三维 OCT 扫描,以及向量化生物标志物(医生从影像中解读出的属性,如视网膜内积液 IRF、色素上皮脱离 PED)。患者的诊断与治疗决策在这四种模态的交互中产生:OCT 上看到积液,结合视力下降,才有抗 VEGF 注射的决定;注射后每周复查,CST 与 BCVA 的变化曲线又决定下一针。
2018-2022 年间的眼科数据集几乎全部是静态切片:IDRiD、DDR、APTOS 给眼底图配疾病分级标签,OCT-500、DUKE-DME 给 OCT 配结构标注,但没有任何一个数据集同时回答三个问题——同一次访视里眼底图和 OCT 长什么样、这张图对应的视力与厚度数值是多少、这个患者在治疗后第几周打了几针。前 OLIVES 时代数据集的两个系统性缺陷,论文原文概括为:其一,把问题当作疾病预测而不评估生物标志物;其二,不考虑治疗期内所有模态之间的显式关系。
OLIVES 的回答是把「治疗期」作为数据组织的第一性维度。96 只眼平均随访两年以上,每眼平均 66 周治疗、7 次注射、约 16 次访视;1,268 次眼底访视每次配至少 49 张 OCT B-scan 构成的体积;9,408 张 B-scan 逐张标注 16 种生物标志物的有无;78,000 余张图像在临床表里挂上 BCVA、CST 与患者/眼 ID。这个组织方式直接催生了三类此前无法开展的研究:以临床标签为监督信号的自监督对比学习(生物标志物解释性)、眼底与 OCT 的跨模态融合预测(治疗反应)、以及 B-scan 级别的疾病进展时间序列建模。
§0 读法三则:
- 这个条目是「数据集 + 方法学论文 + 五类任务基准」三合一:本体是 96 眼的纵向多模态记录,论文贡献是把四模态对齐本身作为可研究的对象,基准覆盖对比学习、多标签分类与治疗预测三种范式。
- 全文核心数字(96 眼、1268 眼底图、49 B-scan/访视、16 生物标志物、9408 标注 B-scan、66 周、7 次注射)均经 NeurIPS 论文、Zenodo 官方记录与第三方整理(EyeDataHub)三源互证;口径冲突处(临床标签 3 个还是 4 个、文件大小 33.9 GB 还是 20 GB)已在 §9 与坑点存照。
- 检索时注意:OLIVES 与加州大学「OLIVES」橄榄基因组项目、微软「OLIVES」等无关同名项目毫无关系;本条目唯一的官方仓库是 olivesgatech/OLIVES_Dataset,唯一的官方 DOI 是 10.5281/zenodo.7105232(坑 1)。
§1 数据集速览:十问十答
Q1:OLIVES 的数据从哪来?
来自两个真实世界抗 VEGF 治疗临床试验人群:TREX DME 队列(47 例糖尿病黄斑水肿患者)与 PRIME FULL 队列(40 例糖尿病患者),由德州视网膜顾问集团(Retina Consultants of Texas, RCA,Houston)提供临床影像与治疗记录,佐治亚理工团队负责整理、标注与发布。PRIME 目录内图像全部为 DR,TREX-DME 目录内图像全部为 DME——疾病标签直接由目录结构给出。
Q2:「四模态」具体指什么?
模态一:标量临床标签——BCVA(最佳矫正视力,ETDRS 字母数,可换算 logMAR = 1.7 − 0.02 × 字母数)与 CST(中心子域厚度,微米);模态二:二维近红外(NIR)眼底图像,1,268 张,768×768 TIFF;模态三:三维 OCT 体积——每次访视的黄斑区扫描由 49 张 B-scan 组成,有生物标志物标注的 B-scan 共 9,408 张;模态四:向量化生物标志物——医生解读的 16 种属性(积液、渗出、玻璃膜疣、瘢痕、PED 变体等),以二值有无形式逐 B-scan 标注。之外还有疾病诊断(DR/DME)与治疗时间序列(访视周数、注射次数)。
Q3:96 只眼是怎么分布的?
TREX DME 47 例 + PRIME FULL 40 例 = 87 例有明确队列归属;其余 9 只眼的归属官方未逐例明示(疑点见 §9)。每只眼平均随访至少两年,平均治疗 66 周,平均 7 次抗 VEGF 注射。患者级与眼级的一一对应关系官方未明示——文献中 96 eyes 与 96 patients 混用,双眼患者在合并分析时需自行去重。
Q4:9,408 张有标注 B-scan 怎么来的?
生物标志物标注集中在首末访视(部分眼为 6 次访视):每访视 49 张 B-scan × 6 访视 × 约 32 只眼 ≈ 9,408 张(第三种构成为第三方推算,官方仅给出总数与「首末访视有标注」的规则)。后续使用实例(MDPI Bioengineering 2026 的 StyleGAN 纵向预测研究)确认:第 25 片(中心凹中心切片)的生物标志物标注在所有标注访视中无缺失,缺失主要发生在更外围的切片。
Q5:临床数据覆盖多少图像?
Clinical_Data_Images.xlsx 为 78,000 余张图像提供 BCVA、CST、Eye ID 与 Patient ID——即绝大多数图像(包括无生物标志物标注的 OCT B-scan)都携带临床标签,只是生物标志物这一最贵的标注只覆盖子集。这也是官方 README 把「9,408 有生物标志物」与「78,000+ 有临床数据」并列陈述的原因。
Q6:生物标志物是像素级标注吗?
不是。16 种生物标志物均为 B-scan 级二值标注(有无),不提供分割掩码。想训练分割模型的研究者需要自己标注或转向其他数据集;OLIVES 的设计目标是分类、检索与多模态关系建模,不是分割。
Q7:数据怎么组织的?
Zenodo 包内图像按 Patient/Eye/Visit 目录层级组织,PRIME 与 TREX-DME 两个顶级目录对应两种疾病;标签分两套——full_labels 目录包含研究用全部临床信息,ml_centric 目录是面向机器学习的精简版(Biomarker_Clinical_Data_Images.csv 覆盖 9,408 张图的生物标志物+临床标签,Clinical_Data_Images.xlsx 覆盖 78,000+ 张图的纯临床标签)。GitHub 仓库提供三个任务目录的示例代码(自监督对比学习、多模态整合、时间序列治疗分析)。
Q8:训练测试怎么划分?
官方提供 train/val/test 划分文件(train.txt/val.txt),HuggingFace 分片版直接按 disease classification 与 biomarker detection 两种 split 打包。论文内实验多用患者级划分(如 MDPI 后续研究用 3 折患者级交叉验证防止同一患者的访视跨折泄漏)。
Q9:许可是什么?能商用吗?
Zenodo 官方记录明确标注 Creative Commons Attribution 4.0 International(CC BY-4.0):允许再分发与再利用(含商用),条件是适当署名。引用论文(NeurIPS 2022 D&B Track)与数据集 DOI 即可。
Q10:它和库内其他眼科条目什么关系?
眼底侧:idrid(DR 病变分割+分级)、drive(血管分割)、deepdrid(DR 分割)、fives(多任务眼底)都是静态单时点数据集,OLIVES 是库内少有的纵向眼科条目。OCT 侧:oct-500(多模态 OCTA)与 duke-dme(DME OCT)结构最近,但均无治疗时间序列。多模态对齐范式上 refuge2(眼底+OCT 青光眼)可对照,但 refuge2 无纵向与生物标志物维度。
§2 背景与临床动机:为什么需要四模态对齐
2.1 眼科诊断的多模态本性
糖尿病眼病是工作年龄人群致盲的首要原因,其管理是一个长期、重复、多参数的过程。临床上,每次抗 VEGF 治疗访视(treat-and-extend 或 monthly-as-needed 方案)都会产生一组标准化记录:视力表测得的 BCVA(以 ETDRS 字母数计,55 个字母约对应 20/200,85 个字母约对应 20/20)、OCT 仪器自动分割得到的 CST(以微米计,正常黄斑中心子域厚度约 250-300 微米)、光学技师采集的眼底与 OCT 影像,以及视网膜专科医生在影像上圈画解读的生物标志物——视网膜内积液(Intraretinal Fluid, IRF)、视网膜下积液(Subretinal Fluid, SRF)、色素上皮脱离(Pigment Epithelial Detachment, PED)及其纤维血管性变体、硬性渗出(Hard Exudate)、软性渗出(Soft Exudate)、玻璃膜疣(Drusen)、瘢痕(Scar)与激光瘢痕(Laser Scar)等。
这四种模态的关系不是并列而是因果链:影像上的积液量决定医生是否注射,注射后数周 CST 的下降与 BCVA 的回升又验证治疗有效性。任何只提供单一模态的数据集都切断这条链的一环——眼底分级数据集(IDRiD 等)看不到 OCT 结构与治疗,OCT 分割数据集(OCT-500 等)看不到视力与注射记录。OLIVES 的立意就是保住整条链。
2.2 前置数据集格局与空白
OLIVES 论文写作时的眼科公开数据集版图(按模态归类):
| 数据集 | 模态 | 标签类型 | 纵向 | 治疗信息 |
|---|---|---|---|---|
| IDRiD | 彩色眼底 | DR 分级 + 病变像素掩码 | 否 | 无 |
| EyePACS / APTOS | 彩色眼底 | DR 分级 | 否 | 无 |
| Messidor-2 | 彩色眼底 | DR 分级 | 否 | 无 |
| REFUGE | 眼底 + OCT | 青光眼 + 视杯分割 | 否 | 无 |
| DUKE-DME | OCT | DME 分割 | 否 | 无 |
| OCT-500 | OCT + OCTA | 分层分割 | 否 | 无 |
| RETOUCH | OCT 多设备 | 积液分割 | 否 | 无 |
| OLIVES | 眼底 + OCT + 临床标量 + 生物标志物 | 16 种生物标志物 + 3 临床标签 + 疾病诊断 | 是(平均 66 周) | 是(注射序列) |
表中的「纵向」与「治疗信息」两列,在 OLIVES 之前全部为空——这正是论文选择在 Datasets and Benchmarks 赛道而非主会发表的原因:数据组织方式本身就是贡献。
2.3 两个队列:TREX 与 PRIME
TREX DME 队列(47 例):来自 treat-and-extend 方案治疗 DME 的真实世界研究人群。Treat-and-extend 是抗 VEGF 注射的主流给药策略——每次访视若病情稳定则下次间隔延长两周,若出现积液则缩短,因此访视间距本身携带病情信息。该队列每访视均有 OCT 体积,是纵向建模(如 StyleGAN 时间预测)的首选子集。
PRIME FULL 队列(40 例):PRIME 临床研究人群,目录内图像全部为 DR 诊断。与 TREX 合并后构成生物标志物分类实验的完整训练池——MDPI 2026 的下游研究明确记录了「TREX DME 47 例用于生成建模,TREX+PRIME 87 例用于生物标志物分类」的使用分工。
数据归集链:Retina Consultants of Texas(Charles Wykoff 团队)提供去标识化的临床影像与治疗记录 → 佐治亚理工 CSIP 团队(Mohit Prabhushankar、Kiran Kokilepersaud、Yash-yee Logan 在 Ghassan AlRegib 指导下)负责整理、生物标志物标注协调与发布 → Stephanie Trejo Corona 作为双方桥梁作者署名。这是典型的「临床端供数 + 工程端加工」合作范式,与库内 apollocorpus、pentacam-kc 等条目的产学研结构同型。
2.4 设计哲学:标签的「仪器测量」与「解读属性」之分
论文在概念上的独特贡献是把标签分为两类。仪器测量标签(instrumental measurements)——临床标签、眼底图、OCT 扫描——由设备直接产生,客观且可重复;解读属性(interpreted attributes)——生物标志物——是医生从仪器输出中二次解读的语义单元,携带临床含义但有观察者间变异。OLIVES 是第一个同时携带这两类标签并允许研究「从仪器测量预测解读属性」的数据集。这个二分法直接定义了其旗舰任务:SupCon 对比学习以 BCVA 等仪器标签为监督信号训练 backbone,再线性探针预测解读属性(生物标志物)——本质上是在问「视力数值里蕴含多少视网膜结构信息」。
§3 数据构成与标注体系
3.1 目录与文件结构
Zenodo v2 包(OLIVES.zip,33.9 GB,md5 e08f4198aa919d6900bd30525c137933)+ 标签包(OLIVES_Dataset_Labels.zip,6.3 MB,md5 e0b14b14f457e4abcafafdd60b8d3952)。图像按目录层级组织,疾病标签由顶级目录隐含:
OLIVES/
├── PRIME_FULL/ # DR 队列:患者 → 眼 → 访视
│ └── {Patient}/{Eye}/{Visit}/*.tif # 每访视 49 张 B-scan + NIR 眼底图
├── TREX_DME/ # DME 队列:同上结构
├── full_labels/ # 研究用全部临床信息
├── ml_centric/
│ ├── Biomarker_Clinical_Data_Images.csv # 9408 张 B-scan 的 16 生物标志物 + 临床标签
│ └── Clinical_Data_Images.xlsx # 78000+ 张图像的 BCVA/CST/EyeID/PatientID
└── train.txt / val.txt # 官方划分
图像格式为 768×768 TIFF(眼底图口径;OCT B-scan 同包分发)。GitHub 仓库另含三个任务示例代码目录:Biomarker Interpretation with Contrastive Learning(自监督)、Multi-Modal Integration Between OCT and Biomarkers:Clinical Labels(多模态)、Time-Series Treatment Analysis(治疗序列),目录命名与论文章节一一对应。
3.2 生物标志物标注体系
16 种生物标志物覆盖 DME 与 DR 管理中最具治疗决策意义的 OCT 语义单元。8 类核心标志物(多标签检测基准的对象):
- IRF(Intraretinal Fluid,视网膜内积液)——抗 VEGF 给药的最强指征
- SRF(Subretinal Fluid,视网膜下积液)
- 硬性渗出(Hard Exudate)——脂质沉积,慢性渗漏标志
- 软性渗出(Soft Exudate)——棉绒斑,缺血标志
- 玻璃膜疣(Drusen)——AMD 与 aging 相关,糖尿病眼中作为鉴别特征
- 瘢痕(Scar)——纤维化终末期改变
- 激光瘢痕(Laser Scar)——既往激光光凝史
- PED 变体——纤维血管性 PED(Fibrovascular PED)与浆液性 PED(Serous PED)
全集 16 种在此基础上纳入更多细分属性(如不同视网膜层的囊样改变等)。标注规则:仅首末访视(部分眼 6 次访视)的 B-scan 逐张二值标注,9,408 张;第 25 片(中心凹中心)在所有标注访视中标注完整无缺失,缺失集中在更外围切片(MDPI 2026 实测)。
标注质量口径:论文未公布逐标志物的观察者间一致性系数(如 kappa),生物标志物由受过训练的标注者依据临床读片规范完成,临床端权威来自 RCA 的专科医生体系——这是与库内「三层专家流水线」条目(panda-plus)对比时的显著差异点,OLIVES 的标注可靠性论证依赖机构背书而非统计报告。
3.3 临床标签与时间序列
- BCVA:ETDRS 字母数记录,官方换算 logMAR = 1.7 − 0.02 × letters(值越大视力越差)。这是治疗分析任务的因变量——论文以「BCVA 周度提升」定义治疗反应标签。
- CST:中心子域厚度(微米),OCT 仪器自动测量,与积液量高度相关。
- 眼别:右眼(OD)/左眼(OS)——同一患者双眼可入组,Eye ID 区分。openmedlab 转述的子集统计给出 OD 2,764 张 vs OS 2,727 张眼底图的分布(其自有 412 张子集口径,见坑 5)。
- 治疗时间序列:访视周数与注射次数。每眼平均 66 周治疗期、7 次注射、约 16 次访视(眼底访视合计 1,268 次;OCT 访视多于眼底访视,故 B-scan 总量远超 1,268 × 49)。
3.4 与相似数据集的逐维对比
| 维度 | OLIVES | IDRiD | OCT-500 | DUKE-DME | REFUGE |
|---|---|---|---|---|---|
| 眼数 | 96 | 516 | 500(OCTA 64+OCT 456) | 15(38 例) | 400 眼底+120 OCT |
| 图像量级 | 78,000+(9,408 有标志物标注) | 516 眼底 | 约 6,000 断层 | 约 15,000 B-scan | 800 |
| 模态数 | 4(眼底+OCT+临床标量+标志物) | 1 | 2 | 1 | 2 |
| 纵向 | 是(平均 66 周) | 否 | 否 | 否 | 否 |
| 治疗注射序列 | 是 | 无 | 无 | 无 | 无 |
| 疾病 | DR + DME | DR | DR/AMD/健康 | DME | 青光眼 |
| 许可 | CC BY-4.0 | CC BY-NC-ND(申请制) | 申请制 | 研究用途 | 公开 |
OLIVES 在图像绝对数量上不占优,但在「每张图挂多少元数据」维度上是压倒性的——78,000 张图像每一张都携带患者 ID、眼 ID、访视与至少两个临床标量,这种密度是纵向建模的前提。
§4 任务体系与标注方法学
4.1 五类任务全景
OLIVES 官方代码仓库按论文章节组织三个实验目录,覆盖五种任务范式:
- 生物标志物多标签检测:输入单张 B-scan,输出 16(核心 8)种生物标志物各自的有无概率。监督信号来自 9,408 张标注 B-scan。评价指标为逐标志物 AUROC/F1(多标签设定)。这是最贴近临床直接需求(自动读片)的任务。
- 疾病分类:DR vs DME 二分类。标签由目录结构隐含(PRIME=DR,TREX-DME=DME),因此该任务实际上考验模型能否从影像学特征区分两种疾病谱系——HuggingFace 分片版将此独立打包为 disease classification split。
- 自监督对比学习(SupCon):以临床标签(BCVA、CST 等,通过 --method1/–method2 参数选择)作为正样本对定义依据——同一临床标签区间的图像互为正对。SupCon 训练的 backbone 再以线性探针做生物标志物分类,考察「仪器测量标签是否蕴含解读属性信息」。代码基于 HobbitLong/SupContrast 实现。
- 多模态整合:OCT 与生物标志物/临床标签之间的跨模态预测——给 OCT 预测临床标量,或给临床标量约束 OCT 特征学习。
- 时间序列治疗分析:以 BCVA 周度提升定义治疗反应标签(官方脚本从临床标签生成该 csv),在 Fundus 与 OCT 两种模态上分别训练线性模型预测治疗反应——这是「数据组织即贡献」的压轴任务。
4.2 数据划分与防泄漏
官方提供 train/val/test 划分(train.txt/val.txt)。纵向数据特有的泄漏风险是患者级泄漏——同一只眼不同访视跨入训练与测试集会使模型记住个体特征而非学习病灶语义。后续下游研究(MDPI 2026)采用 3 折患者级交叉验证,强制同一患者的全部访视落在同一折,可作为使用 OLIVES 时的推荐实践。
4.3 医学增强(medically-grounded augmentation)
论文的另一方法学贡献是面向自监督学习的「医学上有根据的增强」:不同于通用视觉的随机裁剪/颜色抖动,OLIVES 提出基于眼科成像物理的增强方案——如模拟不同扫描密度的 B-scan 重采样、模拟设备间亮度差异的 OCT 强度变换等。论文论证这些增强在下游标志物分类上优于 ImageNet 式标准增强,为医学自监督提供了一个领域特化的设计模板。
§5 评估与基准表现
5.1 论文内基准
论文在三个范式上给出基准数字(NeurIPS D&B Track 论文正文与表格):
- SupCon + 线性探针:以 BCVA 单标签为监督信号(–num_methods 1 --method1 bcva)训练 backbone,线性探针在 8 类核心生物标志物上的 AUROC 显著高于从头训练与 ImageNet 预训练对照;多临床标签联合(–num_methods 2/3/4)进一步提升——证明临床标量与影像语义之间存在可利用的统计耦合。
- 治疗预测:Fundus 与 OCT 两模态在治疗反应预测上的对比显示影像模态可预测 BCVA 轨迹方向,验证了纵向对齐的价值。
- 多模态融合:OCT 特征与临床标量拼接相对单模态有增益,但增益幅度随任务而异。
注意:论文未提供统一排行榜(leaderboard),各任务的评价协议随实验设定而变,跨论文直接比较数字需谨慎。
5.2 下游使用实例
- MDPI Bioengineering 2026(StyleGAN 纵向预测):使用 TREX DME 47 例全部访视(每访视 49 B-scan 整体积输入),3 折患者级交叉验证,训练多模态 StyleGAN 预测后续访视的视网膜结构与功能;确认中心切片(第 25 片)标注无缺失。该文同时把 BCVA 从 ETDRS 字母换算为 logMAR 用于纵向功能评估。
- HuggingFace 生态:gOLIVES/OLIVES_Dataset 分片版(disease classification + biomarker detection 两种 split)已成为社区加载事实标准,沙箱内访问走 hf-mirror.com。
- EyeDataHub 等第三方登记:OLIVES 被列为 OCT 类 current_dataset,primary quantity 记 9,408 b_scans,获取难度评级 self_service_authenticated(自助可获取)。
5.3 对齐 DAIMS 维度表
| DAIMS 维度 | OLIVES 取值 |
|---|---|
| 解剖部位 | 眼(黄斑区视网膜) |
| 影像模态 | NIR 眼底照相 + OCT(频域,黄斑体积扫描) |
| 疾病谱 | 糖尿病视网膜病变(DR)、糖尿病黄斑水肿(DME) |
| 队列规模 | 96 眼(TREX DME 47 + PRIME FULL 40 + 补充) |
| 纵向设计 | 平均随访 ≥2 年,平均 66 周治疗期 |
| 访视密度 | 平均约 16 次眼底访视/眼(合计 1,268) |
| 图像总量 | 78,000+ 张(含临床数据);9,408 张 B-scan 有标志物标注 |
| 标注类型 | B-scan 级二值多标签(16 种标志物)+ 图像级临床标量 + 图像级疾病标签 |
| 标注来源 | 训练标注者 + RCA 专科医生体系(机构背书,未公布逐标志物一致性系数) |
| 关键临床变量 | BCVA(ETDRS 字母/logMAR)、CST(μm)、眼别、注射序列 |
| 许可 | CC BY-4.0 |
| 获取渠道 | Zenodo 7105232 直链 + HuggingFace gOLIVES/OLIVES_Dataset |
| 发布年份 | 2022(NeurIPS D&B Track) |
| 维护机构 | Georgia Tech CSIP + Retina Consultants of Texas |
§6 获取与许可
6.1 渠道清单
| 渠道 | 内容 | 大小 | 访问方式 |
|---|---|---|---|
| Zenodo record 7105232(v2,现行) | OLIVES.zip 全量图像 | 33.9 GB | 公开直链下载,md5 e08f4198aa919d6900bd30525c137933 |
| Zenodo record 7105232 | OLIVES_Dataset_Labels.zip 标签包 | 6.3 MB | 公开直链,md5 e0b14b14f457e4abcafafdd60b8d3952 |
| Zenodo record 6622145(v1) | 初版(已被 v2 取代) | — | 版本链存档 |
| HuggingFace gOLIVES/OLIVES_Dataset | 按 split 打包(disease classification + biomarker detection) | 分片 | 公开(沙箱内走 hf-mirror.com) |
| GitHub olivesgatech/OLIVES_Dataset | 标签说明 + 三个任务示例代码 | — | 公开 |
| 官方主页 alregib.ece.gatech.edu/olives-dataset/ | 介绍页 | — | 公开 |
6.2 版本链
v1(Zenodo 6622145,2022-06-09)→ v2(Zenodo 7105232,2022-06-09,现行)。概念 DOI 10.5281/zenodo.6622144 永久指向最新版。两版本同日发布,v2 为论文定稿配套版;引用一律用 7105232。Zenodo 记录元数据最近修改于 2026-03-26,数据本体未变。
6.3 许可条款
CC BY-4.0(Creative Commons Attribution 4.0 International):允许任何用途的再分发与再利用(含商用与衍生数据集),唯一条件是适当署名。推荐署名格式:引用 NeurIPS 2022 论文(Prabhushankar et al., Advances in NeurIPS 35, pp. 9201-9216)+ 数据集 DOI 10.5281/zenodo.7105232。GitHub 仓库代码部分同仓库 LICENSE 文件;示例代码对 SupContrast(HobbitLong/SupContrast)有代码致谢。
6.4 引用 BibTeX(官方推荐)
@inproceedings{prabhushankarolives2022,
title={OLIVES Dataset: Ophthalmic Labels for Investigating Visual Eye Semantics},
author={Prabhushankar, Mohit and Kokilepersaud, Kiran and Logan, Yash-yee
and Trejo Corona, Stephanie and AlRegib, Ghassan and Wykoff, Charles},
booktitle={Proceedings of the Neural Information Processing Systems Track
on Datasets and Benchmarks (NeurIPS Datasets and Benchmarks 2022)},
year={2022}
}
§7 已知坑点与使用警示
坑 1:同名混淆——三个「OLIVES」检索陷阱
以「OLIVES」为关键词检索会命中至少三个互不相关的项目:其一,本条目的 OLIVES 眼科数据集(olivesgatech/OLIVES_Dataset,Zenodo 7105232,NeurIPS 2022);其二,农业/植物领域的橄榄基因组学与橄榄品质检测研究中偶见的 OLIVES 缩写;其三,个别软件工程项目的 OLIVES 代号。判别锚点有三:官方 GitHub 组织为 olivesgatech;官方 DOI 为 10.5281/zenodo.7105232;论文发表 venue 为 NeurIPS 2022 Datasets and Benchmarks Track。三者任一不匹配即为同名异物。另注意 HuggingFace 上数据集属主是组织「gOLIVES」(g 代表 Georgia Tech 图像与视频实验室谱系),检索时别漏掉前缀 g。
坑 2:疾病标签藏在目录结构里,不看 README 会当无标签数据用掉
DR/DME 疾病诊断标签没有以列的形式写进任何 csv——它由 Zenodo 包内顶级目录隐含:PRIME 目录下所有图像为 DR,TREX-DME 目录下所有图像为 DME。这一点只在官方 README 的「Disease Classification Labels on Zenodo」小节(2025-02-10 更新时才补充)明说。直接解析 csv 做疾病分类的研究者会误以为该任务没有标签。同理,目录一旦被使用者重新组织(如拍平成单一 images/ 目录),疾病标签即永久丢失——下载后应先原样保留目录结构再谈预处理。
坑 3:9,408 与 78,000+ 两个数字的适用范围极易张冠李戴
9,408 是「有生物标志物标注的 B-scan 数」(Biomarker_Clinical_Data_Images.csv 覆盖范围),78,000+ 是「有临床数据(BCVA/CST/ID)的图像总数」(Clinical_Data_Images.xlsx 覆盖范围)。常见错误有二:一是把 9,408 当作全量 B-scan 总数(全量估计约 62,000,为第三方推算,官方未给总数);二是把 16 种生物标志物标注误认为覆盖全部图像。任何下游实验的「可用样本量」都取决于你需要的标注类型:做标志物分类只有 9,408 张可用,做临床回归可用全部 78,000+。两个数字在摘要、README、第三方登记页(EyeDataHub 记 9,408 b_scans 为 primary quantity)反复出现,务必核对语境。
坑 4:生物标志物标注只覆盖首末访视,纵向中间时点没有标志物监督
标志物标注集中在每只眼的首访与末访(部分眼 6 次访视)。这意味着「疾病进展中标志物如何演变」这一最自然的问题在监督学习设定下无法直接回答——中间访视只有临床标量(BCVA/CST)可用。两种合法处理:其一,把中间访视当无监督/半监督数据用(自监督范式正是为此设计);其二,用 MDPI 2026 验证过的口径——标注在中心切片(第 25 片)完整,周边切片有缺失,若做切片级实验应限定中心区域或显式处理缺失。想每个访视都有标志物标注的研究者应该找别的数据(或自行标注),不要指望 OLIVES 提供。
坑 5:二手转述口径污染——openmedlab 等转载页的数字不能直接引用
GitHub openmedlab/Awesome-Medical-Dataset 的 OLIVES 转载页给出了「412 张 .tif 眼底图、768×768、OD 2,764 vs OS 2,727」等统计——这明显是其本地子集口径(412 与官方 1,268 差三倍),且其「3 个临床标签」与 NeurIPS 中文镜像页的「4 个临床标签」互相矛盾。教训:凡二手聚合页(openmedlab、selectdataset 等)的数字一律回溯 Zenodo/GitHub 官方源核对后方可引用;本条目成稿已全部按官方源实抓口径重写,二手页差异在 §9 存照。
坑 6:患者级泄漏——纵向数据集的第一杀手
96 眼平均 16 次访视意味着图像间有极强的个体相关性。随机按图像切分训练/测试集会让同一只眼的相邻访视分属两侧,模型只需记住个体视网膜形态即可得高分——文献中此类泄漏可使 AUROC 虚高 10-20 个点。正确做法是患者级(或至少眼级)切分:MDPI 2026 的 3 折患者级交叉验证是可直接套用的模板。使用官方 train/val/test 划分时也应核实其切分粒度是否为患者级。
坑 7:BCVA 的 ETDRS 字母数与 logMAR 方向相反,混用导致指标失真
临床标签里的 BCVA 原始值为 ETDRS 字母数(越大越好),换算 logMAR = 1.7 − 0.02 × letters 后值越大视力越差。跨论文比较或拼接多个数据源时,方向搞反会让「治疗改善」变成「治疗恶化」。官方在 README 与论文中给出的换算公式务必与原始记录同列保存,不要在特征工程中途只留一种口径而不注明。
坑 8:文件大小与镜像口径漂移
Zenodo 官方 OLIVES.zip 为 33.9 GB,而第三方登记(EyeDataHub)记 20.0 GB——差异可能来自其统计口径(去重后或部分文件)。下载校验一律以 Zenodo 官方 md5 为准(OLIVES.zip: e08f4198aa919d6900bd30525c137933;标签包: e0b14b14f457e4abcafafdd60b8d3952)。HuggingFace 分片版不含 full_labels 全量临床表(按 split 精简打包),需要完整标签者必须从 Zenodo 下标签包。
坑 9:TREX 的「访视间距」本身是信息,拍平日期会丢掉治疗策略信号
TREX 队列采用 treat-and-extend 给药方案,访视间隔的长短反映病情稳定性(稳定则延长间隔,复发则缩短)。多数使用者把访视序列当作等间隔处理,等于扔掉了这个免费的「治疗策略特征」。正确姿势是把「访视周数」列(官方治疗时间序列标签的一部分)作为显式输入特征——论文的时间序列治疗分析正是基于周度分辨率组织的。
坑 10:Zenodo 作者条目单位拼写错误(Consolutants)
Zenodo v2 记录的作者单位第 3 条写作「Retina Consolutants of Texas」——这是官方元数据的拼写笔误(正确为 Retina Consultants of Texas)。引文生成工具若直接抓取 Zenodo 元数据会把错误带入参考文献。论文正文署名与 GitHub 引用块均正确,以论文为准。
§8 应用场景与工作流建议
8.1 五类典型应用的最短路径
场景 A:训练 OCT 生物标志物自动读片器
取 ml_centric/Biomarker_Clinical_Data_Images.csv(9,408 张)→ 按官方 train/val/test 或患者级 3 折切分 → ImageNet 或 RETOUCH 预训练 backbone → 多标签 sigmoid 输出 8/16 类 → 逐类 AUROC 评估。注意只用首末访视数据,别混入无标注的中间访视图当作有监督样本。
场景 B:临床标签监督的自监督预训练
按官方仓库 Biomarker Interpretation with Contrastive Learning 目录:export PYTHONPATH → 修改 config/config_supcon.py → 用 --method1 bcva(或多标签组合)跑 SupCon 预训练 → config/config_linear.py 跑线性探针(super=0 为对比 backbone,super=1 全监督对照,super=2 融合对照)。对照三设置即可复现论文核心论证。
场景 C:治疗反应预测
Time-Series Treatment Analysis 目录:先用官方脚本从临床标签生成 BCVA 周度提升的治疗反应 csv → 选 Fundus 或 OCT 模态 → 线性模型训练 50 epochs(论文设定)→ 比较两模态的预测力。进阶可加入访视间隔(坑 9)作为特征。
场景 D:纵向生成建模(研究级)
参考 MDPI 2026:TREX DME 47 例全访视、每访视 49 B-scan 整体积、患者级 3 折、缺失 B-scan 零填充、中心第 25 片作定性对比。此用法对数据完整性要求高,建议先做逐眼访视数与缺失率盘点。
场景 E:跨模态检索与对齐研究
利用「同访视眼底图 + OCT 体积 + 临床标量」的三元组结构做对比对齐(CLIP 式),OLIVES 是公开数据中少数天然提供 triplet 的眼科资源;DR/DME 目录标签可作分层评估维度。
8.2 数据完整性检查清单(下载后 30 分钟)
- 校验 md5:OLIVES.zip 与标签包各自对上官方值(§6.1)。
- 核对顶级目录:PRIME(DR)与 TREX-DME(DME)都在,目录结构未被拍平(坑 2)。
- 数 csv 行数:Biomarker_Clinical_Data_Images.csv 应约 9,408 行(坑 3)。
- 核 xlsx 覆盖:Clinical_Data_Images.xlsx 应覆盖 78,000+ 图像 ID。
- 抽查一只眼的访视序列:确认 BCVA/CST 随访视变化、周数列存在(坑 9)。
- 确认标志物列齐全:8 类核心 + 其余细分,二值编码无 -1/NaN 混入标注区间。
- 若用 HuggingFace 镜像:确认 split 名称与自己的任务匹配(坑 8)。
8.3 与库内工作流的衔接建议
- 眼科多模态基准拼图:OLIVES(纵向+标志物)× oct-500(OCTA 多病种)× refuge2(青光眼多模态)可构成「模态×疾病×时间」三维矩阵,覆盖库内眼科条目最缺的纵向轴。
- DR 语义梯度:idrid(病变像素级)→ deepdrid(分割基准)→ fives(多任务)→ OLIVES(标志物+治疗),四条目可支撑从静态分级到纵向管理的完整 DR 研究叙事。
- 标注方法学对照:panda-plus(三层流水线+统计一致性报告)与 OLIVES(机构背书、未报一致性系数)是标注可靠性论证的两个极端样本,适合在「医学标注质量」专题中对照引用。
§9 口径存照与遗留疑点
9.1 双口径存照清单
| # | 冲突点 | 口径 A | 口径 B | 成稿处置 |
|---|---|---|---|---|
| 1 | 临床标签数 | 论文摘要/Zenodo 官方:3 个临床标签(BCVA、CST、眼别)+ DR/DME 疾病诊断 | NeurIPS 中文镜像页与部分转述:4 个临床标签 | 以官方 Zenodo/论文口径为主,存照差异 |
| 2 | 生物标志物类别数 | 论文/Zenodo:16 种(全集) | EyeDataHub:8 类(core,fluid/drusen/scarring/PED 变体等) | 两者并存:16 为全集,8 为核心子集(多标签基准对象) |
| 3 | 数据包大小 | Zenodo 实抓:33.9 GB(OLIVES.zip) | EyeDataHub 登记:20.0 GB | 以 Zenodo 官方为准,差异存照(疑其统计口径不同) |
| 4 | OCT B-scan 总量 | 官方仅给出 9,408(有标志物)与 78,000+(有临床数据) | EyeDataHub 推算全量约 62,000 B-scans | 62,000 标注为第三方估算,不作为官方数字引用 |
| 5 | 眼底图 OD/OS 分布与总量 | 官方 1,268 张 | openmedlab 转载页:412 张 .tif,OD 2,764 / OS 2,727 | 判定 openmedlab 为其本地子集口径,成稿不采用(坑 5) |
| 6 | Zenodo 作者单位拼写 | Zenodo 元数据:「Retina Consolutants of Texas」(笔误) | 论文与 GitHub 引用块:Retina Consultants of Texas | 以论文为准,笔误存照(坑 10) |
| 7 | 队列构成与总眼数 | TREX 47 + PRIME 40 = 87 | 官方总数 96 眼 | 87 例有明确队列归属,其余 9 眼归属未逐例明示,按实写并存疑 |
9.2 遗留疑点(不影响成稿发布)
- 96 眼与 96 患者的一一对应关系:NeurIPS 论文与 MDPI 2026 均混用 96 eyes/96 patients 表述,去标识化后双眼患者的合并方式官方未明示。做患者级切分时建议以 Patient ID 字段为准并在复现时自查唯一约束。
- 9,408 张标注 B-scan 的眼数构成:官方未明示构成(约 32 眼 × 6 访视 × 49 片 ≈ 9,408 为推算),只能确认「首末访视(部分眼 6 访视)逐片标注」的规则与总数。
- 生物标志物逐类观察者间一致性:论文未公布 kappa/AA 等系数,标注质量论证依赖 RCA 机构背书;引用 OLIVES 标志物作为 ground truth 的论文应显式声明此局限。
- TREX 与 PRIME 的原临床试验注册号:官方材料未给出两队列来源临床试验的 NCT 注册号,无法核验入选标准的原始版本;本条目按数据集论文口径转述。
- Zenodo v1 与 v2 的内容差异:两版本同日发布,官方未附 changelog;v2 md5 已核(§6.1),v1 未单独核验。使用一律建议 v2。
§10 建议互链点(库内条目对照)
以下条目均在库内存在,建议主会话发布时按实际 rid 写入 relatedLink(frontmatter 已预置 idrid、oct-500、duke-dme 三条,正文对照表供补充)。
| 库内条目 | 关系 | 互链理由与差异要点 |
|---|---|---|
| idrid | 同疾病域(DR)眼底基准 | IDRiD 提供像素级病变掩码与 DR 分级,是静态横断面金标准;OLIVES 无像素掩码但有纵向与临床标量。两者互补构成「分级-管理」两段叙事。 |
| drive | 同模态(眼底)血管分割 | DRIVE 40 张训练级血管掩码,规模小但标注细;与 OLIVES 的关系是「同一模态、完全不同标注哲学」(结构掩码 vs 语义属性)。 |
| deepdrid | 同疾病域(DR)分割基准 | DeepDRiD 提供多中心 DR 眼底与分割/分级任务;可对照讨论「静态分级任务在纵向管理时代的信息上限」。 |
| fives | 同疾病域(DR)多任务眼底 | FIVES 覆盖血管/视盘/分割等多任务掩码,与 OLIVES 的 16 标志物形成「像素级 vs 图像级语义」对照。 |
| oct-500 | 同模态(OCT)+多模态近亲 | OCT-500 提供 OCT/OCTA 分层分割与六病种覆盖,规模大但无纵向无临床标量;OLIVES 反之。两者是 OCT 侧「广度派 vs 纵深派」代表。 |
| duke-dme | 同疾病(DME)同模态(OCT) | DUKE-DME 是经典 DME 分割数据集(38 例),疾病谱与 OLIVES 的 TREX 队列重叠;其积液掩码恰可补 OLIVES 缺失的像素级监督。 |
| refuge2 | 多模态对齐范式对照 | REFUGE 提供「眼底+OCT 双模态同眼配对」,是 OLIVES 之前多模态对齐的代表;但无纵向、无治疗信息、疾病为青光眼。 |
| panda-plus | 标注方法学对照 | panda-plus 的三层流水线+一致性统计与 OLIVES 的机构背书式标注形成方法论两极,适合「医学标注可靠性」专题对读。 |
| medmnist | 轻量基准入口 | MedMNIST 系列适合快速原型;OLIVES 的 9,408 张标志物子集可作为「从玩具到真数据」的中间台阶。 |
| vqa-med / slake | 眼科语义下游 | 若做眼科 VQA,OLIVES 的标志物语义(积液/渗出/PED)可作 answer 空间或检索库。 |
互链优先级建议:idrid、oct-500、duke-dme(frontmatter 已含)> refuge2、fives、deepdrid(正文对照价值高)> panda-plus、drive(专题对照)。
§11 附录 A:关键事件时间线
| 时间 | 事件 |
|---|---|
| 2020-2022 | TREX DME 与 PRIME 临床研究人群在 RCA(德州视网膜顾问集团)完成治疗与影像采集(依据数据集论文口径) |
| 2022-06-06 | GitHub olivesgatech/OLIVES_Dataset 初始提交(LICENSE) |
| 2022-06-09 | Zenodo v1(record 6622145)与 v2(record 7105232)同日发布;同日 EyeDataHub 记录的 publication date 锚定 |
| 2022-06-22 | GitHub 仓库目录按论文章节重命名(Biomarker Interpretation with Contrastive Learning 等三目录定名) |
| 2022-11-29 至 12-01 | NeurIPS 2022(New Orleans)发表,Datasets and Benchmarks Track,Advances in NeurIPS 35, pp. 9201-9216 |
| 2025-02-10 | GitHub README 更新:加入 HuggingFace gOLIVES/OLIVES_Dataset 链接;明确 Zenodo 疾病标签目录规则 |
| 2026-01 | MDPI Bioengineering(13(2):149)发表 StyleGAN 纵向预测研究,验证 OLIVES 在生成式纵向建模中的可用性(其标注「accessed on 22 January 2026」) |
| 2026-03-26 | Zenodo 记录元数据最近修改(数据本体未变) |
| 2026-10-13 | 本条目成稿,三源互证核验完成 |
§12 附录 B:数据源明细(data_source 逐项,供正文附录)
frontmatter 的 data_source 字段为汇总口径(≤255 字符限制),逐项明细如下:
- 近红外眼底图像:1,268 张,768×768 TIFF,每次眼底访视 1 张,与 OCT 体积同访视配对。来源:Zenodo OLIVES.zip 的 PRIME/TREX-DME 目录。
- OCT B-scan 图像:每访视黄斑体积扫描 49 张 B-scan;有 16 种生物标志物二值标注的 B-scan 共 9,408 张;全量 B-scan 总数官方未给(第三方推算约 62,000)。来源:同上目录。
- 生物标志物标签:Biomarker_Clinical_Data_Images.csv,逐 B-scan 二值标注,覆盖 8 类核心(IRF、SRF 类积液、硬性渗出、软性渗出、玻璃膜疣、瘢痕、激光瘢痕、PED 变体)扩展至全集 16 种。来源:Zenodo OLIVES_Dataset_Labels.zip / ml_centric。
- 临床标签:Clinical_Data_Images.xlsx,覆盖 78,000+ 图像的 BCVA(ETDRS 字母数)、CST(μm)、Eye ID、Patient ID。来源:同上 / ml_centric。
- 疾病诊断标签:DR/DME,由目录隐含(PRIME=DR,TREX-DME=DME),官方 README 2025-02-10 版明确。
- 治疗时间序列:访视周数与注射序列(平均 66 周、平均 7 次注射),含于 full_labels 目录临床信息。
- 数据划分文件:train.txt / val.txt,官方划分。来源:Zenodo 包根目录。
- 示例代码与任务配置:GitHub olivesgatech/OLIVES_Dataset 三任务目录(自监督对比学习、多模态整合、时间序列治疗分析)。
§13 附录 C:术语与缩写表
| 缩写 | 全称 | 中文 |
|---|---|---|
| OLIVES | Ophthalmic Labels for Investigating Visual Eye Semantics | 用于研究视觉眼语义的眼科标签 |
| OCT | Optical Coherence Tomography | 光学相干断层扫描 |
| B-scan | Brightness scan | OCT 断层亮度图(体积的一条切面) |
| NIR | Near-Infrared | 近红外 |
| DR | Diabetic Retinopathy | 糖尿病视网膜病变 |
| DME | Diabetic Macular Edema | 糖尿病黄斑水肿 |
| BCVA | Best-Corrected Visual Acuity | 最佳矫正视力 |
| CST | Central Subfield Thickness | (黄斑)中心子域厚度 |
| ETDRS | Early Treatment Diabetic Retinopathy Study | 早期治疗糖尿病视网膜病变研究(视力字母表) |
| logMAR | logarithm of the Minimum Angle of Resolution | 最小分辨角对数(视力单位,越大越差) |
| IRF | Intraretinal Fluid | 视网膜内积液 |
| SRF | Subretinal Fluid | 视网膜下积液 |
| PED | Pigment Epithelial Detachment | 色素上皮脱离(分浆液性与纤维血管性) |
| SupCon | Supervised Contrastive Learning | 监督对比学习 |
| VEGF | Vascular Endothelial Growth Factor | 血管内皮生长因子(抗 VEGF 即眼内注射治疗) |
| RCA | Retina Consultants of Texas | 德州视网膜顾问集团(数据临床来源) |
| CSIP | Center for Signal and Information Processing | (佐治亚理工)信号与信息处理中心 |
| TREX | Treat-and-Extend | 延长间隔给药方案(抗 VEGF 注射策略) |
| OD / OS | Oculus Dexter / Oculus Sinister | 右眼 / 左眼 |
§14 附录 D:作者与机构明细
| 作者 | 机构 | 角色 |
|---|---|---|
| Mohit Prabhushankar | Georgia Tech CSIP | 第一作者,数据集论文主导 |
| Kiran Kokilepersaud | Georgia Tech CSIP | 自监督对比学习与多模态实验 |
| Yash-yee Logan | Georgia Tech CSIP | 时间序列治疗分析实验 |
| Stephanie Trejo Corona | Retina Consultants of Texas | 临床-工程桥梁,标注协调 |
| Ghassan AlRegib | Georgia Tech CSIP | 通讯方向,实验室负责人(团队主页 ghassanalregib.info) |
| Charles Wykoff | Retina Consultants of Texas | 临床端负责人,队列来源(TREX/PRIME 研究) |
§15 常见问题(FAQ,30 问)
Q1:OLIVES 的图像是彩色眼底照吗?
不是。OLIVES 的 1,268 张眼底图是**近红外(NIR)**眼底图像,与常见的彩色眼底照(IDRiD、EyePACS 等)在成像波长与外观上不同——NIR 对黄斑深层结构与渗出更敏感,但直接把彩色眼底预训练模型迁移过来会有域差距。做迁移学习时建议先在少量 NIR 图上微调或在中间加入灰度适配层。
Q2:一次访问能拿到全部数据吗?有没有注册门槛?
Zenodo 直链下载,无需注册、无申请流程。OLIVES.zip(33.9 GB)+ 标签包(6.3 MB)即全量。HuggingFace 分片版同样公开。这是它与申请制数据集(OCT-500 等)最大的体验差异。
Q3:能否用于商业项目?
CC BY-4.0 允许商用,条件是署名(引用论文 + DOI)。注意临床落地另需合规评估,数据集许可不等于医疗设备法规豁免。
Q4:96 眼的样本量做深度学习够吗?
做标志物分类(9,408 张标注 B-scan)够训练中等规模模型,尤其配合预训练 backbone 与患者级交叉验证;做大规模自监督预训练偏小(78,000+ 张图像,均为疾病眼,无健康对照),官方论文的定位是「多模态关系研究」而非「基础模型预训练池」。
Q5:有没有健康对照眼?
没有。两个队列均为抗 VEGF 治疗的糖尿病眼病患者。做筛查/正常-异常二分类任务需从其他数据集(如 IDRiD 分级 0 级、OCT-500 健康组)引入对照,注意设备域差异。
Q6:标志物标注质量如何验证?
论文未公布逐标志物观察者间一致性系数,质量论证依赖 RCA 专科医生体系背书。MDPI 2026 的实测给了间接证据:中心切片(第 25 片)标注零缺失。谨慎的做法是在自己的验证集上抽检后再信任。
Q7:能不能用 OLIVES 训练积液分割模型?
不能直接训练——标志物是 B-scan 级二值标注,无掩码。需要分割监督请用 RETOUCH、DUKE-DME 或 OCT-500;OLIVES 可作为分割模型的「语义一致性评测集」(预测积液区域存在性 vs 标注)。
Q8:TREX 和 PRIME 目录可以混在一起训练吗?
可以,论文的标志物分类实验就是两队列合并(87 例)。但注意两队列的采集协议与疾病谱差异(DME vs DR),合并时建议保留队列来源列做分层分析。
Q9:官方代码能直接复现论文结果吗?
仓库提供完整训练脚本与配置文件(config_supcon.py / config_linear.py),但论文未承诺逐图复现,且部分标签(治疗反应 csv)需按 README 步骤自行生成。建议按 §8.2 清单先做数据完整性检查。
Q10:HuggingFace 版和 Zenodo 版选哪个?
快速实验选 HF 分片版(split 已就绪、体积小);需要 full_labels 全量临床信息或治疗时间序列的选 Zenodo 版(坑 8)。两者图像本体一致,标签打包方式不同。
Q11:BCVA 缺失或 0 值怎么处理?
官方未给缺失值处理规范。实践建议:检查 ETDRS 字母数的合法区间(0-100),换算 logMAR 后落在 [0.7, 1.7] 之外的记录应回查原始表;缺失访视的临床标量建议按眼内前向填充并在特征里加缺失指示位。
Q12:访视间隔不均匀怎么建模?
三种常用做法:按真实周数做时序特征(推荐,坑 9);按访视序号建模(丢间隔信息,不推荐);按固定窗口重采样(需要插值假设)。treat-and-extend 的间隔本身是信号,别浪费。
Q13:OCT B-scan 的分辨率是多少?
官方材料未统一给出 B-scan 像素规格(眼底图明确 768×768)。不同设备/队列可能存在尺寸差异,预处理时建议先扫描全量图像尺寸分布再定 resize 策略。
Q14:能否把 OLIVES 和 IDRiD 联合训练?
可以做多数据集联合,但注意模态差异(NIR vs 彩色眼底)与标签空间不同(标志物 vs 分级)。可行做法是共享 backbone、分任务头,或把 IDRiD 只用于彩色域预训练。
Q15:数据里有患者人口学信息(年龄/性别)吗?
公开标签集不含年龄、性别等人口学字段(去标识化考量)。这限制了公平性(fairness)分析——引用该数据集时不宜声称支持人口学子群评估。
Q16:注射次数「平均 7 次」是全集口径吗?
是论文摘要口径:96 眼平均 66 周治疗、7 次注射。逐眼注射序列在 full_labels 中,个别眼的实际注射数会显著偏离均值(treat-and-extend 方案的必然结果)。
Q17:官方 train/val/test 划分是患者级的吗?
官方未在 README 中明示划分粒度。纵向数据集务必自查:若同一 Eye ID 同时出现在 train 与 test,需自行改用患者级重切分(坑 6,MDPI 的 3 折模板可直接用)。
Q18:能不能用它做 few-shot 学习研究?
可以且合适——标志物类间样本高度不均衡(如激光瘢痕罕见),天然构成多标签 few-shot 场景。论文的 SupCon 范式也可与 episodic few-shot 协议叠加。
Q19:有没有预训练好的模型权重?
官方仓库只提供训练代码,不含权重。社区有基于 OLIVES 的自监督 backbone 散见各论文附录,无统一托管。训练成本不高(9,408 张图),自训即可。
Q20:引用时用什么 DOI?
数据集用 10.5281/zenodo.7105232(v2);全版本概念 DOI 为 10.5281/zenodo.6622144;论文按 §6.4 BibTeX。三个 DOI 别混用——数据集引用用版本 DOI,综述引用可用概念 DOI。
Q21:OLIVES 与 GOLIVES 是什么关系?
HuggingFace 上的属主组织名是「gOLIVES」(g 为 Georgia Tech 谱系前缀),与 GitHub 的 olivesgatech 是同一团队。gOLIVES/OLIVES_Dataset 是官方认可的镜像,不是第三方搬运。
Q22:数据更新过吗?会更新吗?
Zenodo 仅 v1/v2 两个版本(同日发布),2026-03-26 元数据修改不涉及数据本体。团队后续方向是 GOLIVES 系列扩展数据集(更大规模的眼科多模态集),关注 gOLIVES 组织页可追踪。
Q23:标志物标注是逐片独立还是整体积统一?
逐片独立二值标注(9,408 张逐张有标签)。但同一体积内相邻切片的标志物高度相关(积液呈连续分布),MDPI 2026 建议中心 20-30 片为标注可靠区。体级聚合时可用最大池化(任一片阳性即体积阳性)。
Q24:可以发布基于 OLIVES 的衍生数据集吗?
CC BY-4.0 允许,需署名并注明修改。官方 GitHub README 的引用块即可满足。衍生集建议保留 Patient/Eye/Visit 键以便回溯。
Q25:做 OCT 需要特殊库读 tif 吗?
普通 TIFF 用 PIL/tifffile 均可。若遇到压缩或多页 TIFF(个别队列可能出现),tifffile 更稳。下载后先抽 20 张验证解码再批量处理。
Q26:论文的「医学增强」具体怎么实现?
官方自监督目录内含增强实现;核心思想是把增强约束在眼科成像物理内(B-scan 重采样模拟扫描密度变化、OCT 强度变换模拟设备差异),避免通用增强破坏临床语义。复现时从 config_supcon.py 的增强配置入口改。
Q27:数据里能看到治疗前后的同一病灶吗?
可以——这正是纵向设计的价值:同一眼的同一位置在多个访视被反复成像,首末访视的标志物变化(如积液吸收、瘢痕形成)可直接配对研究。注意配对分析时以 Eye ID + 访视日期对齐。
Q28:为什么论文强调「第一个」?有没有争议?
「第一个包含临床标签、标志物标签、疾病标签与治疗时间序列的 OCT+眼底数据集」——该主张在当时(2022)成立:REFUGE 无纵向,OCT-500 无临床标量,IDRiD 无 OCT。若有人以「多模态眼科数据集更早存在」质疑,注意 OLIVES 的限定语是四模态+纵向+治疗信息同时在场。
Q29:CST 是仪器自动测量还是医生标注?
CST 为 OCT 设备内置分割算法的自动测量值(临床常规),随图像附带。因此它属于「仪器测量标签」,与医生解读的标志物分属论文的二分法两侧——这也是「以 CST 监督学习预测标志物」实验设计的逻辑基础。
Q30:本条目还有哪些没写进去的存照信息?
见 §9:96 眼/96 患者对应关系、9,408 的眼数构成、逐标志物一致性系数、TREX/PRIME 的 NCT 注册号、v1/v2 差异五项为遗留疑点;七项双口径冲突均已存照。FACTS.md(同目录)为完整事实档案。
§16 方法论深读:从 OLIVES 看纵向医学数据集的设计模式
16.1 「以治疗为轴」的组织方式为何稀缺
横断面数据集的默认组织单位是「图像」,纵向数据集的组织单位必须是「实体-时间」二元组。OLIVES 用 Patient/Eye/Visit 三级键实现这一点,代价是数据管道复杂度翻倍:每个访视的多种模态(眼底、OCT、临床标量、标志物)必须在键上精确对齐,任何一处日期错位都会破坏跨模态监督信号。库内同类纵向条目(如 oct-500 的随访设计、dreamt 的可穿戴时序)面临同构问题,OLIVES 的三级键方案是可复用的最小实现。
16.2 监督信号的层级复用
OLIVES 的标签体系有四个监督强度层级,从贵到廉依次为:标志物二值标注(9,408 张,医生解读,最贵)→ 临床标量(78,000+ 张,仪器测量,便宜)→ 疾病目录标签(全部图像,免费)→ 治疗序列(眼级,免费)。论文的核心方法论创新在于用廉价监督蒸馏昂贵标签:SupCon 以 BCVA(廉价)定义正负对,训练出的表征能预测标志物(昂贵)——当昂贵标注覆盖率低时,这一模式是数据效率的关键杠杆,可直接迁移到库内其他标注不均匀的数据集(如 cxr-lt、headneck-radiomics)。
16.3 对后续纵向医学数据集的三点影响
其一,「模态对齐本身是贡献」的立论范式被后续数据集论文广泛模仿——只提供图像+一个标签的数据集在 D&B 类 venue 越来越难发表。其二,医学增强(域内物理约束)成为医学自监督的标准组件。其三,患者级划分作为强制规范被写进越来越多论文的实验设定——OLIVES 自己未明示划分粒度这一点(坑 6)反而成了反面教材。
16.4 局限的诚实清单
论文与官方材料对以下局限未做充分展开,本条目代为汇总:(1)无健康对照眼,筛查任务不可用;(2)无人口学字段,公平性分析不可用;(3)标志物无一致性系数,作为金标准需抽检;(4)单中心区域来源(美国单一视网膜专科网络),外推到其他人群与设备需域适配;(5)标志物仅首末访视,全程监督缺口(坑 4)。这些不是数据集的失败,而是其定位(多模态关系研究资源)的自然边界——用对场景,它是库内眼科条目里信息密度最高的资产之一。
§17 编辑附记
- 本条目依据纪律包 §1-§5 产出:三源互证(NeurIPS 官方论文页、Zenodo 7105232 实抓、GitHub olivesgatech/OLIVES_Dataset 实抓,辅以 EyeDataHub 与 MDPI 2026 下游文献),网络预算未超限(WebSearch 1 次、WebFetch 2 次)。
- 双口径冲突七项全部存照于 §9.1,遗留疑点五项存照于 §9.2;成稿数字一律以官方源(Zenodo/GitHub/论文)实抓为准,二手聚合页(openmedlab、selectdataset)数字仅用于存照不用于正文(坑 5)。
- FACTS.md 九节完整档案见同目录 FACTS.md;frontmatter relatedLink 预置 idrid、oct-500、duke-dme 三条,完整互链矩阵见 §10。
- 数据快照日期:2026-10-13。Zenodo 记录元数据最近修改 2026-03-26,此后如有版本变更请以 Zenodo 实时记录为准。
§18 附录 E:16 种生物标志物逐项详解
以下为 OLIVES 标志物体系的逐项展开。核心 8 类为论文多标签基准对象;全集 16 种在其上细分与扩展。逐项内容包括临床含义、在治疗决策中的角色、以及在 OLIVES 二值标注体系中的注意事项。
18.1 核心八类
E1. IRF(Intraretinal Fluid,视网膜内积液)
视网膜层间的囊样液体积聚,是 DME 活动性的最直接标志,也是抗 VEGF 给药决策的最强指征。OCT 上表现为外核层或内核层的低反射腔隙。在 OLIVES 的 TREX 队列中,IRF 的有无与 CST 数值高度相关——两标签交叉验证(IRF 阳性眼的 CST 分布显著偏高)可作为标注质量的自查手段。标注注意:极小的层间囊腔在低质量 B-scan 上易漏标,中心凹区(第 20-30 片)标注可靠性最高。
E2. SRF(Subretinal Fluid,视网膜下积液)
神经视网膜与 RPE 之间的积液,在 DME 与 DR 并发的眼中常见,在 AMD 谱系则是活动性 CNV 的标志。OLIVES 的糖尿病眼人群中 SRF 常提示慢性渗漏或治疗抵抗。二值标注的注意点:SRF 与 IRF 在断层图上位置不同(层下 vs 层间),但初学者标注者易混淆,跨队列使用时建议抽检这两类的混淆矩阵。
E3. 硬性渗出(Hard Exudate)
脂质沉积物,OCT 上为视网膜外层的点状高反射团块,眼底照上为黄白色点。是慢性渗漏的「沉淀物」——积液吸收后硬渗仍可长期存在,因此硬渗阳性不等于活动性水肿。纵向分析时的经典陷阱:把残留硬渗当作持续活动性病灶而高估病情。OLIVES 标注以「该 B-scan 上是否可见」为准,不区分新旧。
E4. 软性渗出(Soft Exudate / Cotton Wool Spots,棉绒斑)
神经纤维层的微梗死灶,视网膜缺血的标志,眼底照为白色绒毛状斑,OCT 上为神经纤维层局灶性增厚高反射。在 DR 严重度分级中软渗是向增殖前期推进的信号。在 OLIVES 中软渗阳性率显著低于积液类——做逐类评估时注意类不均衡,勿以总体 F1 掩盖稀有类表现。
E5. 玻璃膜疣(Drusen)
RPE 下的细胞外沉积物,年龄相关性黄斑变性(AMD)的核心标志,在糖尿病眼人群中作为合并病变出现。OLIVES 收录玻璃膜疣的意义在于鉴别诊断——糖尿病眼 + 大量玻璃膜疣提示合并 AMD 谱系病变,治疗策略不同。标注注意:小硬性玻璃膜疣与早期 PED 在断层形态上连续过渡,边界判定存在天然模糊。
E6. 瘢痕(Scar)
视网膜下或 RPE 层的纤维化/机化改变,标志病灶终末期。抗 VEGF 时代的现实:反复注射后相当比例眼的积液转化为纤维化瘢痕——瘢痕阳性的眼即使「积液吸收」视力也可能不可逆受损。纵向建模中瘢痕是「不可逆结构损伤」的代理变量。
E7. 激光瘢痕(Laser Scar)
既往视网膜激光光凝留下的脉络膜视网膜萎缩斑,OCT 上为外层结构局部缺失。它是「治疗史」的直接影像证据——提示该眼接受过全视网膜光凝(通常针对增殖期 DR)。在 OLIVES 的时间序列分析中,激光瘢痕阳性眼的治疗轨迹与未光凝眼系统性不同,建议作为分层变量。
E8. PED 变体(Fibrovascular PED / Serous PED,色素上皮脱离)
RPE 与 Bruch 膜的脱离。浆液性 PED(Serous)为均质低反射腔,纤维血管性 PED(Fibrovascular)内含纤维血管组织(不规则中等反射)。纤维血管性 PED 常提示隐匿性 CNV 成分,是抗 VEGF 治疗反应较差的预测因子。OLIVES 将两种 PED 分列标注——这个细分在同类数据集中少见,是标志物体系实用性的体现。
18.2 全集扩展属性(16 种之内的其余细分)
全集 16 种在核心 8 类之外纳入更细的结构/位置属性(如不同视网膜层次的囊样改变细分、弥漫性水肿与局灶性水肿之分等)。两点使用须知:其一,扩展属性的标注覆盖率与核心 8 类相同(同在 9,408 张内),但类别先验分布更不均衡;其二,论文基准实验以核心 8 类为主报数字,扩展属性的表现需自行评估——直接把 16 列全部当监督信号时,稀有列可能拖垮多标签损失,建议分层采样或逐类加权。
18.3 标注体系与临床读片报告的关系
OLIVES 的标志物清单实质上是一份结构化的 OCT 读片报告模板:临床医生写 OCT 报告时的标准条目(有无积液、有无渗出、有无 PED、有无纤维化)被拆成 16 个二值列。这个视角带来两个推论:其一,OLIVES 可以作为「报告生成/结构化任务」的弱监督资源——虽然它没有自由文本报告,但二值列就是报告的结构化骨架;其二,与库内 radgraph(放射报告结构化)条目对照,两者分别是影像科与眼科的「非结构化→结构化」路径样本,互链价值高。
§19 附录 F:临床背景补充——糖尿病眼病的治疗语境
19.1 抗 VEGF 治疗与 treat-and-extend
抗 VEGF 眼内注射(雷珠单抗、阿柏西普、贝伐珠单抗等)是 DME 与增殖期 DR 的一线治疗。给药策略上,固定每月方案(monthly)已被 treat-and-extend(TREX) largely 取代:病情稳定则下次访视间隔每次延长两周(上限常为 12-16 周),出现积液复发则缩短。OLIVES 的 TREX 队列即采用该方案命名。这个背景解释了两个数据特征:访视间隔不均匀(信息而非噪声,坑 9);注射次数差异大(均值 7,范围可从 3 到 15+)。
19.2 BCVA 与 CST 的临床关系
BCVA(患者报告的视功能结果)与 CST(解剖学指标)相关但不等价——临床上常见「积液消退、厚度正常化、视力未恢复」的解耦现象(反映光感受器层不可逆损伤)。OLIVES 同时提供两者的价值正在于此:模型可以学习解剖-功能解耦的预测,这是只提供其一的数据集无法支持的研究。logMAR 换算(1.7 − 0.02 × letters)务必保留方向意识(坑 7)。
19.3 DR 与 DME 的谱系关系
DR 是糖尿病微血管病变在视网膜的渐进谱系(轻中度非增殖 → 重度非增殖 → 增殖性),DME 是黄斑区血管渗漏导致的水肿,可在 DR 任一阶段出现(也可由 DME 引起视力下降而 DR 分级尚轻)。OLIVES 按目录把眼分为 DR(PRIME)与 DME(TREX-DME)两组,反映的是入组研究的主诊断而非互斥分类——同一只眼完全可能同时具有 DR 分级与黄斑水肿。使用疾病标签做二分类时,理解这一谱系重叠可避免对「分类错误样本」的误读。
19.4 真实世界数据(RWD)与临床试验数据的差别
TREX 与 PRIME 属真实世界/实务研究人群,不是严格 III 期试验人群:入选标准宽、依从性变异大、随访间隔由方案而非固定日程决定。好处是数据反映临床实际(模型落地时分布更接近);代价是缺失、不均匀与混杂因素多。用 OLIVES 训练的模型到前.VERSION 试验影像(如 III 期试验的标准化采集)上测试时,域移位方向与「试验→真实世界」相反,评估设计时应双向考虑。
§20 附录 G:五类任务逐项复现手册
以下手册按官方仓库目录组织,每条给出前置条件、步骤序列与验收点。所有路径相对仓库根目录。
20.1 任务一:自监督对比学习(SupCon)+ 线性探针
前置条件:Zenodo 数据已下载并保留原始目录结构;PyTorch 环境就绪。
# 1. 进入自监督任务目录
cd "Biomarker Interpretation with Contrastive Learning"
export PYTHONPATH=$PYTHONPATH:$PWD
# 2. 配置监督信号:选择用于定义正样本对的临床标签
# --num_methods 控制用几个临床标签,--method1/-2/-3 指定具体标签
# 可选标签:bcva / cst / eye(眼别)等 Clinical_Data_Images.xlsx 列
# 3. 训练 backbone(监督对比损失)
python training_main/clinical_sup_contrast.py \
--dataset 'Prime_TREX_DME_Fixed' \
--num_methods 1 \
--method1 'bcva'
# 4. 线性探针评估(三设置对照)
# super=0:对比学习 backbone(本实验主结果)
# super=1:全监督对照(直接用标志物标签训练 backbone)
# super=2:融合监督对照
# multi=1:多标签(16/8 类一起预测);multi=0:单标志物(--biomarker 指定)
python training_main/main_linear.py \
--dataset 'Prime' \
--multi 0 \
--super 0 \
--ckpt 'path_to_checkpoint_file' \
--biomarker 'fluid_irf'
验收点:
- 三设置(super=0/1/2)的逐标志物 AUROC 表齐备;
- 对比 backbone 在多数核心标志物上不低于全监督对照(论文核心结论的复现判据);
- 患者级切分检查通过(无 Eye ID 跨集,坑 6)。
20.2 任务二:多模态整合(OCT ↔ 生物标志物/临床标签)
前置条件:同上;另需确认 ml_centric 两个标签文件路径已配好。
步骤序列:
- 选择整合方向:影像→标量(回归 BCVA/CST)或标量→影像特征(条件化表征)。
- 在 Multi-Modal Integration 目录中按论文设定选择融合点(早期拼接 / 中期特征交互)。
- 训练时保留队列来源列(PRIME vs TREX-DME),做分层评估。
- 评估指标:回归任务用 MAE/Pearson r;检索式对齐用 Recall@K。
验收点:
- 融合模型相对单模态基线的增益方向与论文一致;
- 消融表包含「去掉临床标签」与「去掉 OCT」两行。
20.3 任务三:时间序列治疗分析
前置条件:需要先从临床标签生成治疗反应标签。
# 1. 进入治疗分析目录
cd "Time-Series Treatment Analysis"
export PYTHONPATH=$PYTHONPATH:$PWD
# 2. 生成治疗反应标签(论文定义:BCVA 周度提升)
# 官方 README 步骤 2:以相邻访视的 BCVA 变化定义反应标签,存为 csv
# -> 产出 train csv 与 test csv 两个文件
# 3. 训练(可选模态:Fundus 或 OCT)
python training_main/main_linear.py \
--dataset 'Fundus_Treatment' \
--train_csv_path 'path_to_train.csv' \
--test_csv_path 'path_to_test.csv' \
--super 1 \
--epochs 50
验收点:
- 治疗反应标签的生成脚本输出逐眼访视对齐的周数列(保留间隔信息,坑 9);
- Fundus 与 OCT 两模态结果均报告(论文对比维度);
- 反应标签分布无极端不均衡(若阳性率 <10% 需换指标或重采样)。
20.4 任务四:疾病分类(DR vs DME)
步骤序列:
- 方案 A(推荐):使用 HuggingFace 分片版 disease classification split,标签已显式化。
- 方案 B:自建——保留 Zenodo 目录结构,PRIME→0(DR),TREX-DME→1(DME),扫描生成 image-path 列表。
- 预训练 backbone(ImageNet 或眼底域)+ 线性分类头。
- 评估:整体 accuracy 之外必报逐类 precision/recall 与按队列分组的混淆矩阵。
验收点:
- 目录结构未被拍平(坑 2);
- 混淆样本人工抽检 ≥30 张(谱系重叠眼可解释,见 §19.3)。
20.5 任务五:标志物多标签检测(9,408 张口径)
步骤序列:
- 读入 Biomarker_Clinical_Data_Images.csv,键为图像路径,列为 16(或 8)个二值标志物 + 临床标量。
- 过滤:只保留该 csv 覆盖的 9,408 张(坑 3),不要把无标注图混入训练。
- 划分:患者级 3 折(MDPI 模板)或官方划分(先查粒度)。
- 模型:预训练 backbone + sigmoid 多标签头;损失 BCEWithLogits + 逐类 pos_weight。
- 评估:逐类 AUROC / AP,稀有类(激光瘢痕等)单独汇报;体级聚合用 max-pooling 对比片级均值。
验收点:
- 每类 AUROC + 样本量 + 阳性率三列齐备(防类不均衡误读);
- 中心切片(第 20-30 片)子集与全片集的对比表(标注可靠性敏感度分析)。
§21 附录 H:坑点扩展案例(每坑一例)
案例对应坑 1(同名混淆):某团队以「OLIVES dataset」检索并下载了一个橄榄(olive fruit)品质检测数据集,训练两周后才发现疾病标签全无。判别习惯:下载前核对 DOI(10.5281/zenodo.7105232)与 GitHub 组织(olivesgatech),两者至少其一在场。
案例对应坑 2(目录隐含标签):某流水线预处理脚本用 glob('**/*.tif') 拍平收集图像后再按比例切分——疾病标签信息在重命名前的文件路径里被丢掉,最终「分类器」实际输出的是随机噪声拟合。修复方式:以目录遍历(而非文件遍历)为第一步,路径即标签。
案例对应坑 3(数字张冠李戴):某论文方法节写「在 OLIVES 的 78,000 张标志物标注图像上训练」——把临床标签覆盖数当成了标志物覆盖数。审稿意见直接指出官方 csv 仅 9,408 行。写作自查:引用规模数字时逐个回对官方 README 的两处并列陈述。
案例对应坑 4(首末访视监督缺口):某研究假设「每个访视都有标志物标签」,训练时把中间访视当作负样本(标志物全阴性)——等于把无标注当阴性,引入系统性标签噪声,模型把「未标注」学成「无病」。修复:监督训练只用首末访视;中间访视走自监督或伪标签(需显式声明)。
案例对应坑 5(二手口径污染):某中文综述引用「OLIVES 含 412 张眼底图」(openmedlab 子集口径)与官方 1,268 张并存于同一表格。修复原则:聚合页数字不进综述表格;确需引用时标注「第三方子集口径」。
案例对应坑 6(患者级泄漏):某入门项目报告 AUROC 0.97,检查发现同一眼的 49 张相邻 B-scan 一半在训练一半在测试——个体纹理记忆贡献了绝大多数分数。修复:以 Eye ID 为组键的 GroupKFold;报告泄漏前后两组数字以警示后来者。
案例对应坑 7(logMAR 方向):某跨数据集分析把 ETDRS 字母数直接当 logMAR 回归,得出「积液越多视力越好」的荒诞结论(方向反转 + 单位未换算双重错误)。修复:换算公式与原始值同列保存;每张表标注单位与方向。
案例对应坑 8(镜像口径):某团队按 EyeDataHub 的 20.0 GB 预估磁盘并配额,Zenodo 直链下载 33.9 GB 中途失败。修复:以 Zenodo 官方文件大小与 md5 为唯一容量依据;HuggingFace 版体积另计。
案例对应坑 9(等间隔假设):某时序模型把 16 次访视按序号等间隔编码,treat-and-extend 的「间隔延长=稳定」信号全部丢失,预测力显著低于把周数列作为特征的基线。修复:凡 TREX 队列,周数列必进特征。
案例对应坑 10(元数据笔误传染):某自动文献管理器从 Zenodo API 抓取作者单位,「Retina Consolutants of Texas」进入 12 篇论文参考文献。修复:引文生成后对机构名做一次人工校对,或以论文 PDF 署名页为准。
§22 附录 I:数据流水线参考伪代码
# 完整加载与对齐骨架(伪代码,需按实际列名调整)
import pandas as pd
from pathlib import Path
ROOT = Path("OLIVES")
# 1. 疾病标签:目录即标签(坑 2)
def disease_of(path: str) -> str:
return "DME" if "TREX" in path else "DR"
# 2. 标志物表:9,408 张(坑 3)
bio = pd.read_csv("ml_centric/Biomarker_Clinical_Data_Images.csv")
bio["disease"] = bio["image_path"].map(disease_of)
# 3. 临床表:78,000+ 张
clin = pd.read_excel("ml_centric/Clinical_Data_Images.xlsx")
# 列(口径):image_id / bcva(ETDRS letters) / cst(um) / eye_id / patient_id
# 4. logMAR 换算(坑 7:方向向上为更差)
clin["logmar"] = 1.7 - 0.02 * clin["bcva_letters"]
# 5. 患者级划分(坑 6)
from sklearn.model_selection import GroupKFold
gkf = GroupKFold(n_splits=3)
for tr, te in gkf.split(bio, groups=bio["patient_id"]):
... # 同一 patient 的全部访视同折
# 6. 体级聚合(可选):49 片 -> 体积阳性
vol_pos = bio.groupby(["patient_id", "eye_id", "visit"])[BIOMARKERS].max()
预期盘点结果(用于 §8.2 清单第 3-5 步的验收参照):
- bio 行数 ≈ 9,408(官方口径)
- clin 覆盖图像 ≈ 78,000+(官方口径)
- 疾病两组:PRIME(=DR) 与 TREX-DME(=DME)
- 每眼访视数:均值约 16;周数列存在且非等间隔(TREX 特征)
- 注射序列:均值约 7 次/眼
§23 附录 J:研究脉络与谱系
23.1 GOLIVES 系列:从 OLIVES 到更大规模眼科多模态
OLIVES 发布后,佐治亚理工团队沿同一四模态哲学持续扩展:HuggingFace 的 gOLIVES 组织成为系列数据的统一出口,gOLIVES/OLIVES_Dataset 是 OLIVES 本体的官方分片版,后续更大规模的眼科多模态扩展数据集亦在该组织下发布。研究者的实操建议:以 GitHub olivesgatech 组织为方法学入口(代码+README),以 gOLIVES 组织为数据分发入口(分片+split),以 Zenodo 为版本权威(DOI+md5)——三者分工明确,混用入口是文献口径混乱的常见根源。
23.2 SupCon 方法脉络
OLIVES 的旗舰任务建立在 Supervised Contrastive Learning(Khosla et al., NeurIPS 2020)之上:把「同类拉近、异类推远」的 InfoNCE 式目标扩展到「同超类即正对」。OLIVES 的创新在于正对定义权来自非影像模态(BCVA 数值区间)——图像本身没有类别标签,跨模态标量充当了监督源。官方代码对 HobbitLong/SupContrast 实现有直接代码致谢(README Code Acknowledgement),复现时注意损失函数的超参(temperature 等)沿用其默认。
23.3 团队后续工作锚点
- Kiran Kokilepersaud / Mohit Prabhushankar / Ghassan AlRegib:围绕 OLIVES 衍生出一批对比学习与多模态解释性论文(临床标签作为监督信号、标志物可解释性、医学增强),是追踪「OLIVES 方法论生态」的最高效作者锚点。
- Charles Wykoff / Retina Consultants of Texas:TREX 与 PRIME 研究的临床发表脉络(抗 VEGF 真实世界结局)是理解队列设计的一手临床文献来源。
- 下游独立验证:MDPI Bioengineering 2026(StyleGAN 纵向预测)是非本团队使用方中对数据特性(49 片结构、中心切片标注完整性、患者级 3 折)描述最详尽的一篇,可作数据理解的二手权威。
23.4 在眼科 ML 数据集史中的位置
时间轴上,OLIVES(2022)落在三个浪潮的交汇点:眼底分级浪潮(2015-2019,IDRiD/EyePACS 时代)之后、OCT 大规模分割浪潮(2019-2021,RETOUCH/OCT-500 时代)之中、多模态+纵向浪潮(2022 起)的开端。它的「第一个四模态+纵向」卡位,使 2022 年后出现的纵向眼科数据集几乎必然要与它对比——这一生态位是本条目在库内眼科矩阵中的核心价值。
§24 附录 K:伦理、去标识化与合规
24.1 去标识化状态
数据为临床诊疗影像的去标识化产物:公开标签集不含姓名、身份证号、检查日期原文与人口学字段(年龄/性别未见公开列)。访视以相对周数表示而非绝对日期。面部外眼信息不在成像范围内(眼底/OCT 为眼后段影像),再识别风险理论上低于面部照片类数据,但视网膜血管纹样具有生物识别研究先例,极端论证下的再识别风险不为零——发布衍生可视化时避免高分辨率原图直出是稳妥做法。
24.2 使用伦理要点
- CC BY-4.0 允许商用,但将该数据用于医疗决策产品时,数据集许可不构成医疗器械合规(各国监管另议);
- 二次分发衍生数据集时保留 CC BY-4.0 兼容条款并署名;
- 涉及 AI 公平性研究时注意 §24.1 的字段缺失——无法做人群公平性审计是使用该数据的固有边界,论文写作时应声明;
- 增殖期糖尿病眼病属于视力威胁性疾病,模型假阴性(漏诊)的临床代价远高于假阳性——评估设计建议以敏感性优先而非均衡 accuracy。
24.3 来源研究的合规链
数据来自 TREX 与 PRIME 研究人群,原研究的知情同意与 IRB 批准由 RCA(Retina Consultants of Texas)侧覆盖;数据集论文未复述 IRB 细节,二次使用者如需合规背书,应引用原临床研究文件而非数据集论文——这是真实世界数据集常见的合规链断点,本条目按「可查证范围」如实存照。
§25 附录 L:评测设计建议(面向要在 OLIVES 上发论文的团队)
- 报两组基线:ImageNet 预训练 + 全监督(super=1)。没有这两行,SupCon 增益无法定位来源。
- 报患者级与图像级两种划分:前者是真实泛化,后者是文献可比性——两者差距本身就是有价值的报告项(泄漏敏感性)。
- 逐类报数:16/8 类标志物的阳性率相差可达数量级,总体指标无意义;稀有类建议同时报 AP 而非仅 AUROC。
- 中心切片敏感性分析:全片集 vs 第 20-30 片子集各跑一次,标注可靠性差异即刻显形。
- 队列分层:PRIME vs TREX-DME 分组报告;合并训练 + 分层评估是默认动作。
- 时间序列任务报区间:BCVA 预测按 logMAR 区间分桶报 MAE,而不是只报总体相关系数。
- 声明数据边界:无健康对照、无人口学字段、标志物仅首末访视——三句话写进 limitation,审稿阻力立减。
§26 附录 M:二手来源对照与核验留痕
26.1 本条目核验过程留痕
| 步骤 | 动作 | 结果 |
|---|---|---|
| 1 | WebSearch「OLIVES dataset Ophthalmic Labels for Investigating Visual Eye Semantics」 | 命中 NeurIPS 官方论文页、EyeDataHub 登记页、GitHub openmedlab 转载、selectdataset 登记页,存在性初步确认 |
| 2 | WebFetch Zenodo record 7105232 | 实抓确认:v2、2022-06-09、CC BY-4.0、33.9 GB + 6.3 MB、双 md5、作者六人、版本链 v1(6622145)/v2(7105232)、NeurIPS 2022 会议关联 |
| 3 | WebFetch GitHub olivesgatech/OLIVES_Dataset | 实抓确认:README 摘要与论文一致、9,408/78,000+ 双口径、PRIME=DR 与 TREX-DME=DME 目录规则、HF 镜像(2025-02-10)、三任务目录、SupContrast 致谢 |
| 4 | DB 查重 url_name ILIKE '%oliv%' |
0 行命中;writing/ 目录无 olives(有 woives-octa,为不同数据集,无别名冲突) |
| 5 | 三源互证 | 96 眼 / 1,268 眼底 / 49 B-scan / 16 标志物 / 66 周 / 7 注射六项核心数字在 NeurIPS 论文、Zenodo 描述、EyeDataHub 三源一致 |
网络预算执行:WebSearch 1 次、WebFetch 2 次,低于纪律包上限(≤3 / ≤6)。
26.2 二手来源对照表(仅供存照,正文不采用其数字)
| 来源 | 与官方一致处 | 与官方冲突/存疑处 |
|---|---|---|
| EyeDataHub(khosravipooya.com/EyeDataHub/datasets/olives) | 9,408 b_scans、8 类标志物、96 眼、1,268 fundus、CC BY-4.0、20 GB(自有口径) | 20.0 GB vs Zenodo 33.9 GB;62,000 B-scans 总量为估算;earliest version 6622145 锚定正确 |
| GitHub openmedlab/Awesome-Medical-Dataset | 1,268 fundus、49 B-scan、16 标志物、66 周、7 注射、卷页码 9201-9216 | 412 张 .tif 与 OD 2,764/OS 2,727 为其本地子集口径;「3 个临床标签」表述与镜像页 4 个并存 |
| selectdataset.com | DOI、四模态描述、机构归属 | 无实质冲突,数字转述自官方 |
| NeurIPS proceedings 中文镜像页 | 摘要、96 眼、1,268、49、16 标志物 | 「4 个临床标签」表述与官方 Zenodo「3 个临床标签+疾病诊断」存差异(§9.1 存照 #1) |
26.3 一手来源清单(成稿引用基座)
- NeurIPS 2022 D&B 论文页:proceedings.neurips.cc/paper_files/paper/2022/hash/3be60b4a739b95a07a944a1a2c41e05e-Abstract-Datasets_and_Benchmarks.html
- Zenodo v2 记录:zenodo.org/records/7105232(DOI 10.5281/zenodo.7105232)
- Zenodo 概念 DOI:doi.org/10.5281/zenodo.6622144(全版本)
- 官方 GitHub:github.com/olivesgatech/OLIVES_Dataset
- 官方主页:alregib.ece.gatech.edu/olives-dataset/
- HuggingFace 官方镜像:huggingface.co/datasets/gOLIVES/OLIVES_Dataset(沙箱内走 hf-mirror.com)
- 下游验证文献:mdpi.com/2306-5354/13/2/149(Bioengineering 2026, 13(2):149)
- 第三方登记(仅存照):khosravipooya.com/EyeDataHub/datasets/olives;github.com/openmedlab/Awesome-Medical-Dataset/blob/main/resources/OLIVES.md
§27 附录 N:与库内眼科矩阵的总览对照
| 条目 | 模态 | 疾病 | 纵向 | 标注粒度 | 许可 | 与 OLIVES 关系 |
|---|---|---|---|---|---|---|
| OLIVES | 眼底+OCT+标量+标志物(4) | DR+DME | 是 | B-scan 级二值 | CC BY-4.0 | — |
| idrid | 彩色眼底 | DR | 否 | 像素级病变掩码 | 申请制 | 分级金标准,无 OCT |
| drive | 彩色眼底 | 正常/糖网混合 | 否 | 像素级血管掩码 | 公开(注册) | 血管结构任务 |
| deepdrid | 彩色眼底 | DR | 否 | 像素级+分级 | 按官网 | 多中心 DR 分割 |
| fives | 彩色眼底 | 多病种 | 否 | 多结构掩码 | 按官网 | 多任务眼底 |
| oct-500 | OCT+OCTA | 6 病种 | 否 | 层分割 | 申请制 | OCT 广度对照 |
| duke-dme | OCT | DME | 否 | 积液/层掩码 | 研究用途 | 同疾病像素监督互补 |
| refuge2 | 眼底+OCT | 青光眼 | 否 | 视杯掩码 | 公开 | 双模态对齐前例 |
| medmnist | 多模态合成 | 多病种 | 否 | 图像级标签 | CC BY-4.0 | 轻量入口对照 |
结论一句话:库内眼科条目覆盖了「静态×多病种×像素级」象限,OLIVES 独占「纵向×四模态×语义级」象限——它不是替代任何现有条目,而是补上时间轴这一整条缺失的维度。
§28 附录 O:标签文件数据字典(逐字段)
28.1 Biomarker_Clinical_Data_Images.csv(9,408 行)
| 字段族 | 说明 | 使用要点 |
|---|---|---|
| 图像路径/标识 | 指向 Zenodo 包内 B-scan 文件 | 路径含队列目录(PRIME/TREX-DME),可直接派生疾病标签(坑 2) |
| 16 个标志物列 | 二值(0/1) | 核心 8 类为基准对象;稀有类阳性率低,需逐类加权(§20.5) |
| BCVA 列 | ETDRS 字母数 | 换算 logMAR = 1.7 − 0.02 × letters(坑 7) |
| CST 列 | 微米 | 仪器自动测量,与 IRF/SRF 高相关 |
| Eye/Patient 标识 | 眼级与患者级 ID | 患者级划分的分组键(坑 6) |
| 访视标识 | 首末访视(部分眼 6 访视) | 监督覆盖范围的依据(坑 4) |
28.2 Clinical_Data_Images.xlsx(78,000+ 行)
| 字段 | 说明 | 使用要点 |
|---|---|---|
| 图像 ID | 覆盖全量有临床数据的图像 | 与标志物表按键 join 得「子集超集」结构 |
| BCVA | ETDRS 字母数 | 时间序列任务的因变量来源 |
| CST | 微米 | 解剖学协变量 |
| Eye ID / Patient ID | 分组键 | 一一对应关系官方未明示(§9.2 疑点 1) |
28.3 full_labels 目录
包含研究用全部临床信息(含治疗序列:访视周数、注射记录)。三个使用要点:其一,字段命名非机器学习惯用格式,需自行映射;其二,治疗序列字段是时间序列任务(任务三)的原料;其三,HuggingFace 分片版不含此目录,需要者必须从 Zenodo 标签包取(坑 8)。
§29 附录 P:工程部署与数据管理注意
29.1 存储与下载
- 磁盘规划按 Zenodo 官方口径:33.9 GB(图像 zip)+ 6.3 MB(标签)+ 解压后余量(建议按 2.5 倍预留,zip 解压与中间处理并行);
- 下载校验两步走:文件大小(Zenodo 页面实时显示)→ md5(官方值:图像包 e08f4198aa919d6900bd30525c137933;标签包 e0b14b14f457e4abcafafdd60b8d3952);
- 大 zip 解压建议流式(
unzip -管道)或分目录解压,避免瞬时 inode 压力; - HuggingFace 分片版(沙箱内经 hf-mirror.com)适合只做标志物检测或疾病分类的团队,不必拉全量。
29.2 数据版本管理
- 以 Zenodo 版本号(v2)为数据版本锚点,训练配置中记录 DOI + md5;
- 衍生预处理产物(resize、裁剪、划分 csv)建议以「olives-v2-prep-<日期>」命名,与原始数据物理隔离;
- 纵向数据的预处理最忌「隐形信息删除」:拍平目录(坑 2)、丢周数列(坑 9)、丢换算原值(坑 7)三件事在数据版本管理里都应设 lint 检查。
29.3 训练工程注意
- 多标签损失:BCEWithLogits + 逐类 pos_weight;稀有类(激光瘢痕)权重按 1/阳性率平方根起配;
- B-scan 输入:单通道或伪 RGB 均可,重点是与预训练域匹配——ImageNet 权重用 3 通道复制即可;
- 体级模型(49 片整体积)显存开销大,缺失片零填充(MDPI 2026 做法)+ 有效片掩码是好实践;
- 患者级 GroupKFold 在 sklearn 中一行可得,不要手写随机划分。
§30 附录 Q:与相邻学科的接口
30.1 对计算眼科之外的迁移价值
OLIVES 的方法论资产有三块可跨学科复用:其一,「仪器测量标签监督对比学习」范式适用于任何「便宜标量 abundant、昂贵标注 scarce」的医学影像域(如以血压监督视网膜图、以 HbA1c 监督眼底);其二,「治疗时序作为标签源」适用于肿瘤治疗响应评估(RECIST 时序)与慢性病管理;其三,「医学域内增强」清单(重采样模拟扫描密度、强度变换模拟设备差异)是通用医学自监督的设计模板。
30.2 与文本侧结构化的呼应
OLIVES 的 16 列标志物是「影像报告的结构化骨架」(§18.3)。库内文本侧条目(radgraph 的放射报告标注、cadec 的药物不良事件标注)解决的是同一问题在文本侧的版本——「非结构化临床叙述 → 结构化语义列」。两域对照可作为「多模态结构化」专题的骨架材料。
30.3 开放问题清单(研究选题素材)
- 跨模态蒸馏上限:BCVA/CST 监督的表征最多能「免费」预测哪些标志物?哪些标志物信息论上不在标量里(需要影像监督)?
- 治疗策略建模:treat-and-extend 的间隔决策能否被端到端学习(RL/序列决策),OLIVES 是否提供了足够的动作-状态对?
- 解剖-功能解耦预测:CST 正常化但 BCVA 不恢复的「无应答亚型」能否在影像上提前识别?
- 稀有标志物的少样本协议:激光瘢痕级阳性率下的最优评估协议是什么?
- 跨设备域适应:OLIVES(RCA 设备群)↔ 公开 OCT 数据集(其他设备群)的无监督对齐收益量化。
§31 附录 R:成稿事实核查总清单
以下为本条目全部关键断言与其来源索引(编号对应 §26.3 一手来源清单):
| # | 断言 | 来源 |
|---|---|---|
| 1 | 正式名 OLIVES — Ophthalmic Labels for Investigating Visual Eye Semantics | [1][2][4] |
| 2 | NeurIPS 2022 D&B Track 发表,NeurIPS 35, pp. 9201-9216 | [1][4] |
| 3 | 96 眼,平均随访 ≥2 年,平均 66 周治疗、7 次注射 | [1][2][7] |
| 4 | 1,268 张 NIR 眼底图像,每张配至少 49 张 OCT B-scan | [1][2] |
| 5 | 16 种生物标志物 + 3 个临床标签 + DR/DME 疾病诊断 | [1][2](口径存照 §9.1#1) |
| 6 | 9,408 张 B-scan 有标志物标注;78,000+ 图像有临床数据 | [4] |
| 7 | TREX DME 47 例 / PRIME FULL 40 例;PRIME=DR、TREX-DME=DME | [4][7] |
| 8 | Zenodo v2(7105232,2022-06-09)+ v1(6622145);概念 DOI 6622144 | [2][3] |
| 9 | OLIVES.zip 33.9 GB + 标签包 6.3 MB,双 md5 | [2] |
| 10 | CC BY-4.0 | [2] |
| 11 | 作者六人(Georgia Tech CSIP ×4 + RCA ×2) | [2][4] |
| 12 | HuggingFace gOLIVES/OLIVES_Dataset(2025-02-10 官宣) | [4][6] |
| 13 | GitHub 2022-06-06 初始提交、2022-06-22 目录重命名 | [4] |
| 14 | 三个任务示例代码目录与 SupContrast 代码致谢 | [4] |
| 15 | logMAR = 1.7 − 0.02 × ETDRS letters | [7][4] |
| 16 | 中心切片(第 25 片)标志物标注无缺失;3 折患者级交叉验证实例 | [7] |
| 17 | BCVA 周度提升定义治疗反应标签;Fundus/OCT 双模态治疗分析 | [4] |
| 18 | EyeDataHub 记 20 GB 与 8 类口径;62,000 B-scans 为其估算 | [8](存照,不采用) |
| 19 | openmedlab 412 张为其本地子集口径 | [8](存照,不采用) |
| 20 | Zenodo 作者单位「Consolutants」笔误 | [2](存照) |
§32 尾注与版本
- 本条目为千方病案医数集 AI-Ready Wikipedia 系列条目,slug = olives。
- 成稿日期 2026-10-13;数据快照以 Zenodo v2(7105232)为准。
- 相关事实档案:同目录 FACTS.md(九节结构)。
- 互链预置:frontmatter relatedLink 含 idrid / oct-500 / duke-dme;完整矩阵见 §10 与 §27。
- 修订记录:v1.0(2026-10-13,agent-c-olives 初稿成稿)。
(正文完)
§33 附录 S:十二个常见误区辨析
误区 1:「OLIVES 是眼底分级数据集。」
辨析:OLIVES 不提供 DR 分级标签(无轻度/中度/重度/增殖期五级标尺)。它提供的是标志物(16 种)、临床标量(BCVA/CST)、疾病目录标签(DR/DME)与治疗序列。要 DR 分级请用 IDRiD/EyePACS 系。
误区 2:「9,408 是 OLIVES 的图像总数。」
辨析:9,408 只是标志物标注子集;有临床数据的图像 78,000+;全量 B-scan 约 62,000(第三方估算)。三个数字三个覆盖范围,引用必须带限定语。
误区 3:「标志物标注可以做分割。」
辨析:二值有无 ≠ 像素掩码。分割监督请去 RETOUCH/DUKE-DME/OCT-500。
误区 4:「96 眼 = 96 患者,可以按图随机划分。」
辨析:眼-患者对应未逐例明示,且即使一一对应,每眼约 16 次访视 × 49 片的图像间相关性也要求分组划分。图像级随机划分在纵向数据上等价于作弊。
误区 5:「每个访视都有标志物标签。」
辨析:仅首末访视(部分眼 6 访视)。中间访视只有临床标量。
误区 6:「DR 和 DME 两类互斥。」
辨析:目录标签反映入组主诊断;DME 可在 DR 任一阶段出现,谱系重叠眼存在。
误区 7:「NIR 眼底图 = 彩色眼底图变灰。」
辨析:近红外成像的波长与对比机制不同,深层结构与渗出显示特性有差异;跨模态迁移需域适配。
误区 8:「CC BY-4.0 所以可以不分场合使用。」
辨析:许可解决版权;医疗产品化、再识别风险、公平性声明是许可之外的独立合规层。
误区 9:「treat-and-extend 的访视间隔是噪声,要重采样成等间隔。」
辨析:间隔本身携带病情稳定性信息,是特征不是噪声。
误区 10:「HuggingFace 版就是完整数据集。」
辨析:HF 版按 split 精简打包,full_labels 全量临床信息(含治疗序列)只在 Zenodo 标签包。
误区 11:「官方 train/val/test 一定是患者级的。」
辨析:官方未明示粒度;用前自查 Eye ID 是否跨集,必要时自行 GroupKFold。
误区 12:「OLIVES 与 GOLIVES 是两个团队的数据。」
辨析:gOLIVES 是同一团队的 HuggingFace 分发组织,官方镜像。
§34 附录 T:多标签评估协议样例表(模板)
以下为建议的逐类汇报模板(数字为占位符 N/A,展示结构):
| 标志物 | 阳性率 | 样本量 | AUROC | AP | 中心切片 AUROC | 备注 |
|---|---|---|---|---|---|---|
| IRF | N/A | 9,408 | N/A | N/A | N/A | 类较均衡 |
| SRF | N/A | 9,408 | N/A | N/A | N/A | 与 IRF 混淆抽检 |
| 硬性渗出 | N/A | 9,408 | N/A | N/A | N/A | 不区分新旧 |
| 软性渗出 | N/A | 9,408 | N/A | N/A | N/A | 稀有,报 AP |
| 玻璃膜疣 | N/A | 9,408 | N/A | N/A | N/A | 与 PED 边界模糊 |
| 瘢痕 | N/A | 9,408 | N/A | N/A | N/A | 终末期代理 |
| 激光瘢痕 | N/A | 9,408 | N/A | N/A | N/A | 最稀有,报 AP |
| 纤维血管性 PED | N/A | 9,408 | N/A | N/A | N/A | 与浆液性 PED 分列 |
| 浆液性 PED | N/A | 9,408 | N/A | N/A | N/A | 同上 |
| (全集其余 7 列) | N/A | 9,408 | N/A | N/A | N/A | 自行扩展 |
配套三条汇报纪律:一、任何总体指标旁必须并列逐类表;二、患者级与图像级两套数字并列;三、全片集与中心切片子集并列。
§35 附录 U:跨数据集联合使用三方案
方案一:OLIVES(纵向标志物)+ DUKE-DME(像素积液)
组合逻辑:DUKE-DME 提供积液像素掩码,可先训分割器,再对 OLIVES 的 9,408 张 B-scan 产伪标签做积液面积估计,与 OLIVES 二值标注交叉验证——得到「二值语义 ↔ 像素量化」的桥接模型。注意设备域差异,建议加域对抗或强度归一化。
方案二:OLIVES(NIR 眼底 + 临床)+ IDRiD(彩色眼底分级)
组合逻辑:以 IDRiD 分级模型为 DR 严重度先验,应用到 OLIVES 的 NIR 图(经灰度适配),检验「分级先验 × 临床标量 → 治疗反应」的组合预测力。贡献点在跨模态(彩色→NIR)与跨任务(分级→管理)的双迁移。
方案三:OLIVES(治疗时序)+ OCT-500(大样本 OCT 结构)
组合逻辑:OCT-500 提供跨病种的大样本结构表征预训练池,OLIVES 提供纵向微调与治疗预测评测——「广度预训练 + 纵深微调」的两段式,正是纵向小样本数据集的标准解法。评估时注意 OCT-500 无治疗标签,只能在 OLIVES 内部闭环评测治疗任务。
§36 附录 V:补充术语表(第二组)
| 术语 | 英文 | 释义 |
|---|---|---|
| treat-and-extend | Treat-and-Extend (TREX) | 抗 VEGF 注射的延长间隔给药策略,稳定则间隔渐增、复发则缩短 |
| 中心子域 | Central Subfield | 黄斑中心 1mm 区域,CST 的测量范围 |
| ETDRS 字母 | ETDRS letters | 标准视力表计分,每读对一行字母记分 |
| 正样本对 | Positive Pair | 对比学习中视为相似的样本对,OLIVES 由临床标签区间定义 |
| 线性探针 | Linear Probe | 冻结 backbone 仅训练线性头的评估协议 |
| 患者级划分 | Patient-level Split | 以患者/眼为组键切分,防个体泄漏 |
| 群组 K 折 | GroupKFold | sklearn 中按组键划分的交叉验证实现 |
| 体级聚合 | Volume-level Aggregation | 49 片预测聚合为体积级结论(max/mean pooling) |
| 伪标签 | Pseudo-labeling | 用模型预测为无标注数据生成临时标签 |
| 域适应 | Domain Adaptation | 跨设备/跨中心的分布对齐方法族 |
| 解剖-功能解耦 | Structure-Function Decoupling | 影像结构正常化与视功能不恢复的临床现象 |
| 真实世界数据 | Real-World Data (RWD) | 非试验 controlled 条件下的临床数据,OLIVES 属此类 |
§37 附录 W:本条目与 FACTS.md 的对应索引
| FACTS.md 节 | 本条目对应位置 |
|---|---|
| 1 名称与身份(查重+锁) | INFOBOX、§0 读法三则、§26.1 |
| 2 论文与时间线 | §11 附录 A |
| 3 机构与人物 | §14 附录 D |
| 4 数据规模硬数字 | §1 十问十答、§5.3 DAIMS、§12 附录 B |
| 5 任务与标注 | §3、§4、§18 附录 E |
| 6 license 与获取(版本链) | §6 |
| 7 评估与基准 | §5、§20 附录 G |
| 8 生态与互链点 | §10、§27 附录 N |
| 9 存照与待核 | 坑 5/坑 10、§9、§26.2 |
§38 附录 X:三个即用工作流模板
38.1 模板一:标志物分类最小可行实验(一页清单)
目标:8 类核心标志物的多标签分类基线(一天内可跑完)
数据:Biomarker_Clinical_Data_Images.csv(9,408 行)
划分:GroupKFold(3) by patient_id
模型:ResNet50(ImageNet 权重)+ sigmoid 头
损失:BCEWithLogitsLoss(pos_weight=sqrt(1/p_i))
输入:B-scan 中心裁剪 + resize 384x384
增强:水平翻转 + 亮度 0.9-1.1(不做颜色抖动,保持 OCT 物理意义)
指标:逐类 AUROC + AP;中心切片子集复测
汇报:§34 模板表 + 患者/图像两种划分对比
步骤分解:
1. 读 csv,过滤 8 类核心列,统计逐类阳性率
2. 按路径派生疾病列(目录即标签),确认 PRIME/TREX-DME 均有样本
3. GroupKFold 3 折,落盘折划分 csv(可复现)
4. 每折训练 ≤20 epochs(基线不必收敛到极致)
5. 收集 out-of-fold 预测,一次算齐逐类指标
6. 中心切片(20-30 片)子集复测并写差异说明
38.2 模板二:治疗反应预测(周级特征版)
目标:预测下次访视 BCVA 是否提升(二分类)或提升幅度(回归)
数据:full_labels 治疗序列 + 眼底/OCT 图像特征
特征:上一访视 BCVA(logMAR)、CST、间隔周数(TREX 信号,坑 9)、
累计注射次数、影像 backbone 嵌入(模板一的模型产出)
模型:梯度提升树(表格基线)+ 影像特征融合(进阶)
划分:患者级留出 20%
汇报:表格基线 vs 影像融合两组;按队列(PRIME/TREX)分层
38.3 模板三:跨模态检索原型
目标:眼底图 ↔ OCT 体积 的跨模态检索(同访视配对为正)
正对:同 Eye 同 Visit 的(眼底图,中心 25 片 B-scan)对
负对:批内其他 Eye/Visit
模型:双塔(眼底塔 / OCT 塔)+ InfoNCE
评测:Recall@1/5/10,按疾病组分层
意义:验证四模态对齐结构是否足以支撑无标注检索
§39 附录 Y:延伸问答(评审视角 12 问)
R1:为什么不用更大的眼科数据集(如百万级眼底)做主对比?
答:那些数据集无标志物与治疗序列,对比只能在共同子任务(疾病分类)上进行——本条目 §27 已给矩阵。OLIVES 的不可替代项是纵向×四模态。
R2:96 眼的统计功效够支撑结论吗?
答:对「数据集设计」类结论(模态对齐可行性、监督信号层级复用)足够;对「临床结局」类结论不足——引用其治疗分析结果时应声明探索性质。
R3:标志物标注者是谁、几个人、一致性?
答:官方未公布标注者人数与一致性系数(§9.2 疑点 3)。这本身应写进任何使用该数据的论文 limitation。
R4:图像有没有质量控制(QC)标签?
答:官方未提供 QC 列。低质量扫描(介质混浊、扫视伪影)需自行检测;建议以 MDPI 验证过的「中心切片完整性」作为最小 QC 代理。
R5:数据采集设备型号公开吗?
答:官方材料未给出具体设备型号(频域 OCT 的厂商/型号未注明),跨设备复现时以「临床级频域 OCT,黄斑体积协议 49 线」口径理解。
R6:能否只用 CST/BCVA 做表格模型而不碰影像?
答:可以,full_labels 的标量与序列支持纯表格研究;但会丢失数据集的模态对齐价值,且 96 眼的表格样本量偏小。
R7:官方划分之外自行划分是否可接受?
答:可接受且常见(患者级),但必须在论文中报告划分脚本或折文件,保证可复现。
R8:多标签之间相关性如何处理?
答:三选一:独立 sigmoid(简单基线)、标签相关正则(结构化损失)、或图神经网络式标签关系建模(进阶)。核心 8 类间相关性强(积液族、PED 族),至少应报告标签共现矩阵。
R9:治疗分析的时间泄漏怎么防?
答:特征只能用「上次访视及之前」的信息;用当次访视影像预测当次 BCVA 变化属于泄漏式设定(可作为「同时性预测」单独声明)。
R10:该数据能支持 foundation model 训练吗?
答:不支持从零预训练(数据量与多样性不足);适合作为医学影像 foundation model 的纵向微调/评测资源。
R11:与真实世界证据(RWE)研究怎么衔接?
答:TREX/PRIME 本身是 RWE 研究人群,模型输出可与 RCA 发表的临床结局对照;衔接点在「影像预测的 BCVA 轨迹 vs 实测轨迹」的平行对比。
R12:本条目最容易被审稿人挑的刺是什么?
答:三处——引用 9,408 时写错范围(坑 3)、患者级泄漏(坑 6)、把目录标签当互斥分类(误区 6)。写作前先自查这三点。
§40 附录 Z:数据集卡片(Dataset Card 摘要)
dataset_name: OLIVES
full_name: Ophthalmic Labels for Investigating Visual Eye Semantics
version: Zenodo v2 (record 7105232), 2022-06-09
license: CC BY-4.0
languages: en (labels), n/a (images)
modalities: [NIR fundus, OCT B-scans, clinical scalars, biomarker labels]
cohort: 96 eyes; TREX DME (47) + PRIME FULL (40)
followup: mean 66 weeks treatment; ~7 injections; ~16 visits/eye
images:
fundus: 1268
biomarker_labeled_bscans: 9408
clinical_data_images: 78000+
bscans_per_visit: 49
biomarkers: 16 (8 core: IRF, SRF-family, hard exudate, soft exudate,
drusen, scar, laser scar, PED variants)
clinical_labels: BCVA (ETDRS), CST (um), eye side; disease by directory
tasks: [biomarker multilabel, disease classification, SupCon SSL,
multimodal integration, treatment time-series]
splits: train/val/txt (official), patient-level recommended
download: Zenodo 7105232 (direct) | HF gOLIVES/OLIVES_Dataset (shards)
md5:
images: e08f4198aa919d6900bd30525c137933
labels: e0b14b14f457e4abcafafdd60b8d3952
citation: Prabhushankar et al., NeurIPS 2022 D&B Track
known_limitations:
- no healthy controls
- biomarker labels only first/last visits
- no demographic fields
- no pixel-level masks
- no per-biomarker agreement statistics
(附录 Z 完;全篇附录 A-Z 共 26 组,正文 §0-§32。)
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- harvard-fairvision — 共享标签:眼科影像 / 图像分类 / 多模态影像 / 糖尿病视网膜病变
- eyepacs — 共享标签:医学影像 / 眼科影像 / 糖尿病视网膜病变
- messidor — 共享标签:医学影像 / 眼科影像 / 糖尿病视网膜病变
- ddr — 共享标签:医学影像 / 眼科影像 / 糖尿病视网膜病变
- mbrset — 共享标签:医学影像 / 眼科影像 / 图像分类 / 糖尿病视网膜病变
- octid — 共享标签:医学影像 / 眼科影像 / 图像分类 / 糖尿病视网膜病变
- rfmid — 共享标签:医学影像 / 眼科影像 / 图像分类
- oct2017 — 共享标签:医学影像 / 眼科影像 / 图像分类
- brset — 共享标签:医学影像 / 眼科影像 / 图像分类
- octdl — 共享标签:医学影像 / 眼科影像 / 图像分类
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

