Galar — 大规模多标签视频胶囊内镜数据集

德国德累斯顿 80 段视频胶囊内镜、351 万逐帧标注帧、29 类技术/解剖/病理标签——跨两中心三型胶囊系统、5 名标注员交叉验证,迄今规模最全面的 VCE 多标签数据集,figshare+ 以 CC BY 4.0 公开约 580GB

来源 德国两中心视频胶囊内镜录像(2011-08 至 2023-03):Olympus™ Endocapsule 10 System(336×336,22 视频/2,750,514 帧)+ PillCam™ SB2/SB3/Colon2(512×512,58 视频/763,025 帧);逐帧标注为 29 类技术/解剖/病理标签;7-Zip 压缩发布约 580GB发布时间: 2026-10-08最后更新: 2026-10-20 阅读 50
Galar — 大规模多标签视频胶囊内镜数据集

信息速览

数据集名称Galar — 大规模多标签视频胶囊内镜数据集
数据类型人工标注,影像数据,原始数据,多标签标注
规模80 段 VCE 视频(自 449 段记录中预选,仅含病理发现者;患者级计数论文未披露)
接入方式德国两中心视频胶囊内镜录像(2011-08 至 2023-03):Olympus™ Endocapsule 10 System(336×336,22 视频/2,750,514 帧)+ PillCam™ SB2/SB3/Colon2(512×512,58 视频/763,025 帧);逐帧标注为 29 类技术/解剖/病理标签;7-Zip 压缩发布约 580GB
AI 就绪度

Galar (galar) — 大规模多标签视频胶囊内镜数据集

一句话定义:Galar 是德国德累斯顿工业大学团队发布的大规模多标签视频胶囊内镜(Video Capsule Endoscopy, VCE)数据集,含 80 段视频、3,513,539 个逐帧标注帧、29 类技术/解剖/病理标签,跨两中心三型胶囊系统采集,以 CC BY 4.0 在 figshare+ 公开,总规模约 580GB,被作者定位为「迄今最全面的 VCE 数据集」。

  • 官方全称:Galar — a large multi-label video capsule endoscopy dataset
  • 发布论文:Scientific Data 12, 828(2025);DOI 10.1038/s41597-025-05112-7;PMID 40394033;PMCID PMC12092661
  • 数据集 DOI:10.25452/figshare.plus.25304616.v1
  • 主管机构:Else Kröner Fresenius Center for Digital Health, Technische Universität Dresden(德累斯顿工业大学)
  • 采集中心:University Hospital Carl Gustav Carus(德累斯顿)+ Dippoldiswalde 胃肠内科诊所(萨克森州)
  • 许可:CC BY 4.0
  • 获取:figshare+ 公开仓库(约 580GB,.7z 压缩);代码仓 EKFZ-AI-Endoscopy/GalarCapsuleML

§0 导读:Galar 解决什么问题

§0 读法三则:

  1. 一句话:Galar 把「80 段跨两中心、三型胶囊系统的完整 VCE 视频」逐帧标注成「29 类技术/解剖/病理标签」,共 3,513,539 帧,以 CC BY 4.0 公开约 580GB——是目前规模最全面的视频胶囊内镜多标签数据集。
  2. 它解决的问题:VCE 阅片耗时、图像质量差、病灶检出难,而此前公开数据多为「单中心、抽帧、少标签」。Galar 以多中心 + 逐帧 + 多标签的规模,为消化道阅片 AI 提供数据底座。
  3. 它没解决的问题:患者级计数未披露、数据划分依据未公开、标注一致性无量化、病理检测基线 F1 近零、无跨中心泛化评估——这些是使用时的已知空白,对应本条目 §8(局限)与 §11(存照)。

本条目速览:

维度 事实
视频 / 帧 80 段 / 3,513,539 帧
标签 29 类(技术 5 / 解剖 9 / 病理 15),其中 26 类有实例
中心 / 系统 2 中心 / 3 型胶囊系统(Olympus + PillCam)
采集时段 2011-08 至 2023-03
大小 / 许可 约 580GB / CC BY 4.0
论文 Scientific Data 12:828(2025),DOI 10.1038/s41597-025-05112-7

§1 名称、身份与一句话定位

1.1 名称与缩写

Galar 是该数据集的官方名称,全称 “Galar — a large multi-label video capsule endoscopy dataset”。论文与数据仓库均使用此名。名称为专有名,论文未给出首字母缩写展开(作者未声明 Galar 是单词缩写还是地名/自造词;其拼写与 Pokémon 系列「伽勒尔地区」恰好相同,属巧合,与数据集内容无关)。

数据集的核心身份关键词是三个:

  1. Video(视频)——数据以连续视频而非抽帧图像的形式存在,一段视频即一次完整的胶囊内镜检查录像;
  2. Multi-label(多标签)——视频的每个帧可同时携带多个标签(例如一帧可同时是 small intestine(小肠)且含 bubbles(气泡)),这是**多标签分类(multi-label classification)**而非单标签多分类任务;
  3. VCE / Capsule Endoscopy(胶囊内镜)——检查方式是患者吞服胶囊式摄像头,随消化道蠕动拍摄,主要用于小肠检查,是传统插管内镜难以到达区域的关键成像手段。

1.2 什么是视频胶囊内镜(VCE)

视频胶囊内镜(Video Capsule Endoscopy, VCE) 是一次性胶囊式摄像装置,患者吞服后随消化道蠕动前行并连续拍摄,检查结束后随粪便排出。论文开篇总结了 VCE 的核心矛盾:

  • 优势:非侵入性(non-invasive)、可覆盖**小肠(small bowel)**这一传统内镜难以到达的深部区域;
  • 局限:阅片耗时(time-consuming analysis)——一段记录常产生数万帧图像,医生需逐帧浏览;电池续航短(short battery lifetime),一次检查仅数小时;图像质量欠佳(poor image quality),气泡、黏液、粪渣、视野遮挡频繁干扰。

论文正是基于「AI 有潜力逐一解决这些挑战,但方法进展受限于大规模数据匮乏」的动机,构建 Galar 以填补数据空白。这一动机决定了 Galar 的设计取向:面向机器学习的、逐帧的、多标签的、跨系统的、多中心的。

1.3 与既有 VCE 数据集的差异化定位

论文 Table 6 系统对比了公开可获取的 VCE 数据集:

数据集 规模 标签数
Kvasir-Capsule 47,238 标注图像 3 地标 + 2 技术 + 9 病理
Rhode Island 5,247,588 标注图像 4 区块(sections)
AI-KODA 2,173 标注图像(28 患者) 8 技术
VCE-AnomalyNet 108,832 标注图像 17 病理
ERS Dataset 5,970 标注图像(另 982,041 不精确标注*) 123 标签
SEE-AI 18,481 标注图像 12
Galar(本条目) 3,513,539 逐帧标注帧 29 标签(技术/解剖/病理)

* ERS Dataset 的"不精确标注"指图像继承了时间上邻近的专家标注图像之标签,而非逐帧精确标注。

论文据此宣称:Galar 在帧数规模与标注维度多样性上均为当前领先,且是**多中心(multicentric)+ 多系统(multisystem)**的数据集——这一点对临床可用 AI 的跨设备泛化评估尤为关键(论文强调 “multidisciplinary and multicenter VCE research is needed for the clinical use of AI in patient diagnosis”)。

1.4 一句话定位

Galar = 首个把「80 段跨系统跨中心的完整 VCE 视频」逐帧标注成「29 类技术/解剖/病理多标签」的 351 万帧级公开数据集,用 ~580GB 的体量与 CC BY 4.0 的开放许可,把 VCE 从「小样本抽帧研究」推向「大规模视频多标签机器学习」。

1.5 VCE 技术简史与 Galar 的时代坐标

理解 Galar 的意义,需把它放在 VCE 技术的发展脉络中。

无线胶囊内镜(Wireless Capsule Endoscopy) 的概念由 Iddan 等人在 2000 年发表于 Nature 的论文 “Wireless capsule endoscopy” 中正式提出(该文献亦被 Galar 论文列入参考文献)。这是消化道影像学的一次范式转变:

  • 此前:消化道检查依赖插管内镜(gastroscopy/colonoscopy),可观察食管、胃、结肠,但难以到达小肠(长度约 6 米、迂曲),且为侵入性操作,患者不适、有穿孔/麻醉风险;
  • 此后:胶囊内镜以非侵入方式覆盖全小肠,成为不明原因消化道出血(OGIB)、克罗恩病、小肠肿瘤等诊断的关键手段。

VCE 的发展阶段:

  1. 2000-2010 年代:设备成熟期。胶囊从单摄像头发展到双摄像头、可变帧率(如 Given PillCam 的自适应帧率)、结肠胶囊(PillCam Colon)。Galar 所用的 Olympus Endocapsule 10 与 PillCam SB2/SB3/Colon2 正是这一时期到 2010 年代的主力型号;
  2. 2010 年代至今:AI 介入期。随着深度学习兴起,研究者尝试用 AI 自动分析 VCE 录像,但受限于公开数据的匮乏——这正是 Galar 论文的起点。

Galar 的时代坐标:它诞生于 VCE AI 从「小样本研究」向「大规模数据驱动」过渡的关键节点。此前公开的 VCE 数据集多为单中心、抽帧、少标签;Galar 以多中心、逐帧、多标签、351 万帧的规模,把 VCE AI 推入数据充足时代。论文自我定位为 “the most comprehensive dataset of VCE to date”(迄今最全面的 VCE 数据集),其底气正来自这一规模跃迁。

技术代际的隐含信息:Galar 数据采集于 2011-2023,恰好横跨 VCE 设备从「成熟期主力型号」(PillCam SB2/SB3)向更新代(Olympus Endocapsule 10、PillCam Colon2)交替的窗口。因此数据集中天然包含设备代际差异——这既是挑战(混杂),也是机遇(可做跨代研究)。

1.6 为什么 VCE 需要 AI:临床痛点拆解

要理解 Galar 的设计逻辑,须先理解 VCE 的三个临床痛点,它们一一对应 Galar 的三组标签:

痛点一 · 阅片耗时 → 对应「技术组 + 解剖组」
一段 8 小时的胶囊内镜录像可产生数万帧图像,医生需全程逐帧浏览。文献常引的数字是阅读一段 VCE 录像需 30-120 分钟(论文引用对 VCE 局限的综述),且人类注意力在长时间浏览中必然衰减,漏诊风险随录像时长上升。AI 的价值在于:自动剔除无诊断价值的帧(技术组:no view/reduced view/bubbles/dirt)与自动分段定位(解剖组),把医生的注意力集中到有意义的帧上。

痛点二 · 电池续航短 → 压缩了可采集时长
胶囊电池通常仅能支撑数小时工作,检查的可视窗口有限。这使每一帧都珍贵——正因如此,自动识别「哪些帧值得看」的技术组标注才有直接临床意义。

痛点三 · 图像质量差 → 直接催生「图像质量」标签体系的必要性
VCE 图像常受气泡、黏液、粪渣、视野遮挡干扰,论文原文把 “poor image quality” 列为 VCE 三大局限之一。这解释了为何 Galar 把技术组独立成组——它不是可有可无的附属标注,而是VCE 特有的、必须建模的质量维度。

痛点的共同后果 · 病理检出难度大 → 对应「病理组」
上述三痛点叠加,使 VCE 的病灶检出成为高难度长尾任务。Galar 病理组 15 类中 3 类零实例、其余 F1 近零(§7.5),正是这一临床难度的数据化映射。

1.7 Galar 的三层任务定义

从机器学习任务角度,Galar 可拆解为三个可独立训练、又可联合建模的任务层:

任务层 输入 输出 对应标签组 论文基线表现
质量评估 单帧 质量标签 技术组(5 类) bubbles/dirt F1 ~0.88;view 类 macro 0.54
解剖定位 单帧 地标 + 分段 解剖组(9 类) micro F1 0.89
病灶检测 单帧 病理标签 病理组(15 类) F1 ≈ 0(开放难题)

三层的难度递增、标签依赖递增、临床价值递增:质量评估是「让 AI 帮忙筛帧」,解剖定位是「让 AI 帮忙找位置」,病灶检测是「让 AI 帮忙看病」。Galar 的价值在于把这三层压在同一个数据集里——研究者可以在同一数据底座上研究从低阶到高阶的全部阅片智能。

1.8 本条目结构导览

本条目按下述结构展开,便于按需查阅:

  • §2 发布团队、机构与时间线——谁做的、什么时候做的;
  • §3 数据规模与采集规格——硬数字与逐系统分布;
  • §4 标签体系——29 类标签的完整定义与临床映射;
  • §5 标注方法与质量控制——5 人流水线如何保证质量;
  • §6 许可、获取与数据结构——CC BY 4.0 与文件组织;
  • §7 技术验证与基准结果——ResNet-50 四张结果表;
  • §8 局限、伦理与适用边界——使用时必须知道的风险;
  • §9 坑点清单——8 条实践踩坑 + DAIMS 映射表;
  • §10 库内互链——与 Kvasir-Capsule 等的关联;
  • §11 双口径存照与遗留疑点——口径冲突逐条留证;
  • 附录 速查卡、标签全清单、引用来源。

§2 发布团队、机构与时间线

2.1 主管机构

Galar 的核心机构是 Else Kröner Fresenius Center for Digital Health(Else Kröner Fresenius 数字健康中心),隶属 Technische Universität Dresden(德累斯顿工业大学,TU Dresden)。该中心是德国数字医学研究的重镇,Galar 的数据工程、标注组织与代码实现均出于此。代码仓库组织名为 EKFZ-AI-Endoscopy,直指该中心的**内镜 AI(AI-Endoscopy)**研究方向。

2.2 两大数据采集中心

Galar 的多中心属性来自两个实际采集点,均位于德国萨克森州(Saxony):

  1. University Hospital Carl Gustav Carus(德累斯顿大学医院)——TU Dresden 附属医院,提供绝大多数视频(60 段,见 §3 分布表),使用 PillCam™ 与 Olympus™ 两型系统;
  2. Dippoldiswalde 胃肠内科诊所(Medical Office for Gastroenterology and Internal Medicine, Dippoldiswalde)——门诊/诊所场景,提供 20 段 PillCam™ 视频。

这一「大学医院 + 门诊诊所」的组合使 Galar 同时覆盖住院与门诊两类临床场景,是论文强调的「multicentric」实质来源之一。

2.3 参与机构与作者

论文共 20 名作者,按署名序列出:

Maxime Le Floch, Fabian Wolf, Lucian McIntyre, Christoph Weinert, Albrecht Palm, Konrad Volk, Paul Herzog, Sophie Helene Kirk, Jonas L. Steinhäuser, Catrein Stopp, Mark Enrik Geissler, Moritz Herzog, Stefan Sulk, Jakob Nikolas Kather, Alexander Meining, Alexander Hann, Steffen Palm, Jochen Hampe, Nora Herzog, Franz Brinkmann

涉及的机构(按 PMC 作者信息页):

  • Else Kröner Fresenius Center for Digital Health, TU Dresden(核心)
  • Department of Medicine I, University Hospital Dresden, TU Dresden
  • Interventional and Experimental Endoscopy (InExEn), Department of Internal Medicine II, University Hospital Würzburg(维尔茨堡大学医院)
  • Medical Oncology, National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心)
  • Medical Office for Gastroenterology and Internal Medicine, Dippoldiswalde

关键人物(按学术影响力标记,非论文排序):

  • Jochen Hampe——TU Dresden 胃肠病学与数字健康领域领军学者,Galar 的通讯级负责人,长期领导 EKFZ 内镜 AI 组;
  • Jakob Nikolas Kather——计算病理与医学 AI 领域国际知名学者(TU Dresden + NCT),Hannover/Heidelberg 多机构合作背景,为数据集带来计算病理视角;
  • Alexander Hann——维尔茨堡 InExEn 内镜 AI 方向负责人;
  • Franz Brinkmann——与 Hampe 并列的通讯级作者,主导数据与工程落地。

团队特征是临床内镜医师 + 计算医学科学家 + 数据工程师的跨学科组合——这正是「医学数据集既能保证标注临床有效性、又能保证机器可读工程性」的组织保障。

2.4 伦理合规

  • 伦理批准:University Hospital Carl Gustav Carus at TU Dresden 伦理委员会;
  • 伦理编号:BO-EK-534122022;
  • 批准日期:2022 年 12 月 16 日;
  • 合规声明:符合**赫尔辛基宣言(Declaration of Helsinki)**伦理原则;
  • 知情同意豁免:数据为回顾性匿名化(retrospective anonymization)且采集于临床指征的常规检查(clinically indicated routine interventions),故无需明示知情同意(explicit consent was not required);该豁免由伦理委员会批准、数据保护官(data privacy officer)咨询及地方法共同支撑——具体依据为萨克森州医院法(SächsKHG)第 34 条第 1 款,该条款明确允许此类数据的采集与分析。

去标识流程:为去除可识别信息,团队为录像分配随机生成的 study ID、对视频进行切割(cut),随后转存至大学服务器。这意味着数据集中不含患者姓名、检查日期等直接标识,仅保留在 metadata 中的年龄、性别、胶囊系统三项(论文明示)。

2.5 时间线

时点 事件
2011-08 最早的 VCE 录像采集开始(跨 12 年数据积累起点)
2023-03 最晚的录像采集结束
2022-12-16 伦理委员会批准(BO-EK-534122022)
2024-03-27 论文投稿(Received)
2025-04-29 论文接收(Accepted)
2025-05-20 论文发表(Published,Scientific Data 12:828)
2025(Collection date) 数据集 figshare+ .v1 发布

时间线要点:Galar 的数据积累横跨约 12 年(2011-2023),远超多数医学 AI 数据集的采集窗口。这带来规模与真实世界多样性的同时,也引入了设备代际差异(Olympus Endocapsule 10 到 PillCam SB2/SB3/Colon2)与临床实践演变的混杂——这一点在 §8 局限与 §9 坑点中展开。

2.6 资助与开放获取

论文声明:Open Access funding enabled and organized by Projekt DEAL。Projekt DEAL 是德国高校与研究机构联盟与出版商达成的全国性开放获取协议,覆盖 Springer Nature 等出版方。这解释了论文与数据集均能以 CC BY 开放许可发布——制度性开放获取资助是 Galar 得以大规模公开的前置条件。论文同时按 CRediT(Contributor Roles Taxonomy) 标准逐作者标注贡献,其中多位作者承担 funding acquisition。


§3 数据规模与采集规格(硬数字)

3.1 核心规模四元组

Galar 的规模由四个硬数字共同刻画,本文全文反复引用:

维度 数值
视频数 80 段
逐帧标注帧数 3,513,539 帧
标签类别数 29 类(其中 26 类有实际实例)
数据集总大小 约 580 GB

其中 80 段来自 449 段原始记录的预选:团队只挑选含病理发现(pathological findings)的视频进入标注流程。这一选择策略直接塑造了数据集的性质——Galar 是富集了病理的临床数据,而非无差别的随机抽样,这既提升了病理类样本密度,也可能引入选择偏倚(见 §8)。

3.2 逐系统/逐中心分布(Table 1)

论文 Table 1 给出最细粒度的分布,是核验规模的关键一手数据:

胶囊系统 + 采集中心 分辨率(像素) 帧数 视频数
PillCam™ · University Hospital Dresden 512×512 528,470 38
Olympus™ · University Hospital Dresden 336×336 2,750,514 22
PillCam™ · Dippoldiswalde 512×512 234,555 20
合计 — 3,513,539 80

自洽校验:

  • 帧数:528,470 + 2,750,514 + 234,555 = 3,513,539 ✓(与全数据集帧数精确一致)
  • 视频数:38 + 22 + 20 = 80 ✓

由此可读出几个结构性事实:

  1. 帧数分布极不均衡:Olympus 组仅 22 段视频却贡献 2,750,514 帧(78.3%),而 PillCam 德累斯顿组 38 段视频只占 528,470 帧。说明 Olympus 单段视频的平均帧数与时长远高于 PillCam,或采样帧率不同;
  2. 视频数分布近乎三分:38 / 22 / 20,但帧数占比重心明显偏向 Olympus;
  3. 分辨率二分:Olympus 为 336×336,PillCam 为 512×512——跨系统的图像尺度与视场不同,模型需处理分辨率异构。

3.3 采集设备与时空规格

  • 胶囊系统(两型四款):
    • Olympus™ Endocapsule 10 System(Hamburg,德国);
    • PillCam™ SB2 / SB3 / Colon2 Capsule Endoscopy Systems(Meerbusch,德国);
  • 采集时段:2011 年 8 月 — 2023 年 3 月;
  • 视频分辨率范围:336×336(Olympus)至 576×576(PillCam)——注意正文称上界 576×576,而 Table 1 中 PillCam 实测为 512×512(此差异存照于 §9 坑点);
  • 原始格式:胶囊系统生成专有格式(proprietary data formats),团队转换为 **MPEG(Moving Picture Experts Group)**格式后入库;
  • 帧存储:帧按**时间顺序(chronologically)**存入 Frames 目录的子文件夹。

分辨率口径提示:正文写范围 “336×336 至 576×576”,Table 1 写 PillCam 为 “512×512”。两者并非矛盾——576×576 很可能是个别视频/型号的上界,而 512×512 是 Table 1 统计口径下的常规值。引用时建议以 Table 1 的逐系统值(336/512)为准,并注明正文上界 576。

3.4 数据格式与解压

  • 数据集以 7-Zip(.7z) 格式压缩发布,总大小约 580GB;
  • 用户须先解压才能查看与修改;
  • 论文说明常用操作系统(Windows / Linux / macOS)可借助 archive utility 完成解压;
  • 由于体量巨大(580GB),下载与解压对存储与带宽要求高——这是 Galar 实际使用中的第一大工程门槛。

3.5 数据工程视角的规模换算

把 580GB / 3,513,539 帧做一次换算,可读出 Galar 的工程特征:

  • 平均每帧大小:580 GB ÷ 3,513,539 帧 ≈ 0.165 MB/帧(约 165 KB/帧)。若帧为未压缩或无损 PNG,这一量级与 336×336 至 512×512 分辨率的彩色图相符;
  • 平均每视频帧数:3,513,539 ÷ 80 ≈ 43,919 帧/视频。但该均值掩盖了组间巨大差异(见下);
  • Olympus 组单视频帧数:2,750,514 ÷ 22 ≈ 125,024 帧/视频;
  • PillCam 德累斯顿组单视频帧数:528,470 ÷ 38 ≈ 13,907 帧/视频;
  • PillCam 迪波尔迪斯瓦尔德组单视频帧数:234,555 ÷ 20 ≈ 11,728 帧/视频。

关键推论:Olympus 单段视频的帧数约为 PillCam 的 9-11 倍。若假设两系统帧率相近,则 Olympus 单段录像时长约为 PillCam 的 9-11 倍;若时长相近,则说明 Olympus 帧率远高于 PillCam(即采集时的时间分辨率不同)。无论哪种情形,跨系统的时序密度差异显著——这直接影响时序模型(如 3D CNN、Transformer)在混合数据上的训练,须做时序重采样对齐。

3.6 帧级标注的规模意义

3,513,539 帧逐帧标注是一个被低估的规模事实。对比其他医学视频数据集的标注粒度:

数据集类型 典型标注粒度 Galar 差异
图像分类数据集(如 ImageNet 式) 图像级 Galar 是帧级,粒度更细
抽帧数据集(如 Kvasir-Capsule 47,238 图) 抽帧图像级 Galar 是连续全帧,无抽样丢失
视频段标注数据集 视频片段级 Galar 是逐帧,保留帧间连续性

逐帧(framewise)标注的意义在于:它保留了完整的时序信息,使 Galar 可用于视频理解任务(帧间一致性、事件检测、时序定位),而不止于单帧分类。这也是 Galar 称 “large multi-label video” 而非 “image” 数据集的实质——它是视频数据集,不是图像数据集。

3.7 跨中心/跨系统的真实世界异质性

Galar 的「multicentric + multisystem」不是宣传语,而是可从 Table 1 直接读出的数据事实。异质性体现在四个层面:

  1. 设备厂商异质:Olympus(日本)vs PillCam/Given Imaging(以色列,被 Medtronic 收购);
  2. 成像规格异质:336×336(Olympus)vs 512×512(PillCam),视场角、帧率、色彩处理管线不同;
  3. 临床场景异质:大学医院(住院/复杂病例)vs 门诊诊所(相对常规病例);
  4. 时间代际异质:2011 年的早期设备数据与 2023 年的后期数据混存,设备固件与算法可能跨代演进。

这四重异质性使 Galar 天然成为「域泛化(domain generalization)测试床」——研究者可以在 Galar 上设计跨系统留一(leave-one-system-out)或跨中心留一的实验,评估模型在设备/中心迁移下的鲁棒性。但须注意:论文本身未提供此类评估(见 §8 局限),因此这属于使用者可自发开展的、Galar 支持但论文未验证的研究方向。

3.8 与「只含病理」选择策略的关联

§3.1 已指出:80 段视频是从 449 段记录中只挑含病理者。这一策略的工程含义:

  • 标注成本最优:逐帧标注 351 万帧成本极高,按每帧人工成本计,团队必然希望每一帧都「有信息可标」。纯阴性录像逐帧标注的价值密度低,故被排除;
  • 病理类样本富集:使病理类在数据中出现频次高于真实临床分布,利于模型学习病理特征,但不利于评估真实场景的假阳性率;
  • 负样本仍充分:即便只选病理视频,视频内部仍大量帧为正常黏膜(病理仅占少数帧),因此数据集并非「全阳性」——这一点从 Table 5 的极端不平衡反可佐证(病理帧占比仍极低)。

使用建议:若目标是病灶检出模型的真实世界部署评估,须额外引入真实分布的阴性录像做外部验证;若目标是病理特征学习与表征研究,Galar 的富集策略反而有利。

3.9 数据质量与可复现性评分卡

综合 §3 全部事实,为 Galar 的数据质量与可复现性打分(相对 VCE 数据集生态的横向视角):

维度 事实依据 评价
规模(帧数) 3,513,539 帧,VCE 领域领先 ★★★★★
标注粒度 逐帧,保留完整时序 ★★★★★
标签维度 29 类三组,维度最丰富 ★★★★★
多中心性 两中心(大学医院 + 门诊) ★★★★☆
多系统性 两厂商三型系统 ★★★★☆
许可开放度 CC BY 4.0,论文数据均开放 ★★★★★
规模边界清晰 视频/帧数精确,逐系统可核 ★★★★★
患者级透明 患者数未披露 ★★☆☆☆
划分透明 splits 比例/依据未公开 ★★☆☆☆
标注一致性证据 无量化一致性指标 ★★☆☆☆
类别均衡 3 类零实例 + 极端不平衡 ★★☆☆☆
跨域评测 未提供跨中心/系统评估 ★★☆☆☆

综合判断:Galar 是一个规模、粒度、维度、开放度四项顶尖,但透明度与均衡性两项偏弱的数据集。它的长处(体量 + 多标签 + 开放)足以使其成为 VCE 领域的基础资源;它的短板(患者计数、划分细节、一致性数字)则是引用与部署时必须自行处理的空白。

3.10 两型胶囊系统的技术差异

Galar 使用两厂商的胶囊系统,它们在成像与工作方式上有本质差异,理解这些差异有助于把握数据的异质性来源:

特性 Olympus™ Endocapsule 10 PillCam™ SB2/SB3/Colon2
厂商 Olympus(日本) Given Imaging / Medtronic(以色列)
分辨率(Galar 中) 336×336 512×512
采集中心 德累斯顿大学医院 德累斯顿大学医院 + Dippoldiswalde
Galar 视频数 22 38 + 20 = 58
Galar 帧数 2,750,514 528,470 + 234,555 = 763,025
单视频均帧 ~125,024 ~13,907(德累斯顿)/ ~11,728(门诊)
主要检查部位 小肠(SB 系列)/ 结肠(Colon 系列) 同左

关键差异解读:

  1. 分辨率反转:Olympus 分辨率更低(336×336) 但帧数更多;PillCam 分辨率更高(512×512) 但帧数更少。这一"低分辨率高频 vs 高分辨率低频"的格局,可能反映两系统的设计取向差异(Olympus 更密集采样,PillCam 更高质量单帧);
  2. 帧率假设:若两系统单次检查时长相近(临床 VCE 典型 8 小时左右),则 Olympus 的高帧数意味着更高帧率,PillCam 的高分辨率可能以降低帧率换取——这是成像系统的经典时空权衡(spatiotemporal trade-off);
  3. 多系统价值:正是这一差异,使 Galar 能支撑跨系统泛化研究——模型若只在 PillCam 数据上训练,迁移到 Olympus 数据时面临的正是分辨率与帧率的双重域偏移。

3.11 消化道覆盖范围解读

Galar 的解剖标签(§4.2)揭示了其消化道覆盖范围:

  • 食管、胃、小肠、结肠四段齐全;
  • 结合胶囊类型:PillCam SB 系列(小肠)与 PillCam Colon 系列(结肠)说明数据同时含小肠胶囊与结肠胶囊检查;
  • VCE 的主战场是小肠——这从 small intestine 标签在 Table 4 中 F1 最高(0.93)、mouth 标签 F1 偏低(0.42)可反推:数据集中小肠帧占多数,口腔帧稀少。

覆盖范围的临床意义:Galar 覆盖全消化道(口腔到结肠),因此可用于全消化道阅片 AI 的研发,而非仅小肠。这比只专注小肠的旧数据集更全面,也支持「全段分段检测」任务。

3.12 数据时间戳与时序结构

Galar 的时序结构可从三处理解:

  1. 帧级:Frames 目录内帧按时间顺序命名与存储,支持逐帧时序索引;
  2. 标签级:Labels CSV 的 frame 列将每行标签绑定到具体帧,实现帧-标签对齐——这是时序建模(如帧间事件检测)的基础;
  3. 检查级:每个 study 对应一次完整检查,记录从吞服到排出的全过程(含口腔→食管→胃→小肠→结肠的行程)。

时序建模机会:Galar 的帧-标签对齐结构使其天然适合

  • 时序事件检测(如检测「进入小肠」「发现出血」的时刻);
  • 序列分割(把录像切分为解剖阶段);
  • 时序一致性正则(相邻帧标签应平滑变化,可用于去噪)。

但论文基线未利用任何时序信息(逐帧独立分类),这意味着时序方法在 Galar 上有大量未验证的提升空间——这是 Galar 作为视频数据集最诱人的研究方向。

3.13 数据规模的横向对标

将 Galar 与库内/生态内其他胃肠内镜数据集的规模横向对标,明确其体量位置:

数据集 标注单位 规模量级 标签维度
Kvasir-Capsule 图像 4.7 万图 14 类
SEE-AI 图像 1.8 万图 12 类
VCE-AnomalyNet 图像 10.9 万图 17 病理
ERS Dataset 图像 6 千精确 + 98 万不精确 123
Galar 视频帧 351.4 万帧 29 类三组

对标结论:Galar 在标注数量上比次大的 VCE-AnomalyNet(10.9 万图)高约 32 倍,比 Kvasir-Capsule 高约 74 倍。这一数量级差异是 Galar 核心宣称「most comprehensive」的量化基础。但须注意:数量领先不等于质量全优——Galar 的类别均衡性、标注一致性证据等维度仍弱于某些小数据集(如 Kvasir-Capsule 的单专家标注模式在一致性上更可控)。


§4 标签体系:29 类技术 / 解剖 / 病理标签

Galar 最核心的贡献是它的标签体系。29 个标签被组织为三组,覆盖图像质量评估(技术)、解剖定位(解剖)与病灶识别(病理)三个临床阅片维度。这一分层不是简单的类目堆砌,而是对应医生阅片时的真实认知流程:先判断画面能不能看(技术)→ 再判断镜头到了哪里(解剖)→ 最后判断有没有病灶(病理)。

4.1 技术组(Technical / Functional,5 类)

技术组描述图像质量,共 5 个标签。论文对三类视野标签给出量化判据:

标签 英文 判据(论文原文口径)
良好视野 good view 视野遮挡小于 50%
受限视野 reduced view 视野遮挡大于 50%
无视野 no view 视野遮挡大于 95%
气泡 bubbles 气泡导致图像质量下降
粪渣/污物 dirt 污物导致图像质量下降

关键事实:技术组标签仅覆盖 6 段视频(视频编号 5、8、9、13、14、22),合计标注 35,733 帧。也就是说,80 段视频中只有 6 段做了技术标注——技术组的样本覆盖面远小于解剖组与病理组。使用时须注意这一覆盖不对称。

命名口径存照:论文摘要在描述三组时使用 “functional, anatomical, and pathological”,而 Data preparation 小节具体分组时用 “technical, anatomical, and pathological”。“functional” 与 “technical” 实为同组的两种英文称法(均指图像质量/视野相关标签)。本文为清晰起见统一称 技术组(technical,亦称 functional),并在 §9 存照此口径差异。

4.2 解剖组(Anatomical,9 类)

解剖组覆盖典型地标(landmarks)与消化道分段(sections),帮助定位当前帧所处的解剖位置:

地标(4 类):

标签 英文 中文
Z 线 z-line 齿状线(食管-胃交界标志)
幽门 pylorus 胃-十二指肠交界
Vater 乳头 papilla of Vater 十二指肠乳头(胆胰管开口)
回盲瓣 ileocecal valve 小肠-结肠交界

消化道分段(5 类):

标签 英文 中文
口腔 mouth 口咽部
食管 esophagus 食管
胃 stomach 胃
小肠 small intestine 小肠(VCE 检查的主战场)
结肠 colon 结肠(胶囊结肠镜场景)

解剖组共 9 类。这四大地标恰好是 VCE 阅片中的关键解剖参照点——它们界定了消化道各段的边界,是分段定位与病灶归属判断的基础。

4.3 病理组(Pathological,15 类)

病理组是 Galar 的临床价值核心,收录 VCE 中最常见的病理及部分少见发现,共 15 类:

标签 英文 中文
溃疡 ulcer 溃疡
息肉 polyp 息肉
活动性出血 active bleeding 活动性出血
血液 blood 血液(陈旧/游离血)
红斑 erythema 红斑
糜烂 erosion 糜烂
血管扩张 angiectasia 血管扩张(血管发育异常)
炎症性肠病 inflammatory bowel disease 炎症性肠病(IBD)
异物 foreign body 异物
食管炎 esophagitis 食管炎
静脉曲张 varices 静脉曲张
正铁血红素 hematin 正铁血红素(陈旧出血降解产物)
乳糜泻 celiac 乳糜泻(celiac disease)
癌症 cancer 肿瘤/癌
淋巴管扩张 lymphangiectasis 淋巴管扩张

4.4 标签总数自洽与「29 vs 26」事实

分组计数:技术 5 + 解剖 9 + 病理 15 = 29 类 ✓,与论文宣称的 “29 distinct labels” 精确一致。

关键事实——3 类病理零实例:论文明确声明,esophagitis(食管炎)、varices(静脉曲张)、celiac(乳糜泻)三类在全部视频中零实例(did not occur in any of the videos)。因此:

  • 数据集声明 29 类标签,但实际有实例的仅 26 类;
  • 论文 Fig.1 只展示 26 个标签的示例图像(不含上述三类病理);
  • 论文 Fig.2 展示逐标签帧数分布,三类零实例标签在图中无数据点。

这一「29 声明 / 26 实有」的差异是使用 Galar 时最易踩的坑之一:如果按 29 类构建分类器,会得到 3 个永远为正类样本为空、模型无法学习的标签。使用时须显式排除这 3 类或按「有实例的 26 类」组织任务。

4.5 标签的临床维度意义

Galar 三组标签的临床映射关系:

  • 技术组 → 数据质量控制:可训练「自动图像质量筛选」模型,在人工阅片前剔除无诊断价值的帧(no view/reduced view/bubbles/dirt),直接服务 VCE 阅片耗时问题;
  • 解剖组 → 定位与分段:可训练「消化道分段与地标检测」模型,自动将冗长录像切分为胃/小肠/结肠等分段,并标记 z-line、回盲瓣等关键点;
  • 病理组 → 病灶检出:可训练「病理发现检测」模型,直接辅助医生识别溃疡、出血、血管扩张、息肉等——这是最贴近临床终点的一层。

三组共同构成从「画面可用性 → 解剖归属 → 病灶判定」的完整阅片链条,使 Galar 可用于多任务联合建模,这也是它相对单任务数据集(如只标病灶的 VCE-AnomalyNet 或只标地标的 Kvasir-Capsule)的核心差异。


§5 标注方法与质量控制流水线

5.1 标注工具

Galar 使用 CVAT(Computer Vision Annotation Tool) 进行标注。CVAT 是基于 Web 的开源图像与视频标注工具,支持视频逐帧标注,适合长时间视频序列的密集标注任务。选择 CVAT 的原因在于 Galar 需要逐帧、多标签、带时序的密集标注,而 CVAT 的原生视频标注能力正契合这一需求。

5.2 标注团队构成

标注由**5 名标注员(five annotators)**完成,构成是:

  • 经验丰富的胃肠病学专家(experienced gastroenterologists);
  • 经过培训的医学生(trained medical students)。

这一「专家 + 受训学生」的混合编队是一种吞吐与质量平衡的组织策略:学生承担大规模逐帧标注的主体工作量,专家负责疑难判定与终审。

5.3 三阶段质量控制流水线

论文描述了一套**交叉验证(cross-validation)**机制,可归纳为三阶段:

阶段一 · 初标:5 名标注员在 CVAT 中逐帧标注。对无法识别特征(unrecognizable features)的帧,标注为 unknown。

阶段二 · 病理二次确认:所有标注为病理(pathology)的帧,需经第二标注者确认(secondary annotator)——即病理标签必须双人复核,防止单人的假阳性。

阶段三 · 专家终审:仍保留 unknown 标签的帧,由**一名具备 10 年经验的内镜专家(gastroenterologist with 10 years of experience in endoscopy)**复核并重新标注(relabeled accordingly)。

这一流水线的设计逻辑清晰:病理标签是临床最敏感的维度,故强制双人确认;不确定帧上收至资深专家终审。它体现了医学数据集「高风险标签高冗余、低风险标签高效率」的标注资源分配原则。

5.4 标注质量控制的局限

论文对质检的描述以定性为主,存在两处使用时的注意事项:

  1. 未报告标注者间一致性量化指标:论文仅称 “cross-validated by five annotators”,未给出 κ(kappa)、IoU、F1 等一致性数字。因此无法从论文直接评估标注的可靠性水平,也无法比较不同标签的标注难度。这一点是 Galar 相较某些数据集在方法学透明度上的短板(见 §9 坑点)。
  2. 病理帧双确认的粒度:论文未说明第二标注者是独立盲标还是基于第一标注复核,也未说明分歧如何裁决(是否引入第三裁决者)。这些细节缺失影响对标注不确定性的量化。

5.5 去标识与隐私处理

标注之前,团队完成去标识(de-identification):为录像分配随机生成的 study ID,对视频进行切割,转存至大学服务器。数据集 metadata 仅保留患者年龄、性别、胶囊系统三项,不含姓名、检查日期、病案号等直接标识符。这一流程与 §2.4 的伦理豁免(回顾性匿名化)一致,是可公开发布的前提。

5.6 标注任务的人力成本估算

逐帧标注 3,513,539 帧是一个人力密集型工程。虽然论文未给出标注工时,但可从结构推算其量级:

  • 标注对象:351 万帧,若以每秒 3-5 帧的连续浏览速度标注(真人逐帧判断的合理区间),单遍标注即需 数十万到百万秒级的人工;
  • 5 名标注员并行:团队以 5 人分工摊薄工作量,这也是为何需要受训医学生——专家无法承担全部标注量;
  • 病理帧双复核:病理帧须经第二标注者确认,进一步翻倍了病理部分的人工;
  • unknown 专家终审:不确定帧上收资深专家,形成第三道人工。

结论:Galar 的标注成本结构与多数医学数据集一致——用人力冗余换标注可靠性,而逐帧 + 多标签 + 三级复核的组合使其人力投入处于医学视频数据集的高位。这也是为何 VCE 领域此前缺少如此规模数据集的原因之一:不是没数据,而是标注成本过高。Galar 的价值部分正在于以机构的标注组织能力跨越了这一成本门槛。

5.7 多标签标注的特殊复杂性

Galar 是**多标签(multi-label)**数据集,这一设定带来普通单标签分类所没有的标注复杂度:

(1)标签共现(label co-occurrence)。一帧可同时属于多个标签。典型共现如:

  • 一帧既是 small intestine(解剖)又含 bubbles(技术)又含 ulcer(病理);
  • 一帧既是 stomach(解剖)又为 no view(技术)——此时解剖判定的置信度应打折扣。

(2)标签层级与互斥。部分标签在语义上互斥或强相关:

  • 分段标签(mouth/esophagus/stomach/small intestine/colon)在同一帧的解剖归属上互斥——一帧的镜头只能位于一个消化道段(尽管边界帧可能模糊);
  • 地标标签(z-line/pylorus/papilla of Vater/ileocecal valve)是瞬时过渡事件,出现在相邻段之间;
  • 技术组 good/reduced/no view 三者在遮挡程度上递进但判据有重叠(>50% 与 >95% 的边界处易歧义)。

(3)正类稀少。多标签场景下,每帧的正标签数极少(多为 1-2 个),绝大多数标签-帧对为负。这使多标签分类天然面临稀疏正类问题,在病理维度尤为严重。

(4)标注一致性难保证。多标签的判定比单标签更主观(「这算 reduced view 还是 no view?」),且没有一致性指标(§5.4)来暴露标注分歧——这是 Galar 多标签标注的隐含风险。

使用建议:多标签建模时,建议按标签组分别建模再联合(如解剖用 softmax 多分类、技术/病理用 sigmoid 多标签),而非一律用 29 路 sigmoid——因为解剖分段标签本身存在互斥结构,用多分类更符合解剖语义。

5.8 标注流水线与其他 VCE 数据集的方法学对比

将 Galar 的标注流程置于 VCE 数据集生态中对比,可凸显其方法学定位:

维度 Kvasir-Capsule Galar
标注单位 图像(抽帧) 视频逐帧
标注工具 定制/专家 CVAT(开源标准工具)
标注人数 1 名胃肠专家 5 名(专家 + 受训学生)
质量机制 单人专家标注 多人交叉验证 + 病理性双确认 + 专家终审
一致性报告 未强调 未报告量化指标(与 Kvasir 同类短板)
标签维度 3 地标 + 2 技术 + 9 病理 = 14 29 类三组

对比结论:Galar 在标注人数与质控层级上明显高于 Kvasir-Capsule 的单专家模式,这是「多中心大规模数据集」与「单中心数据集」在标注组织上的必然差异。但两者均未报告标注者间一致性量化指标——这是 VCE 数据集领域的共性方法学缺口,而非 Galar 独有。

5.9 病理标签的临床详解

Galar 病理组 15 类标签对应 VCE 阅片中最重要的病变谱系,逐类说明其临床意义有助于正确使用:

出血相关(3 类):

  • active bleeding(活动性出血)——正在流出的血液,是 VCE 最重要的急诊指征,对应「不明原因消化道出血」的即时发现;
  • blood(血液)——陈旧或游离的血,提示近期出血,未观察到活动性出血源;
  • hematin(正铁血红素)——血液降解产物(黑褐色),提示既往出血,时间上早于 blood。

三者构成出血的时间序列:active bleeding(现在)→ blood(较近)→ hematin(较久)。这一时序关系是时序建模可 exploited 的先验。

血管病变(2 类):

  • angiectasia(血管扩张)——小肠血管发育异常,是不明原因出血的常见原因,老年患者多见;
  • erythema(红斑)——黏膜充血发红,可能为炎症早期或轻度刺激。

黏膜缺损(2 类):

  • ulcer(溃疡)——黏膜深层缺损,克罗恩病、NSAID 相关溃疡的典型表现;
  • erosion(糜烂)——较溃疡浅的黏膜缺损。

增生/新生物(2 类):

  • polyp(息肉)——黏膜隆起,结肠胶囊检查的重点;
  • cancer(癌症)——恶性肿瘤,VCE 中相对少见但临床意义重大。

炎症与结构异常(3 类):

  • inflammatory bowel disease(炎症性肠病)——克罗恩病/溃疡性结肠炎相关表现,小肠克罗恩是 VCE 的核心适应证之一;
  • lymphangiectasis(淋巴管扩张)——小肠淋巴管扩张,可见于蛋白丢失性肠病;
  • foreign body(异物)——吞入的异物。

零实例病理(3 类):

  • esophagitis(食管炎)、varices(静脉曲张)、celiac(乳糜泻)——设计时纳入但数据中未出现。三者均与食管/上消化道或特定病变相关,零实例可能反映:数据集中于小肠/结肠(食管相关病变少)、或该病理在样本人群中本就罕见。

使用提示:出血三标签的时序先验、ulcer/erosion 的深度层级、polyp/cancer 的增生谱系,都是可注入模型的结构先验(如层次分类、时序约束),有助于缓解样本稀有带来的学习困难。


§6 许可、获取与数据结构

6.1 许可:CC BY 4.0

Galar 数据集采用 Creative Commons Attribution 4.0 International(CC BY 4.0) 许可。论文原文表述:

“By licensing the dataset under a Creative Commons Attribution 4.0 International (CC BY 4.0) License which allows sharing, copying, and redistribution, as well as adaptation and transformation, we hope to advance research in the field.”

CC BY 4.0 是最宽松的 CC 许可之一,允许:

  • 共享(sharing)——任意媒介复制与再分发;
  • 复制(copying);
  • 再分发(redistribution);
  • 改编与转换(adaptation and transformation)——可修改、派生、商用;

唯一条件是署名(Attribution):使用者须给出适当署名、提供许可链接、并说明是否作了修改。

双重许可提示:需要注意区分两个许可对象——

  1. 数据集本体(figshare+ 上的 580GB 数据):CC BY 4.0;
  2. 论文本体(Scientific Data 12:828):亦为 CC BY 4.0(Open Access,© The Author(s) 2025)。

两者同为 CC BY 4.0,因此 Galar 在论文与数据层面均无障碍开放,这是它相较许多「论文开放、数据请求制」数据集的显著优势(对比库内 PANDA-PLUS 的注释掩码请求制)。

6.2 获取渠道

对象 渠道 标识
数据集本体 figshare+ 公开仓库 DOI 10.25452/figshare.plus.25304616.v1
论文 Scientific Data / PMC DOI 10.1038/s41597-025-05112-7;PMC12092661
技术验证代码 GitHub 公开仓库 EKFZ-AI-Endoscopy/GalarCapsuleML

数据集以 7-Zip(.7z) 压缩包形式发布,总大小约 580GB,须解压后使用。

抓取限制说明:本文撰写时,figshare+ 仓库页面在沙箱环境中两次尝试均无法访问(返回空/超时)。因此数据集页内的精确文件清单与页面级 license 标签未能实抓,许可信息以论文正文的一手声明(CC BY 4.0)为准。此限制写入 §9 遗留疑点,供后续核验。

6.3 目录结构与数据组织(Fig. 3)

Galar 的数据组织简洁清晰,顶层含两个主目录:

Galar/
├── Frames/          # 帧目录
│   ├── <study_ID_1>/
│   │   ├── frame_000001.png ...
│   │   └── ...
│   └── ...
├── Labels/          # 标签目录
│   ├── <study_ID_1>.csv
│   └── ...
└── metadata         # 逐 study 元数据文件

Frames 目录:帧按**时间顺序(chronologically)**存放于以 study 为单位命名的子文件夹中。每个 study 对应一段 VCE 视频,其全部帧按录制时序排列。

Labels 目录:每个 study 一个 CSV 文件。CSV 表头结构为:

index, <label_1>, <label_2>, ..., <label_29>, frame

即:以 index 列开头 → 中间为 29 个标签列 → 以 frame 列结尾(frame 列指向该行标签所属的对应帧)。这种「宽表 + 帧索引」结构直观地支持逐帧多标签查询——某帧属于哪些标签,即查该行哪些标签列为正。

metadata 文件:逐 study 提供胶囊系统、患者年龄、性别三项信息,用于按人口学或设备维度做分析与划分。

6.4 数据划分(splits)

论文说明数据集提供了数据划分(splits),并特别提示「在生成划分时需考虑某些因素」(论文提及划分生成时所用考量,暗示划分不是随机切分,而可能保持患者/视频级不重叠)。但论文未在正文给出训练/验证/测试的具体比例或划分文件清单——这一点是使用时的信息缺口(见 §9)。


§7 技术验证与基准结果

7.1 验证方法

为证明数据集可用性,论文采用迁移学习范式做技术验证:以 ResNet-50 为骨干,在各标签组上分别微调,观察不同任务的可学习性。

  • 模型:ResNet-50(ImageNet 预训练后微调);
  • 任务配置:
    • 技术组 bubbles/dirt → 多标签二分类;
    • 技术组 good view/reduced view/no view → 多分类;
    • 解剖组分段 → 多分类;
    • 病理组/兴趣点 → 多模型各自微调;
  • 指标:F1、AUROC(Area Under the Receiver Operating Characteristic Curve)、准确率(Accuracy);
  • 计算库:TorchMetrics v1.0.3;
  • 交叉验证:多数任务按 5 折交叉验证平均结果,病理/兴趣点任务按 2 折平均。

7.2 Table 2:气泡与污物(bubbles / dirt)

标签 F1 AUROC Accuracy
bubbles 0.89 0.87 0.82
dirt 0.88 0.94 0.88
macro 平均 0.88 0.90 0.85
micro 平均 0.89 — 0.85

解读:气泡与污物是视觉特征显著、样本充足的图像质量问题,模型表现良好(F1 0.88-0.89),说明技术组的低阶图像质量问题易于学习。

7.3 Table 3:视野等级(good / reduced / no view)

标签 F1 AUROC Accuracy
good view 0.88 0.88 0.87
reduced view 0.41 0.85 0.47
no view 0.33 0.91 0.29
macro 平均 0.54 0.88 0.54
micro 平均 0.79 — 0.79

解读:轻重度视野受限(reduced/no view)的 F1 显著低于 good view(0.41/0.33 vs 0.88)。这暴露了类别不平衡 + 边界模糊问题:good view 占绝对多数,而 reduced/no view 样本稀少且与 good view 的界线(遮挡 50%、95% 阈值)在连续图像上难以稳定判定。注意 AUROC 仍高(0.85-0.91)——说明模型有区分能力,但固定阈值下的分类表现差,提示实际应用中需针对阈值调优。

7.4 Table 4:消化道分段(mouth / esophagus / stomach / small intestine / colon)

标签 F1 AUROC Accuracy
mouth 0.42 1.00 0.75
esophagus 0.65 1.00 0.73
stomach 0.78 0.93 0.93
small intestine 0.93 0.95 0.92
colon 0.75 0.96 0.72
macro 平均 0.71 0.96 0.81
micro 平均 0.89 — 0.89

解读:解剖分段任务表现最均衡且最好——small intestine 准确率 92%、stomach 准确率 93% 是全文最高值。这一结果符合直觉:消化道各段的视觉(黏膜纹理、腔道形态)差异显著,且样本分布相对均匀。mouth F1 偏低(0.42)反映口腔帧样本稀少(VCE 主要观测小肠)。论文总结称分段模型表现 “decently”(体面/尚可)。

7.5 Table 5:病理与兴趣点(多模型各自微调)

标签 F1 AUROC Accuracy
blood 0.14 0.87 0.98
pylorus 0.01 0.74 0.99
z-line 0.02 0.87 1.00
ulcer 0.00 0.44 0.99
polyp 0.05 0.73 1.00
erythema 0.02 0.70 1.00

(结果按 2 折交叉验证平均)

解读:这是全文最刺眼的一张表。所有病理/兴趣点标签的 F1 介于 0.00 至 0.14——ulcer 甚至为 0.00。与之形成强烈反差的是准确率极高(0.98-1.00)。这一「高准确率、零 F1」的现象是极端类别不平衡的经典表现:

  • 病理帧在 351 万帧中占比极低(例如 ulcer 可能仅数百帧);
  • 模型退化为全预测为负类即可获得 99%+ 准确率,但正类 F1 归零;
  • AUROC 尚有区分度(0.44-0.87),说明模型并非完全无信息,而是决策阈值被不平衡主导。

这一结果不是 Galar 的缺陷,而是它要揭示的真实难题:VCE 罕见病理检测本质上是长尾、极端不平衡问题,现有朴素微调(ResNet-50 + 标准交叉熵)远不足以解决。Galar 通过公开这一负结果,为后续研究设定了明确的方法学靶点——需要重采样、代价敏感损失、异常检测或基础模型等更强手段。

7.6 基准结论与数据集定位

综合四张表,论文的验证结论可概括为:

  1. 图像质量类(技术组低阶)任务可行性高(F1 ~0.88);
  2. 视野等级类任务受类别不平衡拖累(macro F1 0.54);
  3. 解剖分段类任务表现最佳(micro F1 0.89,准确率最高 93%);
  4. 病理/兴趣点类任务仍是开放难题(F1 ≈ 0,AUROC 有意义)——这正是 Galar 希望推动攻克的方向。

论文据此把 Galar 定位为「primed for application in the field of machine learning」(为机器学习应用做好准备)的大规模、多标签、多中心、多系统 VCE 资源,其价值在于同时提供规模、标注维度与真实难度。

7.7 「高准确率、零 F1」现象的深度解读

Table 5 的病理结果值得单独剖析,因为它揭示了 VCE AI 的核心困境:

现象:ulcer 准确率 0.99 但 F1 = 0.00;polyp 准确率 1.00 但 F1 = 0.05;z-line 准确率 1.00 但 F1 = 0.02。

成因:

  1. 极端负类主导。假设 z-line 仅出现在 0.1% 的帧中(3,513,539 × 0.1% ≈ 3,514 帧),则模型全部预测为负类即可获 99.9% 准确率,但正类召回为 0,F1 为 0;
  2. 固定 0.5 阈值失效。标准二分类以 0.5 为默认阈值,在极端不平衡下最优阈值远低于 0.5(需显著偏向正类召回),论文未做阈值调优,故 F1 崩塌;
  3. 交叉熵损失偏向多数类。标准交叉熵在负类占绝对多数时,梯度被负类支配,模型收敛到保守的负预测;
  4. AUROC 仍有效(0.44-0.87)表明模型潜表征含正类信息,只是决策边界未被正确标定。

研究启示(Galar 通过公开此负结果给出的方法学方向):

  • 损失层面:Focal Loss、类别加权交叉熵、Dice Loss 等代价敏感方法应可显著改善 F1;
  • 采样层面:正类过采样、负类欠采样、难例挖掘可缓解不平衡;
  • 阈值层面:按各标签单独校准阈值(如最大化 F1 或满足召回约束),远比固定 0.5 有效;
  • 范式层面:VCE 病理检测本质接近异常检测(anomaly detection)或长尾识别(long-tailed recognition),而非平衡多分类——异常检测范式(如仅用正常帧建模、病理作为偏离)可能更契合临床(因为阳性本就罕见);
  • 基础模型层面:采用医学视频基础模型或自监督预训练,可能比 ImageNet 预训练的 ResNet-50 更适合。

Galar 的这一负结果,比正结果更有价值:它用真实数据量化了 VCE 病理 AI 的现状鸿沟,为后续研究设定了可复现的起点基线与明确的改进靶点。

7.8 验证方法的方法学评价

对论文技术验证的方法学,客观评价如下:

优点:

  • 按标签组分别建模,符合标签语义结构(多分类 vs 多标签);
  • 报告 F1 / AUROC / Accuracy 三指标,比单一准确率更全面;
  • 使用 5 折交叉验证(多数任务),结果较稳健;
  • 代码公开(GalarCapsuleML),可复现;
  • 公开负结果(病理 F1≈0),未粉饰。

局限:

  • 骨干单一(仅 ResNet-50),未尝试现代视频/时序架构(3D CNN、Video Transformer);
  • 未做时序建模,逐帧独立分类,浪费了视频的时序信息——这是 Galar 作为视频数据集的核心价值所在,却是基线未利用的;
  • 未做不平衡处理,暴露了问题但未给出改进方案;
  • 病理任务仅 2 折,统计稳健性弱于 5 折;
  • 未报告置信区间,无法判断指标差异的显著性。

评价:技术验证的定位是**「证明数据集可学」而非「给出 SOTA」——从这个目标看它完成了任务(技术/解剖组可学,病理组暴露难度)。但它未充分利用 Galar 的视频属性**,留下了「如何用时序信息提升病理检测」这一重大开放问题,而这正是 Galar 相对图像数据集的独特价值所在。

7.9 可复现性清单

使用 Galar 复现或超越论文基线的关键要素:

要素 论文提供 获取方式
数据 ✅ figshare+ DOI 10.25452/figshare.plus.25304616.v1
帧文件 ✅ Frames/ 目录(7-Zip 解压)
标签 CSV ✅ Labels/ 目录(逐 study)
元数据 ✅ metadata 文件
划分 部分(称提供但细节未公开) 需确认
预训练骨干 ✅ ResNet-50(ImageNet,标准可得)
训练代码 ✅ github.com/EKFZ-AI-Endoscopy/GalarCapsuleML
指标库 ✅ TorchMetrics v1.0.3
超参数 未在正文详列 需查代码仓
随机种子 未公开 需查代码仓

复现要点:数据无许可障碍(CC BY 4.0),代码公开,骨干标准——复现的技术门槛主要在工程(580GB 数据管线)而非方法。建议复现者优先解决数据加载效率(用 WebDataset/LMDB/流式读取),并从解剖分段任务入手(最易复现且指标最高)验证管线正确性,再挑战病理任务。

7.10 论文基线与「理想基线」的差距

把论文基线与一个理想化基线对照,可清晰看到改进空间:

维度 论文基线(ResNet-50 逐帧) 理想基线(可用 Galar 支持)
输入单元 单帧 帧 + 时序窗口(clip)
架构 2D ResNet-50 3D CNN / Video Transformer / 帧+时序融合
预训练 ImageNet 医学视频自监督 / 医学基础模型
类别不平衡 未处理(标准交叉熵) Focal Loss / 重采样 / 代价敏感
阈值 固定 0.5 逐标签校准
任务结构 逐标签独立 层次/多任务联合(利用标签依赖)
域泛化 未评估 跨系统/跨中心留一
一致性 未利用时序 时序平滑正则

差距判读:论文基线在每一个维度上都留了改进余地,且 Galar 的数据结构支持全部这些改进(逐帧 + 时序 + 多系统 + 多标签)。这意味着 Galar 的实际研究价值远超论文基线所展示的水平——它是一块已被证明可学、但远未被充分挖掘的富矿。

7.11 三个基准任务的推荐评估协议

为便于后续研究可比,建议对 Galar 三类任务采用下述评估协议:

任务 A · 解剖分段(多分类)

  • 指标:macro-F1、micro-F1、准确率、混淆矩阵(关注相邻段混淆,如 stomach/small intestine 边界);
  • 划分:按 study(视频)划分,避免同视频帧跨集;
  • 基线目标:micro-F1 ≥ 0.89(论文水平)。

任务 B · 图像质量(多分类 + 多标签)

  • 指标:view 用 macro-F1,bubbles/dirt 用 F1 + AUROC;
  • 注意:仅 6 视频有技术标注,评估须明确子集;
  • 基线目标:bubbles/dirt F1 ≥ 0.88。

任务 C · 病理检测(长尾多标签)

  • 指标:逐标签 F1 / AP(average precision),禁用准确率;
  • 建议:报告 AUROC(有区分度)与 F1(决策质量)双指标;
  • 基线目标:超越论文 F1≈0(任何正 F1 即是改进);
  • 进阶:报告 per-label 阈值校准后的 F1。

7.12 验证结果的临床可解释性反思

论文的验证是纯技术性的(F1/AUROC),未涉及临床可解释性。但 Galar 的标签体系本身支持临床可解释的输出:

  • 解剖定位可转译为「胶囊当前位于小肠中段」的临床语言,医生可理解;
  • 质量标签可转译为「此段录像质量差,建议复查」的操作建议;
  • 病理标签可转译为「疑似血管扩张,建议重点复核第 X 分钟」的阅片提示。

这提示 Galar 的临床落地路径:不是做「黑箱诊断」,而是做阅片助手(reading assistant)——自动分段 + 质量筛选 + 可疑帧提示,把医生的注意力引导到关键帧。这一路径技术门槛低、临床风险小、价值直接,是 Galar 最现实的临床转化方向(相比直接做病理诊断)。


§8 局限、伦理与适用边界

8.1 数据层面的局限

(1)患者级计数缺失。论文只给出 80 段视频与 3,513,539 帧,未披露确切患者人数。这意味着:

  • 无法判断是否存在同一患者的多段视频(若存在,随机划分会导致患者级数据泄漏,虚高测试性能);
  • 无法评估数据集的人群多样性(80 段视频可能来自远少于 80 名患者,也可能来自更多);
  • 使用者无法自行验证划分的患者独立性。

这是 Galar 在方法学透明度上最需要警惕的一点。

(2)极端类别不平衡与零实例标签。病理组 15 类中:

  • 3 类(esophagitis/varices/celiac)全数据集零实例——无法训练任何检测器;
  • 其余病理类中,ulcer、polyp、erythema 等在 351 万帧中占比极低,导致 Table 5 中 F1 归零。

(3)技术标签覆盖不全。技术组仅覆盖 6 段视频(编号 5/8/9/13/14/22)、合计 35,733 帧。若使用者想训练图像质量评估模型,可用样本远小于数据集宣称规模。

(4)采集异质性与长时段。数据横跨 2011-2023(约 12 年)、两中心、三型胶囊系统(Olympus + PillCam SB2/SB3/Colon2),并涉及不同分辨率(336×336 与 512×512)。这些差异构成:

  • 设备代际混杂(不同年代的成像质量与算法处理不同);
  • 中心实践差异(大学医院 vs 门诊诊所的检查流程/患者群体不同);
  • 分辨率异构(需预处理统一)。

论文未提供跨中心/跨系统的泛化评估,因此跨域鲁棒性仍属未知。

(5)选择偏倚。80 段视频是从 449 段记录中只挑含病理的视频选出。富集病理提升了病理类密度,但使数据分布偏离真实临床人群(真实 VCE 中大量检查为阴性)。用 Galar 训练的模型在真实阴性为主的场景下可能产生高假阳性。

8.2 标注层面的局限

  • 未报告标注者间一致性:论文仅定性称 5 人交叉验证,无 κ/IoU/F1 数字,无法量化标注可靠性;
  • 病理双确认细节缺失:第二标注者是否盲标、分歧如何裁决未说明;
  • unknown 标签的最终归属:论文描述 unknown 帧经专家重标,但未给出 unknown 的最终残留量。

8.3 伦理与隐私

  • 伦理批准完备:BO-EK-534122022,符合赫尔辛基宣言;
  • 知情同意豁免依据充分:回顾性匿名化 + 临床指征常规检查 + SächsKHG §34 第 1 款;
  • 去标识到位:随机 study ID、视频切割、仅保留年龄/性别/胶囊系统;
  • 残余风险:年龄+性别+胶囊系统+罕见病理的组合,理论上存在**再识别(re-identification)**的微弱风险,但论文的伦理与数据保护审查已覆盖此点。

8.4 适用边界建议

使用场景 适配性 注意
消化道分段/地标检测 高(micro F1 0.89) 直接可用,表现最佳
图像质量筛选(气泡/污物) 高(F1 ~0.88) 注意技术标签仅 6 段视频
视野等级分类 中(macro F1 0.54) 需处理类别不平衡与阈值调优
罕见病理检测 低(当前) F1≈0,属开放难题,需强方法
跨中心/跨设备泛化评测 待验证 论文未提供此类评估
临床部署前验证 不建议直接用 选择偏倚 + 患者计数缺失

§9 坑点清单(使用 Galar 必读)

以下「坑 N」为实践踩坑总结,编号制,共 8 条。

坑 1:把「29 类标签」当作「29 个可训练类别」。
数据集宣称 29 类,但 esophagitis、varices、celiac 全数据集零实例,Fig.1 只展示 26 个标签。若按 29 类建分类头,将得到 3 个永远为空的正类,训练时产生无意义梯度或损耗。正确做法:显式按「有实例的 26 类」组织(或明确处理零实例类)。

坑 2:忽视极端类别不平衡,直接用准确率评估。
Table 5 中病理标签准确率高达 0.98-1.00 但 F1 仅 0.00-0.14。若只看准确率会误判模型「很好」,实则模型退化为全负预测。评估病理任务必须用 F1/AUROC/PR-AUC,准确率在此毫无意义。

坑 3:误以为 80 段视频 = 80 名患者。
论文未披露患者数。视频数与患者数可能不等。做划分时若按视频随机切分,可能同一患者的帧跨训练/测试集,造成数据泄漏。务必先确认患者级分组(可能需要向作者求证 study ID 与患者映射)。

坑 4:技术标签覆盖被夸大。
技术组(good/reduced/no view/bubbles/dirt)仅 6 段视频、35,733 帧。宣传「80 视频」时容易默认所有标签都覆盖全部视频。技术任务的实际可用样本远小于总体。

坑 5:忽略分辨率异构直接喂模型。
Olympus 为 336×336、PillCam 为 512×512,正文另称上界 576×576。不同分辨率混训需统一上采样/下采样,否则模型对尺度敏感。预处理阶段必须先对齐分辨率。

坑 6:混淆「functional」与「technical」两组名,误以为有四组标签。
论文摘要用 “functional, anatomical, pathological”,正文用 “technical, anatomical, pathological”。functional 与 technical 是同一组(图像质量相关)。不要因命名差异而误判标签分组数量。

坑 7:低估 580GB 的工程门槛。
数据集为 7-Zip 压缩、约 580GB,解压后更大。下载、解压、存储、读取全链路对磁盘与 I/O 要求极高。逐帧读取 351 万帧需高效数据管线(如 LMDB/WebDataset/流式加载),朴素文件遍历会成瓶颈。

坑 8:默认 split 已保证患者独立。
论文仅称「提供了 splits」,未公开划分比例与依据。若研究者直接沿用而不知划分逻辑,可能引入隐性泄漏(尤其若划分按帧而非按视频/患者)。使用官方 split 前应向作者确认其隔离粒度。

9.1 DAIMS 映射表(Data & AI Maturity/Management 视角)

DAIMS 维度 Galar 现状 评级
数据来源可溯(Provenance) 两中心、2011-2023、明确胶囊型号 强
许可清晰(Licensing) CC BY 4.0,论文+数据一致 强
获取可及(Accessibility) figshare+ 公开直链(580GB 体量门槛) 中
标注文档(Annotation Docs) 三组标签定义清晰、有量化判据 强
标注质量证据(Annotation QA) 5 人交叉验证但无一致性数字 中
元数据完整(Metadata) 年龄/性别/胶囊系统;缺患者计数 中
划分透明(Splits) 提供但比例/依据未公开 弱
类别均衡(Class Balance) 极端不平衡 + 3 类零实例 弱
跨域评估(Cross-domain) 未提供跨中心/跨系统评测 弱
基线可复现(Baselines) ResNet-50 + TorchMetrics 可复现 强

§10 与千方病案医数集内相关条目的关系

Galar 属千方病案医数集(qianfanghub)胃肠道内镜影像生态。库内可互链条目如下(rid 为数据库记录号):

10.1 首选互链(VCE 同类)

  • kvasir-capsule(rid 123)——最相关。Kvasir-Capsule 是挪威 Simula 发布的胶囊内镜数据集(47,238 标注图像,3 地标 + 2 技术 + 9 病理),是 Galar 论文 Table 6 中的直接对比对象。两者构成**「图像抽帧 vs 完整视频」「单中心 vs 多中心」「挪威 vs 德国」的对照组合,建议双向强互链**。

10.2 Kvasir 家族(挪威胃肠内镜生态)

  • hyperkvasir(rid 693)——Kvasir 系列最大规模胃肠内镜图像集;
  • kvasir-hyperkvasir(rid 75)——Kvasir 与 HyperKvasir 联合视图;
  • kvasir-instrument(rid 213)——内镜器械分割;
  • kvasir-seg(rid 112)——息肉分割。

10.3 内镜/手术视频同类

  • gastrovision(rid 203)——胃肠内镜多类图像集;
  • gastroendonet(rid 780)——胃肠内镜网络;
  • endoscapes(rid 353)——腹腔镜手术场景;
  • endoslam(rid 408)、slam-3d-endoscopic(rid 82)——内镜 SLAM/3D 重建;
  • endomapper(rid 428)——内镜建图;
  • endovis-challenges(rid 79)——EndoVis 挑战。

10.4 结直肠/息肉内镜同类

  • ldpolypvideo(rid 163)——息肉视频数据集(视频维度与 Galar 最接近的结直肠同类);
  • polypdb(rid 779)、polypgen(rid 183)——息肉检测/泛化;
  • real-colon(rid 778)——结肠镜真实世界数据;
  • cvc-colondb(rid 142)——结肠镜视频数据库;
  • bkai-igh-neopolyp(rid 84)——息肉分割。

10.5 结直肠病理(跨模态互链)

  • nct-crc-he-100k(rid 148)——结直肠癌 H&E 病理图像(NCT 出品)——与 Galar 同属消化道疾病,可做内镜-病理跨模态互链。

10.6 建议互链结构

  • 强互链(双向):kvasir-capsule(123)——同为 VCE,方法学直接可比;
  • 中互链(单向推荐):ldpolypvideo(163)、gastrovision(203)、hyperkvasir(693)——视频/胃肠内镜生态;
  • 弱互链(生态提示):其余息肉/内镜/病理条目按「胃肠道影像」主题聚合。

外链生态:GitHub EKFZ-AI-Endoscopy/GalarCapsuleML;论文对比数据集 Kvasir-Capsule、Rhode Island、AI-KODA、VCE-AnomalyNet、ERS Dataset、SEE-AI。


§11 双口径冲突存照与遗留疑点

11.1 双口径冲突(逐条存照)

存照 1 · 标签组命名(functional vs technical)
论文摘要与引言称三组为 “functional, anatomical, and pathological”;Data preparation 小节具体分组称 “technical, anatomical, and pathological”。二者指同一图像质量组,29 标签总数一致。全文以「技术组(technical,亦称 functional)」并列称法,非实质冲突。

存照 2 · 标签总数 vs 有实例数(29 vs 26)
数据集宣称 29 类标签,但 esophagitis、varices、celiac 3 类零实例,Fig.1 仅展示 26 个标签示例图。全文明确「29 声明 / 26 实有」,并在局限与坑点中双处提示。

存照 3 · 分辨率范围上界(576 vs 512)
论文正文称分辨率范围 “336×336(Olympus)至 576×576(PillCam)”;Table 1 中 PillCam 两中心均记 512×512。判读:576×576 或为个别视频/型号上界,512×512 为 Table 1 统计口径常规值。引用以 Table 1 逐系统值(336/512)为主,并注明正文上界 576。

存照 4 · 视频数与帧数分布(视频三分 vs 帧数偏斜)
视频数分布近三分(38/22/20),但帧数高度偏斜(Olympus 22 段占 2,750,514 帧,78.3%)。非冲突,但需并用两个口径理解数据构成——按视频数看均衡,按帧数看严重偏向 Olympus。

11.2 遗留疑点(待后续核验)

疑点 1 · figshare+ 仓库页不可达
本文撰写时 figshare+ 仓库页(doi.org/10.25452/… 与 figshare.plus.figshare.com)在沙箱两次访问均失败(返回空/超时)。数据集页内 license 标签与精确下载文件清单未实抓;许可信息以论文正文 CC BY 4.0 一手声明为准,figshare+ 页内标签待核。

疑点 2 · 患者级计数未披露
论文仅给 80 视频 / 3,513,539 帧,未给患者总数。patient_count 字段只能记「80 段视频(患者级计数未披露)」。

疑点 3 · 数据划分细节缺失
论文称提供 splits,但未公开训练/验证/测试比例、划分脚本与隔离粒度(帧级/视频级/患者级)。

疑点 4 · 标注者间一致性无量化
论文仅定性描述 5 人交叉验证,未给 κ/IoU/F1 等一致性指标;unknown 标签的最终残留量亦未报告。

疑点 5 · GalarCapsuleML 代码仓内容未实抓
仅从论文 Code availability 得仓库 URL,实际代码结构、模型权重与复现脚本未验证。

疑点 6 · 数据集页 metadata 字段细节
论文称 metadata 含年龄/性别/胶囊系统,但字段单位与缺失值处理方式(如年龄区间、性别取值)未详述。


附录 A · 数据集速查卡

项目 内容
名称 Galar — a large multi-label video capsule endoscopy dataset
slug galar
论文 Scientific Data 12:828(2025);DOI 10.1038/s41597-025-05112-7
数据集 DOI 10.25452/figshare.plus.25304616.v1
PMID / PMCID 40394033 / PMC12092661
主管机构 Else Kröner Fresenius Center for Digital Health, TU Dresden
采集中心 University Hospital Carl Gustav Carus(德累斯顿)+ Dippoldiswalde 诊所
视频数 80 段(自 449 段预选,仅含病理)
帧数 3,513,539 帧(逐帧标注)
标签数 29 类(26 类有实例):技术 5 / 解剖 9 / 病理 15
总大小 约 580 GB(7-Zip 压缩)
采集时段 2011-08 至 2023-03
胶囊系统 Olympus™ Endocapsule 10;PillCam™ SB2/SB3/Colon2
分辨率 Olympus 336×336;PillCam 512×512(正文上界称 576×576)
标注工具 CVAT
标注员 5 名(胃肠专家 + 受训医学生)
格式 MPEG 帧 + 逐 study CSV 标签 + metadata
许可 CC BY 4.0
伦理编号 BO-EK-534122022
代码仓 github.com/EKFZ-AI-Endoscopy/GalarCapsuleML

附录 B · 29 标签全清单(中英对照)

技术组(5):good view(良好视野)/ reduced view(受限视野)/ no view(无视野)/ bubbles(气泡)/ dirt(污物)

解剖组(9):z-line(Z 线)/ pylorus(幽门)/ papilla of Vater(Vater 乳头)/ ileocecal valve(回盲瓣)/ mouth(口腔)/ esophagus(食管)/ stomach(胃)/ small intestine(小肠)/ colon(结肠)

病理组(15):ulcer(溃疡)/ polyp(息肉)/ active bleeding(活动性出血)/ blood(血液)/ erythema(红斑)/ erosion(糜烂)/ angiectasia(血管扩张)/ inflammatory bowel disease(炎症性肠病)/ foreign body(异物)/ esophagitis(食管炎,零实例)/ varices(静脉曲张,零实例)/ hematin(正铁血红素)/ celiac(乳糜泻,零实例)/ cancer(癌症)/ lymphangiectasis(淋巴管扩张)

附录 C · 引用与来源

  1. Le Floch M, Wolf F, McIntyre L, et al. Galar - a large multi-label video capsule endoscopy dataset. Scientific Data. 2025;12:828. doi:10.1038/s41597-025-05112-7
  2. PubMed Central 全文 PMC12092661(本文数据事实主源)
  3. PubMed 40394033
  4. 数据集仓库:figshare+ doi:10.25452/figshare.plus.25304616.v1
  5. 代码仓库:github.com/EKFZ-AI-Endoscopy/GalarCapsuleML

C.1 三源互证说明

本条目核心事实经三源互证:

  • 源一(一手全文):PMC12092661 全文(curl 带 User-Agent 实抓 171KB HTML),提供 Table 1-6、标签清单、伦理编号、机构作者等全部硬事实;
  • 源二(文献索引):PubMed 40394033 与 DOI 10.1038/s41597-025-05112-7,确认论文元数据(期刊、卷期、DOI、PMID/PMCID);
  • 源三(机构编目):莱比锡大学图书馆(katalog.ub.uni-leipzig.de)与海德堡大学图书馆编目,交叉确认出版信息(Scientific Data 12(2025), Article 828, published 20 May 2025)。

三源在规模数字(80 视频 / 3,513,539 帧 / 29 标签)、DOI、机构、出版日期上完全一致,无冲突。仅**标签组命名(functional vs technical)与分辨率上界(576 vs 512)**存在论文内部口径差异,已逐条存照于 §11。

C.2 抓取方法与限制

  • 抓取工具:WebSearch(1 次)+ curl(带 User-Agent 抓 PMC)+ WebFetch(figshare+ 尝试);
  • 网络预算:WebSearch ≤3、WebFetch ≤6 纪律内执行;figshare+ 两次失败后不 loop,转记遗留疑点(§11.2 疑点 1);
  • 数据源料:PMC 全文 HTML 落盘解析(/tmp/galar_pmc.txt),全部数字来自论文表格,未做二次推算(换算类如 §3.5 帧数均值已标注为"推算")。

附录 D · 面向不同用户的使用指南

D.1 面向机器学习研究者

第一周该做什么:

  1. 先读论文 §Data Records 与 Fig.3,理解 Frames + Labels CSV 的组织方式;
  2. 不要立刻下载 580GB——先用论文 Table 1 的分布做小规模原型(如下载 PillCam Dippoldiswalde 组的 20 视频 / 234,555 帧,体量较小);
  3. 从解剖分段任务入手验证数据管线(最高 F1 0.89,最快见效);
  4. 建立按 study 的元数据表(胶囊系统 / 年龄 / 性别),为后续分层分析做准备。

研究选题建议(按可行性排序):

选题 可行性 理由
消化道分段与地标检测 ★★★★★ 基线 F1 0.89,样本充足
图像质量自动筛选 ★★★★★ F1 0.88,临床价值直接
视频时序建模(帧间一致性) ★★★★☆ Galar 特有优势,论文未做,机会大
跨系统/跨中心域泛化 ★★★★☆ 多中心多系统天然支持
类别不平衡下的病理检测 ★★★☆☆ 难度大但价值高(Focal Loss 等)
多标签联合建模 ★★★☆☆ 需处理标签结构
零实例标签的少样本/开放集 ★★☆☆☆ 无正样本,仅能做元学习探索

D.2 面向临床研究者

可回答的临床问题:

  • VCE 图像质量在真实数据中的分布规律(气泡/污物/视野受限的占比);
  • 消化道各段在胶囊行程中的时间占比(分段标签的时序统计);
  • 病理发现与解剖位置的关联(如溃疡多见于哪一段);
  • 阅片效率的量化提升空间(若 AI 自动筛帧,可节省多少工时)。

须谨记的临床局限:

  • 数据富集病理,不代表真实阴性为主的分布;
  • 患者数未披露,人群代表性存疑;
  • 无跨中心泛化验证,不能直接推断临床部署性能;
  • 病理模型当前 F1≈0,无临床可用性,仅具研究价值。

D.3 面向数据集方法学研究者

Galar 是研究医学视频数据集构建方法学的优质样本,可探讨:

  • 多中心数据的标注组织:如何用 5 人(专家+学生)流水线完成 351 万帧标注;
  • 富集策略的偏倚-效率权衡:只标病理视频的利与弊;
  • 多标签一致性度量:Galar 未报告一致性,如何为其补充标注者间一致性评估;
  • 大数据集的划分透明性:splits 不公开带来的复现问题;
  • 长时段采集的混杂控制:12 年数据代际差异的处理。

附录 E · Galar 在 VCE AI 发展脉络中的位置

把 Galar 放到 VCE AI 的时间线上:

阶段 代表数据集/工作 特征
早期(~2016 前) 小样本自建集 单中心、数百到数千图、单任务
中期(2017-2021) Kvasir-Capsule(47,238 图)、SEE-AI 抽帧图像、多类标签、单/少中心
近期(2022-2024) VCE-AnomalyNet(108,832 图)、ERS Dataset(123 标签) 更大规模、更多标签、异常检测
当前(2025) Galar(3,513,539 帧 / 29 标签) 完整视频逐帧、多中心多系统、多标签、CC BY 开放

脉络判读:VCE AI 数据集的演进方向是从「图像」到「视频」、从「单中心」到「多中心」、从「少标签」到「多标签」、从「封闭」到「开放」。Galar 是这一演进在规模维度上的一次跃迁(帧数比前代高一个数量级),并在开放度(CC BY 4.0)与多系统覆盖上补齐了前代的短板。

但 Galar 未解决的(留给下一代):患者级透明的划分、标注一致性量化、跨域评测、病理检测的性能突破。这四个空缺正是后来者可以接力的方向。


附录 F · 术语表

术语 英文 释义
视频胶囊内镜 Video Capsule Endoscopy (VCE) 吞服式胶囊摄像头在消化道内拍摄的检查方式
逐帧标注 framewise annotation 对视频每一帧单独标注,保留完整时序
多标签 multi-label 一个样本可同时属于多个类别
地标 landmark 消化道解剖标志点(如幽门、回盲瓣)
消化道分段 GI section 消化道的大段划分(胃、小肠、结肠等)
血管扩张 angiectasia 血管异常扩张,VCE 常见出血原因
正铁血红素 hematin 陈旧血液的降解产物,提示既往出血
淋巴管扩张 lymphangiectasis 小肠淋巴管扩张,可见于蛋白丢失性肠病
乳糜泻 celiac (disease) 麸质相关小肠病变(数据集中零实例)
图像质量评估 image quality assessment 判断帧是否具诊断价值
域泛化 domain generalization 模型在未见设备/中心数据上的鲁棒性
极端类别不平衡 extreme class imbalance 正类占比极低导致的学习困难
长尾识别 long-tailed recognition 处理类别样本数悬殊的学习问题
CC BY 4.0 Creative Commons Attribution 4.0 要求署名的宽松开放许可
DAIMS Data & AI Maturity/Management Standard 数据与 AI 成熟度/管理评估框架

附录 G · 常见问题(FAQ)

Q1:Galar 和 Kvasir-Capsule 有什么区别?
Kvasir-Capsule 是挪威的抽帧图像集(47,238 图,14 类标签,单专家标注);Galar 是德国的完整视频集(3,513,539 逐帧,29 类标签,5 人流水线)。前者图像级、后者视频级;前者单中心、后者多中心多系统。

Q2:为什么 29 类标签只能用 26 类?
esophagitis、varices、celiac 三类病理在全部视频中零实例,无法训练。建议按有实例的 26 类组织任务。

Q3:数据集能商用吗?
CC BY 4.0 允许商用(sharing/adaptation 含商业用途),唯一要求是署名。但商用前须评估医学合规(数据虽匿名化,医疗用途受各地法规约束)。

Q4:病理检测为什么这么难?
极端类别不平衡(病理帧占比极低)+ 图像质量问题(气泡/遮挡)+ 病理表现多样 + 论文基线未做不平衡处理(标准交叉熵 + 固定 0.5 阈值)。F1≈0 是这些因素叠加的结果。

Q5:能用 Galar 训练视频模型吗?
可以,且这是 Galar 的核心优势——逐帧连续数据保留完整时序,适合 3D CNN、Video Transformer、时序检测等。但论文基线未做时序建模,属开放机会。

Q6:为什么患者数不知道?
论文未披露患者总数,仅给视频数与帧数。这影响划分的患者独立性判断,是使用时须注意的透明性缺口。

Q7:技术标签覆盖多少视频?
仅 6 段(编号 5/8/9/13/14/22),共 35,733 帧——远小于 80 段总体,做技术任务时须注意样本量。

Q8:数据怎么下载?
figshare+ 仓库(DOI 10.25452/figshare.plus.25304616.v1),约 580GB 的 .7z 压缩包,解压后使用。许可 CC BY 4.0。


本条目由千方病案医数集(qianfanghub)整理,事实以 Scientific Data 2025 论文一手来源为准,抓取时点 2026-10-08。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • slam-laparoscopic-motions — 共享标签:医学影像 / 内窥镜影像 / 手术视频 / 图像分类 / 评测基准
  • lapgyn4 — 共享标签:医学影像 / 内窥镜影像 / 手术视频 / 图像分类 / 目标检测
  • cholectrack20 — 共享标签:医学影像 / 内窥镜影像 / 手术视频 / 目标检测 / 评测基准
  • cholectriplet2022 — 共享标签:医学影像 / 内窥镜影像 / 手术视频 / 图像分类 / 评测基准
  • heichole — 共享标签:医学影像 / 手术视频 / 图像分类 / 目标检测 / 评测基准
  • real-colon — 共享标签:医学影像 / 内窥镜影像 / 手术视频 / 目标检测 / 评测基准
  • glenda — 共享标签:医学影像 / 内窥镜影像 / 手术视频 / 图像分类 / 目标检测
  • gastrohun — 共享标签:医学影像 / 内窥镜影像 / 手术视频 / 图像分类 / 评测基准
  • endovis-2026 — 共享标签:医学影像 / 内窥镜影像 / 手术视频 / 目标检测 / 评测基准
  • kvasir-capsule — 共享标签:医学影像 / 内窥镜影像 / 图像分类 / 目标检测

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集