CholecSeg8k — 腹腔镜胆囊切除手术场景分割 AI-Ready Wikipedia | 千方病案医数集

CholecSeg8k — 腹腔镜胆囊切除手术场景分割 AI-Ready Wikipedia

INFOBOX

字段	内容
数据集名称	CholecSeg8k（腹腔镜胆囊切除手术场景语义分割数据集）
英文全称	CholecSeg8k: A Semantic Segmentation Dataset for Laparoscopic Cholecystectomy Based on Cholec80
别名/简称	CholecSeg8K、CholecSeg-8k
疾病分类（ICD-11）	DC11（胆石症 Cholelithiasis，手术场景对应腹腔镜胆囊切除术）
SNOMED CT	45595009（Laparoscopic cholecystectomy 腹腔镜胆囊切除术）
数据模态	腹腔镜手术视频帧 + 像素级语义分割标注
AI 任务类型	多类语义分割（场景分割、器械与解剖结构定位）
样本总数	8,080 帧（17 段视频片段，101 个 80 帧片段目录）
数据大小	约 3 GB
数据格式	PNG（图像与掩码均为 854×480 无损位图）
许可证	CC BY-NC-SA 4.0
访问级别	开放（Kaggle 免费下载，无需注册审核）
DUO 标签	NRES（无限制研究使用，附加非商业 NC 与相同方式共享 SA 条款）
语言	英文标注与文档；影像无语言属性
首发日期	2020-12-23（arXiv:2012.12453 v1 提交日期）
最后更新	2020-12-23（唯一版本 v1.0.0，未见后续修订）
发布机构	台湾大学（National Taiwan University）；底层数据来自法国 CAMMA 组 Cholec80
官方主页	Kaggle 数据集页
下载地址	Kaggle 下载页
DOI	10.48550/arXiv.2012.12453
引用次数	180+（Semantic Scholar，截至 2026-09）
AI 就绪度评分	⭐⭐⭐（3/5）— 掩码类别可直接读取、结构规整，但无官方划分、无官方预处理脚本，需自行实现按片段防泄漏划分
页面状态	published

§0 E-E-A-T 审核与可信声明

• 医学审核：千方病案医学编辑部交叉审核 §2 医学背景（胆石症 ICD-11/SNOMED CT 编码、腹腔镜胆囊切除术临床价值）与 §7 偏倚分析。
• 数据工程审核：[千方病案医学编辑部交叉审核] 医疗 AI 数据工程师，审核范围：§4 DAIMS 数据字典、§5 数据划分策略、§6 预处理 Pipeline 与坑点。
• 审核日期：2026-09-05。
• 利益声明：本页面与数据集作者团队及 CAMMA 组无任何关联；页面内容独立撰写，引用关系见 §10.3。

医疗免责声明：本页面提供的医学信息仅供研究和教育目的，不构成医疗建议、诊断或治疗方案。数据集的医学描述基于公开发表的文献，未经逐一临床验证。任何基于该数据集训练的 AI 模型在应用于临床决策前，必须经过独立的临床验证和监管审批。

技术免责声明：本页面的代码示例、预处理建议和基准性能数据基于公开资料整理，不保证在特定环境下的准确性和适用性。使用者应自行验证代码安全性和数据预处理流程的正确性。千方病案医数集不对因使用本页面信息而导致的任何直接或间接损失承担责任。

数据使用合规：使用本页面描述的数据集前，请务必阅读并遵守数据集原始许可协议。CholecSeg8k 以 CC BY-NC-SA 4.0 发布，禁止商业使用且衍生作品须以相同方式共享；若需上游 Cholec80 完整视频，须另行向法国 CAMMA 组提交申请。DUO 标签仅供参考，具体使用限制以数据集官方协议为准。

§1 数据集概览

§1.0 📌 30 秒速览

这是什么？ CholecSeg8k 是一个手术视频的"逐像素上色"数据集。它从 80 段真实腹腔镜胆囊切除手术录像（Cholec80）中选出 17 段视频片段，抽取 8,080 个画面，把每个画面里的肝脏、胆囊、胆囊管、脂肪、血液、手术钳、电凝钩等 13 类结构一个像素一个像素地标注出来。打个比方：普通手术视频数据集只告诉你"这段视频里有钳子"，CholecSeg8k 则告诉你"钳子的每一寸边缘在画面哪个位置"。

为什么重要？ 手术机器人导航、术中安全预警这类系统的底层能力，是让 AI 看懂腹腔镜画面里"哪里是器官、哪里是器械"。这种能力只能靠像素级标注数据训练。2019 年之前公开的像素级手术分割数据几乎为零，CholecSeg8k 发布后迅速成为该方向引用最广的基准之一（Semantic Scholar 引用 180+，截至 2026-09），训练出的分割模型是场景理解、三维重建、关键安全视野（CVS）评估等上层任务的基座。

我能用它做什么？ 你可以训练和评测语义分割模型（U-Net、TransUNet、SegFormer 等），做半监督/弱监督分割研究，用它预训练模型再迁移到其他手术视频任务，或把它当作手术器械定位的入门数据集。数据在 Kaggle 上免费下载，一天内即可跑通第一个训练基线——但要注意它没有官方训练/测试划分，且相邻帧高度相似，划分不当会导致虚高指标（见 §6.5 坑点 3）。

§1.1 技术摘要

CholecSeg8k 由台湾大学团队（Hong、Kao、Kuo、Wang、Chang、Shih）构建，2020 年 12 月随 arXiv 论文发布[1]。团队从法国 CAMMA 组发布的 Cholec80 腹腔镜胆囊切除视频语料中，选取 17 段视频片段，聚焦胆囊剥离手术阶段，按每段 80 连续帧组织为 101 个片段目录，共 8,080 帧，分辨率 854×480，总体约 3 GB。标注采用开源工具 PixelAnnotationTool，由研究生标注者按规范逐像素绘制，并由第二标注者交叉核查，器官类边界一致性被优先保证。每帧配四个文件：原始内镜图像、彩色可视化掩码、标注工具手绘掩码与三通道同值类别 ID 的分水岭掩码。13 个类别覆盖 10 类解剖结构（含背景）、2 类手术器械与液体等场景要素，类别分布高度不均衡——肝、腹壁等大类占据绝大多数像素，器械与血管类各不足 1%。数据集未发布官方划分，社区形成了按片段划分、按病例划分等多种惯例（见 §5）。

§1.2 战略价值

从数据稀缺到基准确立。 在 CholecSeg8k 出现之前，腹腔镜场景语义分割的公开选择主要是 EndoVis 系列挑战赛数据（离体/机器人场景为主）或私有院内数据。CholecSeg8k 首次把"真实人体腹腔镜胆囊切除 + 像素级 13 类标注 + 免费开放下载"三个条件凑齐，且以 CC BY-NC-SA 4.0 许可发布，学术与工业团队无需申请审核即可上手。其后续引用横跨分割模型、基础模型评测（SAM 系列在手术场景的适配）、扩散模型分割等多个技术代际，说明它已经成为手术场景分割的事实性基准之一。

方法学规范的开销转移。 一个常被低估的价值是它对社区实验规范的塑造：因为无官方划分，引用它的论文被迫在方法部分显式写清划分协议、分辨率与评估口径，这一"被迫透明"反而提高了手术分割领域论文的可比性讨论。同时，其 3 GB 体量与单卡可训特性大幅降低了手术 AI 研究的进入门槛——教学场景中一个学期的课程项目即可完成从数据加载到论文复现的全流程，这也是它在全球多所高校手术视觉课程中被反复采用的原因之一。

方法论试金石。 该数据集的三个特性使它成为极佳的方法论试金石：其一，类别极端不均衡，能拉开各模型处理长尾类别的能力差距；其二，80 帧连续片段保留了时序冗余，天然暴露划分泄漏问题，常被用来演示视频分割中"按帧随机划分"的错误；其三，分辨率与场景复杂度适中，8,080 帧的体量可以在单卡 GPU 上数小时内完成一轮完整训练，是消融实验与新方法验证的高性价比载体。对构建手术大模型或术中导航系统的团队，它通常扮演"先在 CholecSeg8k 上验证、再扩展到 Cholec80/私有数据"流程中的第一环。

§1.3 同类数据集横向对比

数据集	规模	模态	标注类型	与 CholecSeg8k 的差异化
CholecSeg8k	8,080 帧 / 17 段视频	腹腔镜视频帧	13 类像素级语义掩码	真实胆囊切除 + 免费开放 + 逐像素标注，最小可用分割基准
Cholec80	80 段完整手术视频	腹腔镜视频	相位标签 + 器械存在二值标注	无像素级掩码；是 CholecSeg8k 的上游语料
EndoVis18	3,232 帧 / 19 段视频	机器人手术视频帧	7 类器械像素级掩码	猪模型离体场景、器械类为主，无人体解剖结构类
Endoscapes-Seg50	493 密集标注帧（子集）	腹腔镜视频帧	5 类解剖结构 + 器械掩码	面向 CVS 评估，解剖类更精细（胆囊管/动脉/肝胆囊三角），但密集标注量小
CholecInstanceSeg	41,900 帧 / 85 段手术	腹腔镜视频帧	7 类工具实例掩码	2024-2025 年发布，规模更大且含实例 ID；CholecSeg8k 帧全部被其复用
ISINet/SiSVse 等	数千帧级	腹腔镜/机器人视频	器械分割	任务定义各异，跨数据集泛化研究常与 CholecSeg8k 组合使用

§1.4 版本时间轴

时间	版本	事件
2020-12-23	v1.0.0	arXiv:2012.12453 v1 提交，CholecSeg8k 随论文发布，Kaggle 开放下载
2021 起	持续（社区）	HuggingFace 出现 minwoosun/CholecSeg8k 等多个镜像，支持 datasets 库加载
2023-2024	持续（社区）	Roboflow 出现实例分割衍生版；CholecInstanceSeg 论文复用其全部 8,080 帧作为四分区之一
2024-2026	持续（社区）	SAM 系列评测、扩散分割模型（CRAC-DM 等）以之为基准；官方未发布修订版

时间轴的使用提示：引用本数据集时，"数据发布于 2020 年底"意味着其标注理念与类别体系反映的是当时的手术 AI 需求（以场景分割和 SLAM 为主），此后出现的实例分割（2025）、CVS 结构类（Endoscapes，2023）等新标注维度不在其覆盖范围内；反之，其 6 年无修订仍保持活跃引用，也说明核心标注资产的长期价值。评估"是否选它"时，看需求是否落在其 13 类语义分割的射程内，而非简单以发布年份论新旧。

§1.5 典型应用场景

1. 术中解剖结构分割与导航：训练 liver/gallbladder/cystic duct 等解剖类分割模型，为术中增强现实叠加与相机定位（SLAM）提供语义基础——这也是原论文的出发点[1]。
2. 器械检测与轨迹分析：Grasper 与 L-hook electrocautery 两类器械的像素掩码，可用于器械占用分析、术者操作节奏研究。
3. 分割新方法基准评测：从早期 U-Net/DeepLabV3+ 到 TransUNet、SAM 适配、扩散模型，大量论文用其验证方法有效性（见 §8.1）。
4. 半监督/弱监督分割研究：小体量 + 强不均衡特性使其成为半监督、类别不均衡学习方法的理想试验台。
5. 手术视频预训练迁移：以其密集标注预训练编码器，再迁移至相位识别、器械存在检测等弱标注任务。

选型提示：如果你的最终目标是"器械实例级检测"（区分每一把钳子），CholecSeg8k 只有语义掩码（不区分实例），应优先评估 CholecInstanceSeg；如果目标是"解剖结构 + CVS 相关评估"，Endoscapes-Seg50 的解剖类目更精细但标注量小 16 倍；CholecSeg8k 的独特生态位是"全类别场景分割 + 体量适中 + 获取零门槛"——大多数团队的最佳用法是把它作为第一站，验证方法后再向上游（更大语料）或下游（更精细标注）延伸。

§2 医学背景

§2.1 ICD-11 编码映射表

CholecSeg8k 的手术场景对应腹腔镜胆囊切除术，最常处理的疾病背景是胆石症及其并发症。下表列出 ICD-11（v2026-01）中相关诊断编码[2]：

场景标签	ICD-11 编码	中文名称	英文术语
手术对应疾病大类	DC11	胆石症	Cholelithiasis
急性胆囊炎背景下手术	DC11.0	胆囊或胆囊管结石伴急性胆囊炎	Calculus of gallbladder or cystic duct with acute cholecystitis
慢性/其他胆囊炎背景下手术	DC11.1	胆囊或胆囊管结石伴其他胆囊炎	Calculus of gallbladder or cystic duct with other cholecystitis
择期无炎症胆囊切除	DC11.3	胆囊或胆囊管结石不伴胆囊炎或胆管炎	Calculus of gallbladder or cystic duct without cholecystitis or cholangitis
胆管结石合并症手术	DC11.4-DC11.6	胆管结石伴/不伴胆管炎、胆囊炎	Calculus of bile duct (with cholangitis/cholecystitis variants)

说明：ICD-11 为手术操作提供独立的扩展编码体系（与诊断编码分离），本条目不罗列操作编码；上表用于把数据集视频内容锚定到疾病谱系。ICD-10 对照码为 K80（Cholelithiasis）[3]。

编码使用的两点提示：其一，CholecSeg8k 视频本身不携带诊断标签，DC11 系编码描述的是"该术式通常处理的疾病谱"，用于数据集编目与检索对齐，不能反推某一帧对应的具体诊断；其二，DC11 下各子类的选择依赖病理与术中所见（急性炎症与慢性炎症的术中画面差异显著），若做"按疾病分层"的研究设想，本数据集不具备相应元数据支撑，需回溯原始病历（数据集中不存在）。

§2.1b SNOMED CT 映射表

标签	ICD-11 对应	SNOMED CT 码	术语
手术场景（全部视频）	胆囊切除术（操作体系）	45595009	Laparoscopic cholecystectomy（腹腔镜胆囊切除术）
特殊术式（可能出现的术式变体）	同上	713872007	Single-port laparoscopic cholecystectomy（单孔腹腔镜胆囊切除术）
手术直接作用部位	DC11	45595009 的直接部位属性	Gallbladder structure（胆囊结构）

说明：SNOMED CT 中 45595009 归类于 Cholecystectomy 与 Laparoscopy 两个上层概念之下，属性链明确记录其作用部位为胆囊结构[4]。

§2.2 疾病简介与流行病学

胆囊结石是最常见的胆道系统疾病，多数结石终生无症状；症状性结石的初始表现通常为胆绞痛，进一步可发展为急性胆囊炎、胆管炎或胆源性胰腺炎[5]。各临床指南（如英国 NICE）对无症状结石不建议干预，对症状性结石则推荐以腹腔镜胆囊切除术作为标准治疗，并尽量按日手术安排[5]；对急性结石性胆囊炎，世界急诊外科学会指南支持在患者条件允许时行早期腹腔镜胆囊切除术[5]。腹腔镜胆囊切除术是外科领域最常施行的择期手术之一，量大、术式标准化程度高，这使其手术视频成为手术 AI 研究最丰富的数据来源——Cholec80 语料（80 段手术、13 位外科医生）正是由此而来[6]。

从影像特征看，胆囊切除术中画面构成对分割模型友好又苛刻：友好在于手术步骤标准化，解剖结构出场顺序相对固定；苛刻在于组织外观高度动态——电凝产生的烟雾、出血对视野的遮蔽、器械反复进出对组织的牵拉形变，都让"同一结构"在相邻分钟内呈现截然不同的视觉形态。理解这一点有助于设定合理的性能预期：文献中 U-Net 族模型在大类（肝、腹壁）上 IoU 可达 0.7 以上，而在烟雾遮蔽帧上同一模型的胆囊管 IoU 可能跌破 0.3，这不是模型失败，而是任务本身存在信息量下限。

手术层面的关键安全概念是 Critical View of Safety（CVS，关键安全视野）：术中需清晰辨识并骨骼化胆囊管与胆囊动脉、确认其唯一汇入关系后方可离断，以避免胆管损伤。胆管损伤是胆囊切除最严重的并发症之一，Strasberg 提出的 CVS 原则已成为国际通行的安全规范[5]。CholecSeg8k 的 13 类标注（胆囊、胆囊管、肝韧带、结缔组织等）与 CVS 评估所需的结构辨识高度相关，因此该数据集也常被用作 CVS 自动评估研究的中间训练资源[7]。

§2.2b 手术流程与 13 类结构的解剖学对应

腹腔镜胆囊切除术的典型流程可概括为：建立气腹与套管入路 → 探查腹腔 → 抓钳向头侧牵拉胆囊底暴露胆囊三角 → 解剖胆囊三角（游离胆囊管与胆囊动脉）→ 夹闭并离断 → 电凝钩分离胆囊床 → 取出标本、冲洗止血。13 个类别在该流程中的出现规律如下：

手术阶段	高频出现的类别	对标注的意义
探查与粘连松解	腹壁、肝、胃肠道、脂肪、结缔组织	大类像素主要来源
胆囊三角解剖	胆囊管、肝韧带、结缔组织、血液	小类（胆囊管）集中出现窗口
胆囊床分离	肝、胆囊、结缔组织、血液	电凝钩与抓钳同框
冲洗与止血	血液、抓钳、腹壁	血液类相对集中的时段

三点解剖学提示对模型设计有用：其一，胆囊管是细长管状结构，横径仅数毫米，在 480p 画面中常呈 2-5 像素宽的条带，是分辨率敏感类（坑点 7 的解剖学根源）；其二，肝静脉多数时间被肝实质遮挡，仅在肝面显露时可见，是全数据集最稀有的类别之一；其三，抓钳与电凝钩的金属反光使其像素域与组织差异明显，但对色温偏移敏感（增强时的色调抖动幅度应克制，§6.6）。

§2.3 临床任务定义

任务	定义	在本数据集中的实现	临床用途
手术场景语义分割	对每帧每个像素赋予解剖/器械类别	13 类逐像素掩码（预测目标）	术中语义地图、增强现实叠加
器械分割与定位	分离手术器械与组织	Grasper、L-hook electrocautery 两类器械掩码	器械轨迹分析、占用检测
解剖结构定位	定位胆囊、胆囊管、肝静脉等关键结构	10 类解剖/组织掩码	CVS 评估辅助、防胆管损伤
相机定位与 SLAM	以语义一致性辅助内镜定位	分割结果作为配准参考（原论文动机[1]）	术中导航、三维重建
时序一致分割	相邻帧预测的时间稳定性	80 连续帧片段支持时序建模评测	术中稳定显示，防闪烁

任务选择的边界说明：本数据集能支撑的任务都从"逐像素类别判断"出发；凡是需要实例区分（第几把钳子）、三维信息（深度、形状）、动态属性（流速、力度）的任务，均超出其标注维度，应转用相应数据集（§1.3、§4.6）。把 CholecSeg8k 用在其标注维度之内，是获得干净结论的前提。

§2.4 患者人群

维度	内容
来源	Cholec80 语料，法国斯特拉斯堡大学医院（CAMMA 组与 University Hospital of Strasbourg、IHU Strasbourg、IRCAD 合作）[6]
手术类型	腹腔镜胆囊切除术（择期为主，具体术式适应证未随数据公开）
术者	Cholec80 全集由 13 位不同经验水平的外科医生施术[6]
患者数	未随数据集公开（8,080 帧来自 17 段视频，患者与视频的对应关系未提供）
年龄/性别/种族	未随数据集公开
就医类型	住院手术治疗（胆囊切除）
时段覆盖	每段片段取自胆囊剥离阶段，剔除术前准备与术后冲洗时段

§2.5 临床价值

手术场景分割是术中智能辅助的基座能力：准确的解剖分割让系统知道"胆囊管在哪里、肝缘在哪里"，这是实时危险提示、CVS 辅助确认、术中导航配准的前提。当前自动 CVS 评估研究已把分割性能直接关联到胆管损伤预防——有工作在引用本数据集的方法学链路上报告了 mIoU 提升 11.8% 并改善平衡准确率[7]。此外，器械类分割支撑术者操作量与术野占用分析，可用于手术教学回顾与术后质控。需要强调：像素级分割模型输出的是"结构在画面中的位置"，并不直接等于诊断结论，任何临床闭环都必须叠加独立验证与监管审批（见 §0 免责声明）。

从研究生态看，该数据集的临床价值链还在向上游延伸：分割预训练的编码器被证明可迁移到相位识别、器械存在检测等弱标注任务（C2E 等基础模型工作以本数据集分割作为微调任务之一[14]）；下游则支撑手术报告自动生成、手术技能评估等多模态任务的数据底座。对医院工程团队，先用本数据集验证分割链路、再替换为院内数据微调，是成本最低的落地路径。

§2.6 金标准对照表

维度	内容
标注划分	像素级（pixel-wise），13 类互斥语义标签
标注方式	人工逐帧标注（PixelAnnotationTool，含分水岭辅助填充）
标注者	研究生标注者，按阶段化标注规范执行；每帧由第二标注者交叉核查
一致性处理	器官类边界一致性优先；轻微边界分歧未完全仲裁（原始论文局限性之一）
性质	研究用金标准；无临床端裁决背书，非监管级参考标准
局限	无官方划分；无患者级元数据；类别不均衡使稀有类标注样本极少

§3 数据集规格

CholecSeg8k 自发布以来只有单一版本（v1.0.0，2020-12-23），官方未发布过修订版或补充划分，因此本条目不设版本抉择矩阵；版本信息见 §1.4 时间轴。

§3.1 模态详情

属性	规格
图像来源	Cholec80 腹腔镜胆囊切除手术录像（25 fps 原始采集）
抽帧方式	17 段视频片段内以 80 连续帧为单位成段抽取，不做帧间隔采样
分辨率	854×480（原始录像分辨率，未缩放）
色彩	RGB 三通道 8 位
文件格式	PNG 无损
每帧文件数	4 个（原图 + 3 种掩码）
场景阶段	胆囊剥离相关阶段（术前准备与术后时段被剔除）
附带元数据	无患者级、无设备级元数据；仅目录名隐含视频与片段来源

§3.2 子集与样本数

数据按"视频 → 80 帧片段 → 帧"三级组织：第一层目录为 Cholec80 视频编号（17 段），第二层目录为该视频内起始帧编号命名的片段（共 101 个），每片段固定 80 帧[6]。

层级	数量	说明
视频目录（video）	17	对应 Cholec80 的 17 段视频，目录名为 videoXX 形式
片段目录（clip）	101	目录名为 videoXX_startFrame 形式，startFrame 为片段首帧在原视频中的索引
帧	8,080	101 × 80，无缺失帧
语义类别	13	ID 0-12，单帧最多同时出现其中数类（非全类出现）

注：各视频贡献的片段数不均衡（17 段视频分摊 101 个片段），数据集官方未公布逐视频片段数清单，故此处不逐行列出。

对工程实践的直接含义：按视频划分（17 组）时各折样本量差异可能很大，随机性远高于按片段划分（101 组）；若采用视频级划分，务必报告多种子结果的标准差，否则单一划分的结论不稳定（§5.3）。按片段划分则相反——组数够多、分层抽样方便，但同一视频的两个片段可能画面高度相似（如同一病例同一阶段的两段窗口），其独立性弱于"真正的新病例"。两种粒度的取舍见 §5.3 的优先级建议。

§3.3 格式规格表

文件后缀	内容	通道	训练用途
_endo.png	原始腹腔镜帧	RGB 3 通道	模型输入
_endo_color_mask.png	彩色可视化掩码（每类一色）	RGB 3 通道	仅可视化，禁止直接算 loss
_endo_mask.png	标注工具手绘掩码	RGBA	标注原稿存档，一般不直接使用
_endo_watershed_mask.png	分水岭掩码（三通道同值，像素值=类别 ID）	RGB（同值）	训练标签首选，任取一通道转 int

格式选择的工程含义：全 PNG 无损保证了标签零噪声——不存在 JPEG 压缩伪影在类别边界产生歧义像素的问题，这在医疗分割数据集中是加分项；代价是 8,080 帧 × 4 文件的 inode 数量较大（约 3.2 万个小文件），在对象存储上训练时建议先合成 TFRecord/WebDataset 或至少打成分片 tar，顺序读性能可提升一个数量级。

§3.4 存储大小

项目	大小
完整压缩包（Kaggle）	约 3 GB[1]
解压后	约 3-4 GB（PNG 压缩率已较高，膨胀有限）
单帧	原图约 0.3-0.5 MB，加三种掩码约 0.8-1.2 MB
训练可用内存峰值	全量载入内存约需 8-12 GB（含掩码），建议流式读取

体量特征对工作流的影响：3 GB 的体量允许"全量放本地盘、按需流式读取"的简单架构，无需分布式存储；但也因为太小，容易被"整包载入内存做加速"的优化诱惑——实测全量载入后随机访问确实快数倍，代价是每个 DataLoader worker 复制一份内存视图，多 worker 时反而 OOM，除非用共享内存方案。简单问题用简单方案：这个体量下，文件系统缓存已经足够热。

§3.5 标注方式

像素级人工标注。团队使用开源标注工具 PixelAnnotationTool，配合分水岭算法辅助区域填充：标注者先手绘区域边界（生成 _endo_mask.png 原稿），工具据此生成彩色掩码与分水岭掩码[6]。标注对象为 13 类互斥语义类别（见 §4.2），单帧内并非所有类别都出现。标注规范按手术阶段细化，聚焦胆囊剥离场景中常见结构。这属于典型的高成本精细标注——8,080 帧 × 854×480 像素的完全监督标注，是该数据集相对弱标注语料的核心价值。

标注方式对使用者的隐含约束：由于标注借助分水岭辅助填充，掩码内部区域通常干净、边界带 1-3 像素的混合不确定性；在评测时对"边界带容差"敏感的指标（如边界 F 分数）应说明容差参数。同时，PixelAnnotationTool 的类别调色板是固定的，这解释了为什么社区各镜像的颜色映射长期一致——颜色表本身可视为标注协议的一部分。

§3.6 标注者资质与一致性

标注者为受训研究生（非临床医师），按书面标注规范执行；每帧经第二标注者交叉核查，核查重点放在器官类边界一致性上。原始论文披露的局限：轻微边界分歧并未全部仲裁到统一（例如脂肪与结缔组织的过渡带），因此同一语义带在不同帧间可能存在粒度波动[1][8]。数据集未发布标注者间一致性系数（如 Dice agreement），使用者无法从官方渠道获得量化一致性数字——涉及细小结构（胆囊管、肝静脉）的研究应自行抽样复标评估。

自行复标的操作建议：随机抽 50-100 帧（分层保证小类至少出现 10 帧），由第二名标注者独立重标，逐类计算复标 Dice。经验判断阈值：大类（肝、腹壁、胆囊）Dice < 0.85 说明理解协议有偏差，需回看标注规范；小类（胆囊管、肝静脉）Dice 波动大是预期内的，但若低于 0.5，则该类的模型指标报告应附"标注本身模糊"的说明，避免把标注噪声误读为模型缺陷。该流程同时产出可用于论文的标注一致性声明素材。

§3.7 采集周期

上游 Cholec80 语料的采集时间区间未随 CholecSeg8k 官方资料明确公布；数据集本身于 2020-12-23 发布（arXiv v1），无后续修订。引用采集时间时应表述为"Cholec80 语料（2016 年前后由 CAMMA 组发布）"，避免编造具体年份。

§3.8 地域覆盖

维度	内容
视频采集地	法国斯特拉斯堡（University Hospital of Strasbourg）[6]
术者构成	13 位外科医生（Cholec80 全集），经验水平含高/中/低三档
标注地	中国台湾（台湾大学团队）
民族/地域多样性	单中心欧洲数据，人群多样性有限（见 §7.1 偏倚）

§3.9 设备规格

项目	规格
成像设备	腹腔镜硬镜（具体品牌/型号未随数据公开）
原始采集帧率	25 fps
输出分辨率	854×480
视野特征	圆形镜下视野，视野外为黑色填充（标注为背景类 ID 0）
气腹与光照	常规气腹腹腔镜环境，帧间光照与烟雾波动明显（见 §7.3）

设备信息的缺失对工程的实际影响集中在色彩域：不同镜体与光源的白平衡、动态范围差异会在跨中心部署时集中显现，而本数据集无法提供设备元数据来支撑按设备分层的稳健性分析。若项目对设备泛化要求高，建议在自家数据接入时即记录设备型号字段，为本数据集预训练 + 院内数据微调的方案保留分层评估能力。

§3.10 深度溯源链

法国斯特拉斯堡大学医院（CAMMA 组，与 IHU Strasbourg / IRCAD 合作）
  └─ Cholec80：80 段腹腔镜胆囊切除术录像，13 位外科医生，25 fps，含相位与器械存在标注（2016 前后发布）
       └─ 台湾大学团队（Hong, Kao, Kuo, Wang, Chang, Shih）
            └─ 选取 17 段视频片段 → 抽取 101 个 80 帧片段（8,080 帧，胆囊剥离阶段）
                 └─ PixelAnnotationTool 逐像素标注 13 类 → CC BY-NC-SA 4.0 发布于 Kaggle（2020-12-23，arXiv:2012.12453）
                      └─ 社区衍生：HuggingFace 多镜像（minwoosun 等）、Roboflow 实例分割版、
                         CholecInstanceSeg（2025，复用全部 8,080 帧做工具实例分割）

§3.11 与上游 Cholec80 的配对使用

CholecSeg8k 只分发标注帧，不含相位标注、器械存在标注与完整视频；目录名中的视频编号（videoXX）与起始帧索引（startFrame）保留了向上游 Cholec80 回溯定位的全部信息。若需配对使用（例如用相位标注做阶段条件化分割，或用器械存在标注做预训练），标准路径是：向 CAMMA 组申请 Cholec80 → 按目录名把本数据集片段映射回原视频时间轴（startFrame + 帧序号即原始帧号）→ 以帧号为键做对齐。两点注意：其一，Cholec80 的器械存在标注粒度是整段视频 1 fps，与本数据集 25 fps 连续帧不完全对齐，需按最近邻或插值处理；其二，配对使用时两层许可同时生效（本数据集 CC BY-NC-SA 4.0 + Cholec80 的 CAMMA 研究用途条款，坑点 8）。

§4 数据结构

§4.0 目录树

CholecSeg8k/                          # 解压根目录
├── video01/                          # 第一层：Cholec80 视频编号（共 17 个）
│   ├── video01_00080/                # 第二层：80 帧片段目录（首帧索引 00080）
│   │   ├── video01_00080_00000_endo.png               # 原始腹腔镜帧
│   │   ├── video01_00080_00000_endo_color_mask.png    # 彩色可视化掩码
│   │   ├── video01_00080_00000_endo_mask.png          # 标注工具手绘掩码（RGBA）
│   │   └── video01_00080_00000_endo_watershed_mask.png# 分水岭掩码（类别 ID）
│   │   ├── video01_00080_00001_endo.png               # ……后续帧同构
│   │   └── …
│   ├── video01_00160/                # 下一片段（首帧索引 00160）
│   └── …
├── video02/
│   └── …
└── video17/                          # 共 101 个片段目录，8,080 帧

要点：文件命名规律为 {video}_{startFrame}_{frameIndex}_endo[_mask_type].png，四类文件靠后缀一一配对；目录名的 startFrame 字段是按片段划分数据的关键依据（见 §5.3）。

补充一个容易被忽略的结构细节：帧索引在片段目录内从 00000 连续编号到 00079，而目录名中的 startFrame（如 00080、00160）表明片段在原视频中的位置——两个相邻片段目录的 startFrame 通常相差 80，意味着片段在时间上几乎首尾相接。因此"按片段划分"防住了帧级泄漏，但相邻片段仍可能画面相似；对独立性要求最高的结论，回到按视频划分（§5.3）。

§4.1 DAIMS 数据字典

字段/文件	类型	说明	示例值	AI 用途	观测误差	信息性缺失编码	取值范围
video 目录名	string	Cholec80 视频编号	video01	分组标识、按视频划分	无	无	video01-video17
clip 目录名	string	片段目录，含首帧索引	video01_00080	防泄漏划分的最小分组	无	无	101 个片段
frame 索引	int	帧在片段内的序号	00000-00079	时序建模	无	无	0-79
_endo.png	image	854×480 RGB 原图	—	模型输入	无	无	8-bit RGB
_endo_watershed_mask.png	image	类别 ID 掩码，三通道同值	像素值 0-12	训练标签（首选）	类别 ID 精确	无
_endo_color_mask.png	image	彩色可视化掩码	调色板色值	仅可视化	与 ID 表一一对应	无	调色板 RGB
_endo_mask.png	image	标注工具手绘原稿	RGBA 值	复现标注流程	手绘边界	无	RGBA
class ID 0	label	背景（含视野外黑边）	0	评估时决定是否忽略	黑边占比影响指标	—	0
class ID 1-12	label	12 类解剖/器械/液体结构	如 10=Gallbladder	分割目标	边界带粒度波动	无	1-12

字典解读：本数据集没有传统表格数据的"行"概念，一条记录 = 一帧的四文件组。上表把"文件"与"标签"并列列入字段字典，是因为对下游 AI 任务而言，文件选择（读哪个掩码）与标签处理（背景是否忽略）恰恰是最容易出错、也最影响结果的两个"字段级"决策——这也是 DAIMS 检查表中"标签标识""缺失编码"等项在本数据集上的具体落点。

§4.2 标签分布

ID	英文类名	中文释义	类别属性	像素占比特征
0	Background	背景	视野外黑边 + 画面内背景	高占比（含黑边）
1	Abdominal Wall	腹壁	解剖	大类
2	Liver	肝脏	解剖	大类（常为最大组织类）
3	Gastrointestinal Tract	胃肠道	解剖	中类
4	Fat	脂肪	组织	大类
5	Grasper	抓钳	器械	小类（<1%）
6	Connective Tissue	结缔组织	组织	中类
7	Blood	血液	液体	小类（<1%）
8	Cystic Duct	胆囊管	解剖	小类
9	L-hook Electrocautery	L 形钩电凝刀	器械	小类（<1%）
10	Gallbladder	胆囊	解剖	大类
11	Hepatic Vein	肝静脉	解剖	极小类
12	Liver Ligament	肝韧带	解剖	小类

注：官方未公布逐类像素占比统计表；社区分析一致的结论是大类（肝、腹壁、胆囊、胃肠道、脂肪）主导像素分布，器械与血管类合计不足 1%[8]。逐类占比请以自己复算为准（§6.9 提供统计代码）。

类别出现模式：13 类并非逐帧共现。一帧典型胆囊剥离画面通常包含 5-8 个类别（背景、肝、腹壁、脂肪、结缔组织、抓钳、电凝钩等），而胆囊管、肝静脉、肝韧带等结构仅在特定解剖视角下出现。这带来两个工程影响：其一，mini-batch 内个别类别可能完全缺席，若损失函数对"batch 内不存在的类别"做硬归一化会引入噪声，推荐对未出现类走 ignore 路径（§6.4 的 IGNORE_ID 设计）；其二，做逐类 IoU 评估时，"未出现"与"出现但全错"必须区分处理（§6.9 的 union == 0: continue 分支）。

§4.3 关键统计

统计项	数值
总帧数	8,080
视频数 / 片段数	17 / 101
分辨率	854×480（全部帧一致）
类别数	13（含背景）
总大小	约 3 GB
每帧文件	4 个 PNG
官方划分	无
患者级元数据	无

统计解读：8,080 帧的"有效样本量"远小于表面数字——按片段划分后训练集约 6,400 帧，但片段内帧间冗余高，多样性由 101 个片段（更本质上是 17 段视频、17 个病例场景）决定。做学习曲线实验时，横轴用"片段数"比用"帧数"更能反映真实的边际收益；评估方差的直觉也应建立在片段/视频量级上（20 个测试片段的置信区间不会太窄，多划分重复是必须的）。

§4.4 数据层级

数据集（8,080 帧）
 └─ 视频（17 个，Cholec80 来源）
     └─ 片段（101 个，80 连续帧，阶段聚焦）
         └─ 帧（8,080，唯一命名配对四文件）
             └─ 像素（854×480，互斥 13 类）

层级含义对工程的直接影响：视频与片段是"分组标识"，帧才是样本；任何划分、增强、评估都应以片段为最小分组单位，否则帧级独立性假设不成立（§5.3、坑点 3）。

§4.6 衍生数据集关系（CholecInstanceSeg 等）

本数据集的标注体系已被社区继承和扩展，理解这些衍生关系有助于选型：

衍生数据集	继承方式	新增内容	使用建议
CholecInstanceSeg（2025，Sci Data）	复用 CholecSeg8k 全部 8,080 帧（Instance-CholecSeg8k 分区）	7 类工具实例掩码（区分实例 ID）	需要实例级器械分析时用；标注格式 LabelMe JSON
Roboflow 实例分割版	以实例多边形重新组织	12 类（去除背景）+ 多边形格式	快速在线推理 demo；非官方
各论文自划分版本	相同帧 + 自定划分清单	划分协议	复现论文时必须取用对应划分清单

迁移注意：从本数据集的"13 类语义 ID"迁移到 CholecInstanceSeg 的"7 类工具实例"时，器械类目映射并不一一对应（前者 Grasper/L-hook 两类，后者 Grasper/Bipolar/Hook/Clipper/Scissors/Irrigator/Snare 七类），类目体系差异需在迁移实验中显式处理，不能假设掩码可直接互换。

§4.5 缺失值与信息性缺失

情形	编码	处理建议
视野外黑边	类别 ID 0（Background）	属正常编码而非缺失；评估前明确是否计入
单帧缺某类别	自然不出现	损失计算建议 ignore_index 处理未出现类，避免虚增分母
类别混淆带（脂肪/结缔组织过渡）	无显式编码	标注粒度波动，复标评估或按带状区域软化评估
患者级元数据	数据集中不存在	无法做患者级分层，划分只能到片段/视频级
缺失帧/损坏 PNG	官方包未见报告	下载后校验 101 目录 × 80 帧计数即可发现异常

缺失策略的总结：这个数据集在"数据完整性"维度非常干净（无缺失帧、无损坏文件报告），真正的"缺失"都发生在元数据层（患者属性、设备信息、采集时间）。处理原则相应地一分为二——像素与文件层面的缺失按工程 bug 对待（出现即报错），元数据层面的缺失按研究边界对待（写进局限性声明而不是试图插补）。

§5 划分与使用建议

§5.1 官方划分

官方未提供 train/val/test 划分，数据以完整形态发布[1][8]。这意味着任何论文数字都绑定于作者自定的划分协议，跨论文直接比较数值没有意义（§8.1 详述）。

对"官方不划分"的另一种解读是把它视为特性而非缺陷：无官方划分意味着没有刷榜目标，研究者被迫回到"我的协议是否合理"的方法论讨论——本条目 §5.3-§5.6 的全部建议，本质上都是在替读者回答这个官方留白的问题。

§5.2 社区惯例划分

惯例	划分方式	使用者/出处	适用场景
80/10/10	帧 8:1:1 抽样	部分综述与基线复现	快速原型（有泄漏风险，见 §5.3）
按片段划分 81/20	81 clips 训练（6,480 帧）/ 20 clips 测试（1,600 帧）	CRAC-DM（2026）[9]	标准 image-level 评测，帧独立假设
按病例划分 75/25	约 75% 病例训练（约 6,060 帧）/ 25% 测试（约 2,020 帧）	MAST（Grammatikopoulou et al., 2023）[10]	模拟新病例泛化
8 clips 留出测试	8 个连续 clip（905 帧）作测试，其余 80/20 分训练/验证	PT+SAM（2025）[11]	视频方法评测
OOD 设定	特定视频整段留出作分布外测试	泛化研究（如 OOD 榜单设定）	泛化能力与域偏移分析

§5.3 划分策略建议与泄漏风险 ⭐

本数据集最大的方法论陷阱是时序泄漏：每个片段内 80 帧是 25 fps 下的连续画面，相邻帧差异极小（3.2% 的时间间隔）。若按帧随机划分，测试集里的画面几乎必然在训练集中出现过"孪生帧"，模型只需记忆背景即可获得虚高 mIoU，实测可高出按片段划分数个百分点（具体幅度取决于划分协议）。

推荐做法（按优先级）：

1. 按片段划分（最小合规）：以 101 个 clip 目录为单位分层抽样（保证器械类在测试集有足够样本），训练/验证/测试约 8:1:1。
2. 按视频划分（更严格）：以 17 个视频为单位划分（如 12/2/3），测试"新病例"泛化，最接近 MAST 的按病例逻辑；代价是测试集方差变大，建议多划分重复实验。
3. 报告划分协议：论文中必须写明划分粒度（帧/片段/视频）、随机种子与重复次数，否则结果不可复现也不可比较。

§5.4 交叉验证建议

小数据集常用 5 折交叉验证提稳健性：以片段为单位分组（GroupKFold，group=clip 或 video），确保同一片段（更佳：同一视频）不跨训练/验证集。代价是计算量 ×5，对单卡团队可先做单划分 + 3 个种子，确认结论方向后再上交叉验证。

两种折法的定位差异值得明确：group=clip 的 5 折回答"模型对新片段（新时间窗）稳不稳"，方差小、是论文常用口径；group=video 的 5 折回答"模型对新病例稳不稳"，折间方差大（17 组分 5 折，每折测试集只有 3-4 段视频），需要报告折间均值±标准差而非单折数字。若论文空间有限，推荐报告 group=clip 的 5 折均值 + group=video 的单次留出，两个数字共同支撑"片段级稳定 + 病例级可泛化"的完整论证。

§5.5 外部验证建议

CholecSeg8k 为单中心、单术式数据，模型上临床前必须做外部验证。可行路径：同语料外部集（Endoscapes-Seg50，同为胆囊切除但面向 CVS）、跨术式外部集（EndoVis18 机器人手术）、私有院内回放数据。MAST 论文即以私有机器人部分肾切除术数据做了跨术式验证[10]，是值得效仿的评测设计。

§5.6 实验设计模板

针对三类常见研究目标，推荐如下最小实验设计（均以片段为分组单位）：

目标	划分	重复	必报指标	参考基线
新分割模型/损失函数	按 clip 8:1:1	≥3 种子	mIoU（13/12 类双口径）+ 逐类 IoU	U-Net、DeepLabV3+（§8.1）
声称"泛化能力"	按 video 留出 2-3 段	≥3 种子	留出视频 mIoU + 跨域降幅	单帧模型 vs 时空模型
半监督/弱监督	按 clip 5:1:4（5% 全标注模拟）	≥3 种子	全监督上限对比 + 标注效率曲线	全监督上限

模板之外的通用原则：先复现一条已知基线（如 U-Net 到 IoU 0.5-0.6 量级[14]）验证链路正确，再引入新方法；任何与文献数字的比较，先过 §8.3 的协议三要素核对。

§6 AI 就绪指南 ⭐

§6.0 云端快速启动

数据托管于 Kaggle，最快的起步方式是直接在 Kaggle Notebook 里挂载：

# Kaggle Notebook 内：右侧面板 Add Input → 搜索 "CholecSeg8k" → 添加 newslab/cholecseg8k
# 挂载后数据路径默认为 /kaggle/input/cholecseg8k/cholecseg8k/
import glob
frames = sorted(glob.glob("/kaggle/input/cholecseg8k/cholecseg8k/*/*/*_endo.png"))
print(len(frames))  # 预期 8080

Kaggle 提供免费 GPU（T4/P100），按 §6.4 的 DataLoader 与 §6.7 的 U-Net 配置，约 1-2 小时可得第一个基线。本地下载数据可用 kaggle datasets download -d newslab/cholecseg8k（需 Kaggle API Token）。

本地环境与 Kaggle 环境的差异提示：其一，路径习惯不同（Kaggle 输入只读，输出写 /kaggle/working）；其二，Kaggle 镜像的 datasets 版本可能与 HF 最新不兼容，若在 Kaggle 里走 HF 镜像加载遇错，改用直接读 PNG 的自写 Dataset（§6.4）更稳；其三，长期实验建议本地/自备 GPU 训练、Kaggle 只做链路验证，避免 Notebook 会话超时中断训练。

§6.1 快速上手

目录结构预期：{data_root}/{video_dir}/{clip_dir}/{frame}_{suffix}.png，其中 data_root 为解压根目录（Kaggle 上是 /kaggle/input/cholecseg8k/cholecseg8k）。data_root 与子目录的拼接关系见 §4.0 目录树。最小可用子集：任意 1 个片段目录（80 帧）即可完成加载链路验证。

加载验证清单（第一次接入数据后逐项打勾，全部通过再进入训练）：

1. 视频目录数 = 17；片段目录数 = 101；*_endo.png 文件数 = 8,080；
2. 任取 100 帧，np.unique(watershed_mask) 全部落在 0-12；
3. 四文件配对完整：对每个 _endo.png 都存在同名 color/mask/watershed 三个掩码；
4. 图像与掩码尺寸均为 854×480；
5. 目测 3-5 组"原图 + 彩色掩码"叠加，确认掩码与解剖结构对位（此步能发现镜像错位类的诡异问题）。

import os
import glob
import numpy as np
from PIL import Image

DATA_ROOT = "/kaggle/input/cholecseg8k/cholecseg8k"  # ← 按实际解压路径修改

# 1) 收集所有片段目录（防泄漏划分的分组单位）
clip_dirs = sorted(glob.glob(os.path.join(DATA_ROOT, "*", "*")))
print(f"clips: {len(clip_dirs)}")   # 预期 101

# 2) 读取一帧及其掩码，验证四文件配对
clip = clip_dirs[0]
frame = sorted(os.listdir(clip))[0]          # 第一个文件是 _endo.png
base = frame.replace("_endo.png", "")
img = np.array(Image.open(os.path.join(clip, f"{base}_endo.png")))
msk = np.array(Image.open(os.path.join(clip, f"{base}_endo_watershed_mask.png")))[:, :, 0]
print(img.shape, img.dtype)   # (480, 854, 3) uint8
print(np.unique(msk))          # 示例输出：[0 1 2 4 10] —— 该帧实际出现的类别

关键点：分水岭掩码三个通道同值，取 [:, :, 0] 即得类别 ID 图；np.unique 的输出就是该帧出现的类别集合，可直接用于统计类别分布。

§6.2 数据获取

途径	链接	大小	前置条件
Kaggle（官方）	newslab/cholecseg8k	约 3 GB	Kaggle 账号，接受 CC BY-NC-SA 4.0
HuggingFace 镜像	minwoosun/CholecSeg8k	同上	需 trust_remote_code=True（加载脚本镜像）
上游 Cholec80	CAMMA 官网	约 40 GB+	向 CAMMA 组提交申请，仅限研究

三条途径的推荐次序：研究复现与论文工作一律走 Kaggle 官方包（来源最正、配对结构完整）；快速原型与教学 demo 可走 HF 镜像（加载最省事）；仅当需要相位/器械存在标注配对时才申请 Cholec80（有审核周期，提前规划）。

# 命令行下载（Kaggle API）
pip install kaggle
export KAGGLE_CONFIG_DIR=~/.kaggle        # 放置 kaggle.json（API Token）
kaggle datasets download -d newslab/cholecseg8k -p ./data
unzip ./data/cholecseg8k.zip -d ./data
# 校验
find ./data/cholecseg8k -mindepth 1 -maxdepth 1 -type d | wc -l   # 预期 17
find ./data/cholecseg8k -mindepth 2 -maxdepth 2 -type d | wc -l   # 预期 101
find ./data/cholecseg8k -name "*_endo.png" | wc -l                # 预期 8080

HF 镜像加载（注意 trust_remote_code 与镜像差异，坑点 6）：

from datasets import load_dataset
ds = load_dataset("minwoosun/CholecSeg8k", trust_remote_code=True)["train"]
print(len(ds))                          # 8080
ex = ds[0]
print(sorted(ex.keys()))                # ['annotation_mask','color_mask','image','watershed_mask']

常见下载/获取问题：Kaggle API 403 通常是未在网页端接受许可条款——先在浏览器打开数据页点一次下载按钮；HF 加载报 trust_remote_code 相关错误时确认 datasets 库版本 ≥ 2.16 且镜像 commit 未变动；下载中断用 kaggle datasets download --unzip 的断点续传不可靠，建议整包下载后校验 §6.1 清单第 1 条。

§6.3 预处理全流程

流程：掩码解析 → 类别校验 → 尺寸策略 → 标准化 → 增强（训练期）。核心代码：

import numpy as np
import torch
from PIL import Image

IMG_MEAN = [0.485, 0.456, 0.402]   # 以自算统计为准；ImageNet 均值作初值可接受
IMG_STD  = [0.229, 0.224, 0.225]

def load_pair(clip_dir: str, base: str, size=(480, 854)):
    """读取原图 + 分水岭掩码，返回 (3,H,W) float 张量与 (H,W) long 标签"""
    img = Image.open(f"{clip_dir}/{base}_endo.png").convert("RGB")
    msk = Image.open(f"{clip_dir}/{base}_endo_watershed_mask.png")
    img = img.resize((size[1], size[0]), Image.BILINEAR)
    msk = msk.resize((size[1], size[0]), Image.NEAREST)     # 掩码必须最近邻插值！
    img = torch.from_numpy(np.array(img)).permute(2, 0, 1).float() / 255.0
    img = (img - torch.tensor(IMG_MEAN).view(3, 1, 1)) / torch.tensor(IMG_STD).view(3, 1, 1)
    msk = torch.from_numpy(np.array(msk)[:, :, 0].astype(np.int64))
    return img, msk

# 类别分布统计（建议在自己机器上跑一遍，得到逐类像素占比）
def class_histogram(data_root: str, num_classes: int = 13):
    import glob, collections
    hist = collections.Counter()
    for m_path in sorted(glob.glob(f"{data_root}/*/*/*_endo_watershed_mask.png")):
        m = np.array(Image.open(m_path))[:, :, 0]
        vals, cnts = np.unique(m, return_counts=True)
        hist.update(dict(zip(vals.tolist(), cnts.tolist())))
    total = sum(hist.values())
    return {k: v / total for k, v in sorted(hist.items())}

三个不可妥协的细节：掩码 resize 必须用最近邻插值（双线性会在类别边界生成非法 ID）；标签取 [:,:,0] 单通道；输入尺寸若降至 256×256 需评估小类损失（坑点 7）。

腹腔镜特有图像问题的处理建议：其一，烟雾与血污帧——胆囊剥离阶段烟雾间歇出现，训练期以亮度/对比度抖动模拟可提升稳健性，但不要试图用阈值"清洗"掉烟雾帧（它们是真实分布的一部分）；其二，镜面反光高光——金属器械的高光区在极端情况下会饱和为纯白像素，标准化后不影响类别判断，但若做亮度类增强应避免把更多像素推入饱和；其三，光照色温漂移——不同视频间色温差异明显，逐图像白平衡归一化是可选项，但引入后会抹掉对区分组织类型有价值的色彩信息，建议仅在跨域实验中启用并在消融中验证。

§6.4 PyTorch DataLoader 完整代码

import os, glob, random
import numpy as np
import torch
from PIL import Image
from torch.utils.data import Dataset, DataLoader

class CholecSeg8k(Dataset):
    """CholecSeg8k 语义分割 Dataset。

    目录预期：data_root/{videoXX}/{clip_dir}/{base}_endo*.png
    划分单位：clip 目录（防时序泄漏，见 §5.3）。
    """
    NUM_CLASSES = 13
    IGNORE_ID   = 255   # 未出现类在 loss 中忽略（见坑点 4）

    def __init__(self, clip_dirs, size=(480, 854), augment=False):
        self.pairs = []
        for clip in clip_dirs:
            for f in sorted(os.listdir(clip)):
                if f.endswith("_endo.png"):
                    self.pairs.append((clip, f.replace("_endo.png", "")))
        self.size, self.augment = size, augment

    def __len__(self):
        return len(self.pairs)

    def _augment(self, img, msk):
        if random.random() < 0.5:                       # 水平翻转（安全）
            img, msk = img.transpose(Image.FLIP_LEFT_RIGHT), msk.transpose(Image.FLIP_LEFT_RIGHT)
        return img, msk

    def __getitem__(self, idx):
        clip, base = self.pairs[idx]
        img = Image.open(f"{clip}/{base}_endo.png").convert("RGB")
        msk = Image.open(f"{clip}/{base}_endo_watershed_mask.png")
        img = img.resize((self.size[1], self.size[0]), Image.BILINEAR)
        msk = msk.resize((self.size[1], self.size[0]), Image.NEAREST)
        if self.augment:
            img, msk = self._augment(img, msk)
        img = torch.from_numpy(np.array(img).copy()).permute(2, 0, 1).float() / 255.0
        msk = torch.from_numpy(np.array(msk)[:, :, 0].astype(np.int64))
        return img, msk

def make_loaders(data_root, split="8:1:1", batch_size=8, num_workers=4, seed=42):
    clips = sorted(glob.glob(f"{data_root}/*/*"))
    rng = random.Random(seed)
    rng.shuffle(clips)
    n1, n2 = int(len(clips) * 0.8), int(len(clips) * 0.1)
    tr, va, te = clips[:n1], clips[n1:n1 + n2], clips[n1 + n2:]   # 按 clip 划分！
    common = dict(batch_size=batch_size, num_workers=num_workers,
                  pin_memory=True, drop_last=False)
    return (DataLoader(CholecSeg8k(tr, augment=True), shuffle=True, **common),
            DataLoader(CholecSeg8k(va), **common),
            DataLoader(CholecSeg8k(te), **common))

# 用法
# tr_loader, va_loader, te_loader = make_loaders("/kaggle/input/cholecseg8k/cholecseg8k")
# img, msk = next(iter(tr_loader));  print(img.shape, msk.shape, msk.unique())

# —— 变体：按视频划分（更严格，模拟"新病例"，§5.3 优先级 2）——
def make_loaders_by_video(data_root, batch_size=8, num_workers=4, seed=42):
    videos = sorted(glob.glob(f"{data_root}/*"))          # 17 个视频目录
    rng = random.Random(seed)
    rng.shuffle(videos)
    tr, va, te = videos[:12], videos[12:14], videos[14:]  # 12/2/3
    def collect(vs):
        return [c for v in vs for c in sorted(glob.glob(f"{v}/*"))]
    common = dict(batch_size=batch_size, num_workers=num_workers, pin_memory=True)
    return (DataLoader(CholecSeg8k(collect(tr), augment=True), shuffle=True, **common),
            DataLoader(CholecSeg8k(collect(va)), **common),
            DataLoader(CholecSeg8k(collect(te)), **common))

<details>
<summary>完整训练循环 + mIoU 评估（约 45 行，点击展开）</summary>

import torch.nn as nn
import torch.nn.functional as F

def train(model, tr_loader, va_loader, device="cuda", epochs=30, lr=1e-4):
    model = model.to(device)
    opt = torch.optim.AdamW(model.parameters(), lr=lr, weight_decay=1e-4)
    sch = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=epochs)
    crit = nn.CrossEntropyLoss(ignore_index=255)
    for ep in range(epochs):
        model.train()
        for img, msk in tr_loader:
            img, msk = img.to(device), msk.to(device)
            logits = model(img)                     # (B, 13, H, W)
            logits = F.interpolate(logits, size=msk.shape[-2:], mode="bilinear", align_corners=False)
            loss = crit(logits, msk)
            opt.zero_grad(); loss.backward(); opt.step()
        sch.step()
        print(f"epoch {ep}: loss={loss.item():.4f}")
    return model

@torch.no_grad()
def evaluate(model, loader, device="cuda", num_classes=13):
    model.eval()
    inter = torch.zeros(num_classes); union = torch.zeros(num_classes)
    for img, msk in loader:
        logits = model(img.to(device))
        logits = F.interpolate(logits, size=msk.shape[-2:], mode="bilinear", align_corners=False)
        pred = logits.argmax(1).cpu()
        for c in range(num_classes):
            p, t = pred == c, msk == c
            inter[c] += (p & t).sum(); union[c] += (p | t).sum()
    iou = inter / union.clamp(min=1)
    return iou, iou.mean().item()   # 逐类 IoU 与 mIoU

</details>

§6.5 坑点 8 个

⚠️ 坑点 1：把彩色掩码当训练标签（分类：预处理陷阱）

问题：目录里有三种掩码，初学者最直觉地读取 _endo_color_mask.png 直接算 loss。彩色掩码是调色板可视化的产物，其 RGB 值与类别 ID 的对应关系并不在文件里显式给出，直接把 RGB 当类别会产生错误标签。
症状：loss 一开始就不收敛或在若干个奇怪的"类别数"上震荡；可视化预测结果出现整块颜色错乱。
解决：

1. 简单方法：永远读 _endo_watershed_mask.png，三通道同值，任取一通道 [:, :, 0] 即类别 ID。
2. 进阶方法：如确需使用彩色掩码（例如解析第三方标注），先在少数样本上建立 RGB→ID 的映射表并断言唯一性，再批量转换。
3. SOTA 方法：在 Dataset __getitem__ 中加入标签合法性断言 assert msk.max() <= 12，把错误在数据入口拦截。
   参考：Kaggle 数据集页对三种掩码的官方说明[6]；HuggingFace 加载脚本的四字段定义[12]。

⚠️ 坑点 2：掩码缩放用了双线性插值（分类：预处理陷阱）

问题：输入统一到 224/256 等尺寸时，对图像和掩码用同一个 BILINEAR resize。双线性插值在类别边界会混合出 1.7、9.5 之类的中间值，取整后成为不存在的类别。
症状：np.unique(msk) 出现大于 12 的值或非整数直方图尖峰；训练 loss 出现 NaN（若 loss 对越界标签不设防）。
解决：

1. 简单方法：掩码一律 Image.NEAREST（最近邻）插值，图像可用任意插值。
2. 进阶方法：resize 后再次断言 msk.isin(torch.arange(13)).all()；或在 loss 中以 ignore_index=255 配合越界标签过滤。
3. SOTA 方法：不用 PIL 而用 albumentations 的联合 transform，保证图像/掩码几何变换严格同步。
   参考：albumentations 官方文档对 mask 插值的建议；本条目 §6.3 代码。

⚠️ 坑点 3：按帧随机划分导致时序泄漏（分类：数据泄漏）

问题：101 个片段各含 80 帧连续画面（25 fps），若把 8,080 帧整体 shuffle 后按帧划分 train/test，测试帧的"孪生帧"（时间差 0.04-3.2 秒的近邻画面）大概率在训练集中。
症状：测试 mIoU 高得可疑（比按片段划分常见高出数个百分点）；跨片段逐帧评估时指标剧烈波动；模型对真正新场景泛化很差。
解决：

1. 简单方法：按 clip 目录划分（GroupKFold，group=clip），§6.4 的 make_loaders 已实现。
2. 进阶方法：按 video 目录划分（group=video），模拟"没见过的病例"，最严格；测试集方差大时用 3 个种子重复。
3. SOTA 方法：同时报告按片段与按视频两种协议的结果，并公开划分清单（CRAC-DM 的 81/20 片段划分[9]是可对照的公开协议）。
   参考：MAST[10] 按病例划分的动机说明；§5.3。

⚠️ 坑点 4：类别不均衡吞掉小类（分类：偏倚陷阱）

问题：13 类中肝、腹壁、胆囊等大类占据绝大多数像素，Grasper、Blood、L-hook electrocautery、Hepatic Vein 各不足 1%（合计占比更低）。朴素 CrossEntropy 下模型倾向把小类像素归给相邻大类。
症状：整体 mIoU 看起来不错（被大类抬升），但逐类 IoU 里器械/血管/胆囊管接近 0；混淆矩阵中这些类几乎整列归零。
解决：

1. 简单方法：CrossEntropyLoss(weight=...)，权重取逆类频率或逆平方根频率。
2. 进阶方法：OHEM（在线难例挖掘）或 Focal Loss；采样上对含小类的片段过采样。
3. SOTA 方法：报告逐类 IoU + 大类/小类分组均值（CRAC-DM 等新论文的评估口径[9]），训练用类别感知采样。
   参考：emergentmind 对该数据集不均衡特性的综述[8]；§8.2。

⚠️ 坑点 5：把背景（视野外黑边）计入评估（分类：评估误用）

问题：854×480 画幅中腹腔镜视野是圆形，视野外是纯黑填充且被标为类别 0（背景）。背景含"真黑边"与"画面内背景"两部分，黑边部分模型可以轻易答对。
症状：mIoU 被背景类虚高（背景 IoU 接近 1.0 且权重 1/13）；与忽略背景的论文数字差 1-3 个点，无法对齐。
解决：

1. 简单方法：评估时明确声明口径——包含背景（13 类）还是忽略背景（12 类），社区两种都有。
2. 进阶方法：以内切圆裁剪视野后再评估，或对黑边区域施加 ignore mask。
3. SOTA 方法：同时报告 13 类与 12 类（去背景）两套 mIoU，如 Roboflow 衍生版干脆去掉了背景类（12 类）[13]。
   参考：Kaggle 页面对背景类的定义[6]；§4.5。

⚠️ 坑点 6：HuggingFace 多镜像与官方包不一致（分类：工程陷阱）

问题：HF 上存在多个社区镜像（minwoosun、MINASS 等），加载脚本、字段名、排序、license 标注互有出入；minwoosun/CholecSeg8k 需要 trust_remote_code=True 且只有单一 train split。
症状：换镜像后 KeyError/字段名对不上；datasets 版本升级后加载脚本报错；论文复现时数据顺序与原作者不同。
解决：

1. 简单方法：优先用 Kaggle 官方包 + 自写 Dataset（§6.4），对数据来源完全可控。
2. 进阶方法：用 HF 镜像时锁定 datasets 版本与镜像 commit hash，并在需求文档中记录。
3. SOTA 方法：把"数据校验"（101 clips/8,080 帧/ID 值域）写进 CI，任何镜像切换先过校验。
   参考：HF 加载脚本[12]；Roboflow 衍生版类目差异[13]。

⚠️ 坑点 7：暴力降分辨率抹掉细小结构（分类：预处理陷阱）

问题：为省显存把 854×480 直接降到 224×224，胆囊管、肝静脉、L-hook 尖端等细小结构的像素带在降采样后可能只剩零星像素甚至消失。
症状：小类 IoU 全线塌方；可视化发现胆囊管区域被预测为周围组织；与论文（通常 256×256 或更高）对不齐。
解决：

1. 简单方法：至少保留 480p 短边；评估分辨率与训练分辨率一致。
2. 进阶方法：以 256×256 训练（CRAC-DM 即如此[9]）时，逐类对比 480p 基线，量化小类损失再取舍。
3. SOTA 方法：滑窗/多尺度推理保留细节，或对小类做边界感知的损失加权。
   参考：§8.1 各论文的分辨率口径差异。

⚠️ 坑点 8：忽略 CC BY-NC-SA 的合规链（分类：工程陷阱）

问题：数据集以 CC BY-NC-SA 4.0 发布——署名、非商业、相同方式共享三重约束。且上游 Cholec80 由 CAMMA 组单独管理（申请制），把 CholecSeg8k 掩码与 Cholec80 原视频配对使用涉及两层许可。
症状：商业化部署被法务叫停；论文/产品未署名构成违约；把模型权重（在非商业数据上训练）直接卖商用服务引发许可争议。
解决：

1. 简单方法：任何产出（论文、模型卡、产品页）注明来源与许可，引用 Hong et al., 2020[1]。
2. 进阶方法：商用前联系版权方取得商业授权；与 Cholec80 视频配对前确认 CAMMA 的使用条款。
3. SOTA 方法：建立数据合规台账（来源、许可、用途、联系人），把许可检查纳入模型发布 checklist。
   参考：arXiv 论文摘要中的许可声明[1]；CAMMA 数据集页[6]。

§6.6 数据增强

类别	具体手段	说明
✅ 安全	水平翻转、随机缩放（0.5-2.0）、随机裁剪、亮度/对比度抖动、高斯模糊	几何变换需图像/掩码同步；光照类模拟镜面反光与烟雾
✅ 安全	小角度旋转（±10°）、噪声注入	内镜视野角度变化常见，安全
❌ 危险	垂直翻转	腹腔镜画面有强重力先验（肝在上方、器械自右上入路），垂直翻转制造不真实分布
❌ 危险	大角度旋转（>30°）破坏入路方向先验	同上
❌ 危险	灰度反转/极端色调映射	会摧毁器械金属反光与组织血供的真实色彩关系
⚠️ 谨慎	CutOut/CopyPaste	若把小类实例粘贴到新背景，需确认类别边界语义成立（如胆囊管不能贴到腹壁上）

增强策略的经验法则：手术场景的"真实性边界"比自然图像严格得多——画面里的每个结构都受解剖位置、重力方向与术者入路习惯约束。一条实用的自检标准：把增强后的样本拿给不了解实验的术者看，若对方能一眼指出"这画面不真实"，则该增强大概率在教模型学习不存在的形态学，应降强度或移除。

§6.7 模型推荐表

模型	适用性	起步配置	备注
U-Net (ResNet50)	⭐⭐⭐⭐⭐ 基线首选	batch 8, lr 1e-4, AdamW, 30 epoch	单卡 8GB 可跑，社区公开 IoU 0.48-0.62 区间[14]
DeepLabV3+ (ResNet)	⭐⭐⭐⭐	ASPP 默认，output_stride 16	多尺度感受野适合器官大块区域
TransUNet / UNetR	⭐⭐⭐⭐	patch 16，需 11GB+ 显存	公开对比 IoU 0.55-0.62[14]
SegFormer / Mask2Former	⭐⭐⭐⭐⭐ 当前推荐	MiT-b3 起，单卡 12GB	CRAC-DM 的对比基线之一[9]
SAM 系列适配（S-SAM/LRA-SAM）	⭐⭐⭐	参数高效微调	适配类方法公开 IoU 0.65-0.71[14]
时空方法（MAST 类）	⭐⭐⭐	需连续帧输入	利用 80 帧连续特性提升时间一致性[10]
扩散分割（CRAC-DM）	⭐⭐	研究向，训练成本高	2026 年 SOTA 方向之一[9]

选型决策路径：第一步问任务——纯语义分割从 U-Net/SegFormer 起步，器械实例分析转 CholecInstanceSeg；第二步问资源——单卡 8-11 GB 选 CNN 系 480p，12 GB+ 可上 Transformer；第三步问指标侧重——关心时间一致性（部署到视频流）则必须有连续帧输入与 TC 指标（MAST 协议）；第四步问可比性——目标是与文献对比时，先选定一篇对齐协议（如 CRAC-DM 的 81/20 片段划分）再复现其基线，而不是自己发明划分。

§6.8 硬件需求表

场景	GPU 显存	典型吞吐	说明
调试链路（80 帧子集）	4-6 GB	分钟级	验证加载与 loss 下降
U-Net/DeepLabV3+ 480p 训练	8-11 GB	约 1-2 h / 30 epoch（T4）	最常见配置
Transformer 系 480p	12-24 GB	约 2-5 h / 30 epoch	batch 需降或用梯度累积
扩散/多尺度大模型	24 GB+（A100 级）	数小时-1 天	研究向

§6.9 评估指标代码

import torch

@torch.no_grad()
def per_class_iou(pred, target, num_classes=13, ignore_background=False):
    """pred/target: (B,H,W) int。返回逐类 IoU（ndarray）。"""
    start = 1 if ignore_background else 0
    ious = []
    for c in range(start, num_classes):
        p, t = pred == c, target == c
        inter = (p & t).sum().item()
        union = (p | t).sum().item()
        if union == 0:
            continue                      # 该类未出现，跳过而非记 0
        ious.append(inter / union)
    return ious

def mIoU_report(pred, target, class_names):
    ious = per_class_iou(pred, target)
    lines = [f"{name}: {iou:.3f}" for name, iou in zip(class_names[1:], ious)]
    return "\n".join(lines) + f"\nmIoU(去背景): {sum(ious)/len(ious):.4f}"

# 用法：每类 IoU 与整体 mIoU 分开报告；同时给出 13 类与 12 类两套口径（坑点 5）。

指标口径补充说明：逐类 IoU 的聚合方式本身就有一个隐藏分歧——“mIoU = 对出现过的类取平均"还是"对全部 13 类取平均（未出现类记 0）”。两者在测试集小时可能差出数个百分点。本文代码采用"未出现类跳过"口径（与多数语义分割库一致），但务必在与他人结果对比前确认对方口径并统一。若报告逐类结果，建议附每类的出现帧数，让读者能自行判断哪些类的 IoU 建立在多少有效样本上。

§6.10 MLOps 笔记

• 数据版本化：以 DVC 或 git-lfs 管理"划分清单 + 校验和"，模型版本与划分种子绑定记录；Kaggle 包若更新（至今未发生），校验 101/8,080 计数即可发现。
• 指标监控：训练期同时记录大类均值 IoU 与小类均值 IoU（器械 + 血管），小类曲线是过拟合最早的信号。
• 可复现性：固定 seed（数据 shuffle、增强、初始化三处）；把 clip 划分清单 落盘 JSON 并入库，评估时按清单还原。
• 评测协议对齐：对比论文数字前，先核对三件事——划分协议（§5.2）、分辨率（坑点 7）、背景口径（坑点 5）。三者任一不同，数字不可比。
• 许可合规：CI 中加许可检查步骤，产出（权重/报告）发布前确认 CC BY-NC-SA 约束（坑点 8）。
• 实验登记：每次训练在实验跟踪工具（MLflow/W&B）中记录数据根目录的哈希、划分清单哈希与代码版本，三者构成可复现实验的最小元组；论文写作阶段直接导出，避免"最后一个实验用记忆补齐"的经典事故。

§7 质量评估与局限性

§7.1 已知偏倚

偏倚类型	描述	严重程度	缓解措施
单中心偏倚	全部视频来自斯特拉斯堡单中心 Cholec80 语料，设备、光照、术式习惯单一	高	外部验证（§7.8）；多中心微调
术式单一	仅胆囊切除，不能证明对其他术式泛化	高	明确定义适用域；跨术式评测
阶段选择偏倚	片段聚焦胆囊剥离阶段，术前/术后缺失	中	声明适用阶段；补充全流程数据
类别不均衡	器械/血管类 <1% 像素	高	加权 loss、过采样、逐类报告（坑点 4）
标注者群体	研究生标注、非医师；边界分歧未完全仲裁	中	复标抽样评估；关键任务引入医师复核
患者元数据缺失	无法做人群分层与公平性分析	中	结合原始医院数据（如有权限）
标注粒度波动	脂肪/结缔组织等语义模糊带的帧间不一致	低-中	边界容差评估；模糊带单独报告

§7.2 标注质量

标注经第二人交叉核查，器官类边界一致性被优先保证；官方未发布量化一致性系数。社区复用经验（CholecInstanceSeg 团队以 CholecSeg8k 作为其标注起点之一）侧面印证了标注的可用性[15]。已知短板集中在语义模糊带：脂肪与结缔组织过渡、肝韧带与腹壁邻接处的类间边界存在帧间粒度波动[8]。对小类（胆囊管、肝静脉）做高精度应用前，建议自行抽样 50-100 帧复标并计算类内 Dice。

§7.3 泛化性评估

目标场景	失效风险	证据
他院腹腔镜胆囊切除	中：设备色彩/光照差异导致域偏移	单中心来源[6]；OOD 榜单将特定视频整段留出即出现明显下降
机器人手术（da Vinci）	高：视野、器械形态完全不同	EndoVis 系列与本数据集域差显著；跨域研究常需适配层
烟雾/出血严重帧	中-高：标注本身在低烟雾帧为主	阶段选择偏倚[8]；出血帧 Blood 类样本少
非胆囊术式	高：类别体系不适用	13 类为胆囊切除定制
SAM 类基础模型零样本	高：精细解剖边界弱	SAM2 系统评测显示零样本 mIoU 远低于微调方法[16]

对泛化边界的诚实表述建议：基于本数据集训练的模型，其"适用域"最稳妥的写法是"单中心腹腔镜胆囊切除术、胆囊剥离阶段、经典多孔入路"。任何超出这一表述的部署主张（如适应其他术式、其他中心），都需要对应的验证实验支撑，而不是靠"数据来自真实手术"来暗示通用性——这是手术 AI 论文审稿中最常见的质疑点之一。

§7.4 伦理

上游视频为患者手术录像，CAMMA/Strasbourg 在 Cholec80 发布时已完成去标识化处理（内镜画面不含面部与身份信息）[6][15]。CholecSeg8k 本身不含患者级元数据，无法反推个人身份。使用约束以许可协议为准：CC BY-NC-SA 4.0 排除商业用途；将数据用于模型训练并对外发布模型时，应声明数据来源与许可约束。涉及临床部署的研究另需所在机构伦理审批。

两点延伸提醒：其一，虽然画面本身无身份信息，但目录名与上游元数据组合在理论上可回溯到具体手术记录，二次分发标注子集时应保持同样的粒度约束（不要附加自建的患者映射表）；其二，模型在真实手术室部署时输出的解剖分割若影响术者决策，在多数司法辖区可能进入医疗器械软件监管范畴，研究者应在论文与产品文档中明确声明研究用途边界。

§7.5 公平性

数据集不提供患者年龄、性别、种族等属性，无法直接做分层公平性评估；单中心欧洲人群本身构成代表性限制（§7.1）。对公平性敏感的应用（如不同人群手术质量监测），应在自有数据上重测并报告分层指标，而非引用本数据集结论外推。一个务实做法：把"人群代表性未知"写进模型卡（model card）的已知限制栏，与 §7.1 的单中心偏倚并列披露，避免下游使用者误以为该数据覆盖了代表性人群谱系。

§7.6 数据漂移

主要漂移源：成像设备换代（4K 镜、荧光成像）、术式演进（经脐单孔等，SNOMED 713872007 所指术式与本数据集经典多孔视野差异显著）、新器械出现。监控建议：部署后按月统计输入帧的像素统计（均值/方差）与预测类别分布，相对训练分布的偏移超阈值触发复核；MAST 的时间一致性（TC）指标也可作为部署期稳定性的轻量探针[10]。

落地实施上，最简单有效的三件套是：输入侧监控（逐帧直方图与训练集 JS 散度）、输出侧监控（逐类别预测像素占比曲线）、人工抽检（每周随机 20 帧叠加可视化复查）。三者中任何一项异常，优先排查采集设备或术式是否变更，其次才考虑模型重训——实践中多数"漂移报警"最终归因于新设备上线而非模型退化。

§7.7 DAIMS 24 项自评估

#	检查项	状态	说明
1	宽格式	✅	每帧四文件一一配对，目录结构即宽表
2	唯一标识	✅	{video}_{startFrame}_{frameIndex} 全局唯一
3	特殊字符	✅	文件名仅字母数字下划线
4	重复行	✅	8,080 帧无重复（101×80 校验可复现）
5	缺失编码	⚠️	无缺失帧；但视野外黑边与背景混在同一 ID
6	标签标识	✅	类别 ID 0-12 语义明确（Kaggle 页文档）
7	罕见类分组	⚠️	器械/血管类 <1%，官方未做稀有类合并或加权建议
8	偏倚评估	⚠️	单中心/单术式偏倚明确存在，官方未发布偏倚评估章节
9	数据字典	✅	Kaggle 页与 arXiv 论文描述完备（四文件、13 类）
10	信息性缺失解释	⚠️	无患者元数据，"不提供"未在官方文档集中解释
11	设备记录	❌	镜体品牌/型号未公开
12	共线性	✅	13 类互斥，无编码共线性问题
13	编码映射	✅	ID→类名映射完整且社区一致
14	时间戳处理	⚠️	仅目录名隐含起始帧索引，无绝对时间戳
15	划分建议	❌	官方零划分（社区已形成多种惯例，见 §5.2）
16	泄漏讨论	⚠️	官方未讨论；时序泄漏风险需使用者自行规避（坑点 3）
17	标签分布	⚠️	未公布逐类像素占比；不均衡事实明确
18	测量偏倚	⚠️	标注粒度波动（脂肪/结缔组织带）已有披露但未量化
19	外部验证建议	✅	数据集性质天然要求外部验证，生态内路径清晰（§7.8）
20	版本记录	✅	单版本 v1.0.0，arXiv 记录明确
21	预处理脚本	❌	官方未提供；社区镜像含加载脚本（§6.2）
22	合规要求	✅	CC BY-NC-SA 4.0 清晰可执行
23	多模态对齐	⚠️	单模态（RGB 帧 + 掩码）；与上游相位/器械标注对齐需自建
24	去标识化	✅	内镜画面无面部/身份信息，上游已脱敏

DAIMS 评分：16.5 / 24（✅ 计 1 分、⚠️ 计 0.5 分、❌ 计 0 分；上表 ✅ 12 项 + ⚠️ 9 项 × 0.5 = 16.5）

评分解读：数据本体质量高（唯一标识、格式、标签映射、许可、去标识化共 12 项全部达标），扣分集中在三处——工程配套缺失（无官方划分、无预处理脚本、无设备记录，共 3 个 ❌）与工程风险点（稀有类、泄漏、统计口径等 9 个 ⚠️）。这不是数据本身的缺陷，而是 2020 年发布的学术数据集的普遍形态：作者把精力投入了高成本的像素标注，把划分与预处理留给了社区。

对你意味着什么：

1. 可以直接用：加载链路、标签体系、许可条款——半天内可完成接入并开训。
2. 必须自己补：防泄漏划分（§5.3）、类别分布统计（§6.3）、评估口径声明（坑点 5）——这三件事没做，实验结论不可信。
3. 不要指望：患者级分析、多中心泛化结论、直接商用——分别受元数据缺失、单中心来源、NC 许可限制。
4. 交付前自查：把本条目的 §6.1 验证清单、§5.3 划分原则、§8.3 协议五要素做成团队 checklist——三者覆盖了该数据集 90% 的已知翻车场景（对应坑点 1-8）。

§7.8 外部验证矩阵

外部数据集/场景	来源机构	评估任务	性能指标	相对内部变化	关键发现
私有机器人部分肾切除 137 例	Medtronic Digital Surgery[10]	时序语义分割（MAST）	mIoU/TC 提升	随时间解码器加入持续提升	时空建模的增益跨术式成立
PolypDiag（息肉诊断）	C2E 论文评测[14]	相位/诊断迁移	准确率 94.0%±0.7	优于 EndoFM 等 90.7-91.3	以 CholecSeg8k 分割微调的编码器可迁移
STIR（无标注机器人视频）	PT+SAM 评测[11]	零样本定性评估	无量化指标	—	微调后的点提示跟踪具备跨域视觉合理性
EndoVis18（机器人离体）	多篇跨域研究	跨域分割	显著下降	常规出现大幅 mIoU 下降	域差（人/猪、腹/机械臂）是主要失效源

§8 基准性能与生态

§8.1 排行榜

下表转录自 C2E 论文（arXiv 2506.01980，2025）在同一实验设置下的对比实验（IoU）[14]。注意：各方法的原始论文因划分协议、分辨率、背景口径不同，数字不可直接互比；本表价值在于同设置下的相对排序。

排名	模型	IoU	年份	关键技术	完整引用	代码
1	C2E	0.74	2025	手术基础模型 + 压缩与熵最大化微调	T. Gupta et al., 2025, arXiv:2506.01980. https://arxiv.org/abs/2506.01980	论文附
2	S-SAM	0.71	2024	SAM 参数高效适配	Chen et al., 2024（见 C2E 表 4 转引）	—
3	SAM 低秩适配	0.65	2024	LoRA on SAM	见 C2E 表 4 转引[14]	—
4	Adaptive SAM	0.64	2024	自适应提示 SAM	见 C2E 表 4 转引[14]	—
5	TransUNet	0.62	2021	ViT + CNN 混合解码	Chen et al., 2021（转引）	开源
5	U-Net++	0.62	2018	嵌套稠密跳跃连接	Zhou et al., 2018（转引）	开源
7	MedT	0.57	2021	医学 Transformer	Valanarasu et al., 2021（转引）	开源
8	DeepLabV3+	0.56	2018	ASPP + 解码器	Chen et al., 2018（转引）	开源
9	UNetR	0.55	2022	3D→2D Transformer	Hatamizadeh et al.（转引）	开源
10	U-Net	0.48	2015	编码解码基线	Ronneberger et al., 2015（转引）	开源
11	SAMed	0.41	2023	SAM 医学适配（弱）	见 C2E 表 4 转引[14]	开源

另有：MAST（时空解码器）在自定 75/25 按病例划分下报告了相对单帧模型的 mIoU 与时间一致性双提升[10]；CRAC-DM（扩散模型）在 81/20 片段划分下对比 nnU-Net、SegFormer、Mask2Former 等取得领先[9]。SAM2 系统评测（2025）显示零样本 SAM2 在本数据集明显弱于监督方法[16]。

关于上表数字的三点披露：其一，C2E 表 4 中的对比方法系其自行复现，输入尺寸与训练配置随其论文设定，与各方法原论文数字可能不同；其二，C2E 未在摘要中说明其划分是否防泄漏（按 clip 或按帧），使用其对比结果时应视为"单协议内部排序"而非绝对性能；其三，跨论文最常见的不对称是"有人按 video 划分、有人按帧划分"，前者的 0.60 可能比后者的 0.65 更有价值——阅读任何论文的绝对数字前，先看它的划分协议。

§8.2 SOTA 总结与选型建议

• 想刷点：时空方法（利用 80 连续帧）与基础模型适配（SAM 系）是当前两条主要提分路径；扩散分割是新兴方向但训练成本高。
• 想用对：小类性能比总分更能区分方法好坏——优先看 Grasper/Blood/Cystic Duct/Hepatic Vein 的逐类 IoU（坑点 4）。
• 想迁移：基础模型微调（C2E、SAM 系）的迁移证据链最完整（§7.8），适合下游任务预训练。
• 对齐警告：与任何论文比较前，核对划分协议/分辨率/背景口径三要素，否则一切比较无效。

从时间线看该数据集上的方法演进有清晰的三个阶段：2018-2021 年 CNN 系基线（U-Net 族，IoU 0.48-0.62 量级）确立下限；2022-2024 年 Transformer 与 SAM 适配把公开数字推进到 0.62-0.71；2025-2026 年基础模型微调（C2E 0.74）与扩散模型在各自协议上继续抬升。演进的主线不是架构本身，而是"预训练数据多样性 + 参数高效适配"——这一趋势对新工作的启示是：在小数据集上比较架构的意义在下降，比较适配策略与数据利用效率的意义在上升。

§8.3 评测协议

1. 划分：按 clip 或按 video，公开清单；2. 输入分辨率：480p 或明确声明降采样；3. 指标：mIoU（同时报 13 类与去背景 12 类）+ 逐类 IoU，视频方法加报时间一致性 TC；4. 重复：≥3 种子报均值±标准差；5. 声明：增强策略与 loss 加权方式。

协议的可执行版建议直接以"实验登记表"形式落盘：一行为一次实验，列包括划分清单哈希、分辨率、增强列表、loss 配置、逐类 IoU 全表。审稿回复与复现请求时直接附表——本数据集体量小、训练快，完整复现成本极低，实验透明度的边际收益因此特别高。

§8.4 相关数据集表

数据集	规模	标注	许可/获取	与本数据集关系
Cholec80	80 视频	相位 + 器械存在	CAMMA 申请制	上游语料
CholecT50	50 视频	三元组（器械-动作-目标）	研究申请	同语料的动作理解集
CholecInstanceSeg	41,900 帧	7 类工具实例掩码	开放（2025）[15]	复用 CholecSeg8k 全部帧
EndoVis18	3,232 帧	7 类器械分割	开放挑战赛数据	跨域评测常用外部集
Endoscapes-Seg50	493 密集帧	5 解剖类 + 器械	开放（2023）	CVS 导向的互补解剖标注
m2cai 系列工具分割	数千帧	器械二值/多类	开放	早期器械分割基准

组合使用建议：以 CholecSeg8k 为主训练集时，Endoscapes-Seg50 是同术式的天然外部验证集（类别可映射），EndoVis18 是跨域压力测试集，CholecInstanceSeg 是器械任务升级路径；三者加上游 Cholec80 构成完整的"训练—同域验证—跨域测试—规模扩展"闭环。

§8.5 关键论文 Top 8

1. Hong W.-Y. et al., “CholecSeg8k: A Semantic Segmentation Dataset for Laparoscopic Cholecystectomy Based on Cholec80”, arXiv:2012.12453, 2020. DOI: 10.48550/arXiv.2012.12453 — 数据集原论文，定义 13 类体系与四文件结构[1]。
2. Twinanda A.P. et al., “EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos”, IEEE TMI, 2017. DOI: 10.1109/TMI.2016.2593957 — 上游 Cholec80 相位识别基座[6]。
3. Grammatikopoulou M. et al., “A spatio-temporal network for video semantic segmentation in surgical videos”, arXiv:2306.11052, 2023 — 时空解码器与 TC 指标，按病例划分典范[10]。
4. Alabi O. et al., “CholecInstanceSeg: A Tool Instance Segmentation Dataset for Laparoscopic Surgery”, Nature Scientific Data, 2025. DOI: 10.1038/s41597-025-05163-w — 复用 CholecSeg8k 帧的超集工作[15]。
5. C2E（Gupta T. et al.）, “Surgical Foundation Model Leveraging Compression and Entropy Maximization”, arXiv:2506.01980, 2025 — 当前公开同设置对比中的最高 IoU 0.74[14]。
6. CRAC-DM, “Class relation-aware categorical diffusion model for surgical scene segmentation”, Int J CARS, 2026. DOI: 10.1007/s11548-026-03601-7 — 扩散分割新 SOTA 方向[9]。
7. Chen J. et al., “TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation”, arXiv:2102.04306, 2021 — 被广泛引用的对比基线[14]。
8. Kirillov A. et al., “Segment Anything”, ICCV, 2023 — SAM 系列适配研究（S-SAM 等）的基础模型[14]。

§8.6 社区活跃度

Kaggle 数据集页为官方下载入口；HuggingFace 存在多个社区镜像（minwoosun 等）并被多篇论文复现引用；Semantic Scholar 引用 180+（截至 2026-09）；GitHub 上无官方代码仓库，社区以自实现 Dataset 为主。总体判断：引用稳定增长、无官方维护但生态自洽，适合长期引用。

活跃度的三个观察：其一，引用形态健康——既有方法论文（分割、基础模型）也有数据集论文（CholecInstanceSeg 等）持续引用，说明其作为"基础设施"而非"一次性热点"的地位；其二，维护形态是"静态数据 + 动态生态"——原数据六年间无修订，但 Kaggle Notebook、HF 镜像与第三方评测持续更新，使用风险主要来自镜像漂移而非数据本身（坑点 6）；其三，与同期发布的同类数据集相比，其引用密度（引用数/年/千帧标注）在手术分割领域居前，可见其标注密度与开放许可组合的市场稀缺性。

§8.7 生态快照

资源	类型	链接	Star/热度（截至 2026-09）	推荐理由
Kaggle 官方数据页	数据托管	kaggle	官方入口	下载与许可说明
minwoosun/CholecSeg8k	HF 镜像	huggingface	社区常用	datasets 库一键加载
arXiv:2012.12453	原论文	arxiv	引用 180+	方法学出处
CAMMA datasets 页	上游数据	camma.unistra.fr	机构页	Cholec80 申请
CholecInstanceSeg	衍生数据集	GitHub	2025 新发布	实例分割升级路径
MAST	方法代码	arXiv	论文页	时空基线参考
mmsegmentation	训练框架	GitHub	8k+ Star	快速接入各分割模型

生态接入建议：把本数据集接入 mmsegmentation 时，自定义 Dataset 只需实现"目录扫描 → 四文件配对 → watershed 掩码读单通道"三步（§6.4 代码可平移）；接入 Detectron2/MMDetection 做实例化研究时，可借用 CholecInstanceSeg 工具仓库的格式转换脚本（LabelMe→COCO）；做基础模型微调则直接用 HF 镜像。三条路径的共性前置步骤都是 §6.1 的加载验证清单。

§9 相关资源与引用

§9.1 官方资源

• 论文（arXiv）：arxiv.org/abs/2012.12453
• 官方数据（Kaggle）：kaggle.com/datasets/newslab/cholecseg8k
• HuggingFace 镜像：huggingface.co/datasets/minwoosun/CholecSeg8k
• 上游 Cholec80 申请：camma.unistra.fr/datasets
• 标注工具 PixelAnnotationTool：开源项目（社区 fork 多，以原作者 Xunsing 仓库为源头）
• 相关上游论文 EndoNet（Cholec80 相位基座）：IEEE TMI 2017，DOI: 10.1109/TMI.2016.2593957

§9.2 教程与社区

• HuggingFace 数据卡（含可视化 demo 代码）：minwoosun/CholecSeg8k 页面
• Kaggle Notebook 社区：站内搜索 CholecSeg8k 可见多份公开 Notebook（加载/训练示例）
• mmsegmentation / segmentation_models.pytorch：以自定义 Dataset 接入（§6.4 即可改造）
• CholecInstanceSeg 工具仓库（Yang-Li86/cholec_instance_seg_util）：含标签转换、掩码可视化、LabelMe→COCO 转换等 utility，可反向服务于本数据集的掩码处理
• Roboflow Universe（comp-5900/cholec-seg-8k-instance）：实例分割衍生版与在线推理 demo，适合快速原型演示

§9.2b 常见问题速答

问题	答案
可以商用吗？	不可以。CC BY-NC-SA 4.0 排除商业使用；商用需另行取得版权方授权
需要注册申请吗？	Kaggle 下载仅需账号；上游 Cholec80 视频才需要向 CAMMA 申请
有官方训练代码吗？	没有。官方仅发布数据与论文；加载脚本见 HF 镜像，完整 Dataset 参考本页 §6.4
有官方 train/test 划分吗？	没有。社区惯例见 §5.2，防泄漏原则见 §5.3
可以和 Cholec80 相位标注一起用吗？	可以，按目录名映射回原视频即可（§3.11），注意双层许可
掩码为什么是三通道的？	watershed mask 三通道同值是标注工具产物，取一通道即可（坑点 1）

§9.3 BibTeX 引用块

@misc{hong2020cholecseg8k,
  title         = {CholecSeg8k: A Semantic Segmentation Dataset for Laparoscopic
                   Cholecystectomy Based on Cholec80},
  author        = {Hong, W.-Y. and Kao, C.-L. and Kuo, Y.-H. and Wang, J.-R.
                   and Chang, W.-L. and Shih, C.-S.},
  year          = {2020},
  eprint        = {2012.12453},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  doi           = {10.48550/arXiv.2012.12453},
  url           = {https://arxiv.org/abs/2012.12453}
}

@article{twinanda2017endonet,
  title   = {EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos},
  author  = {Twinanda, Andru Putra and Shehata, Sherif and Mutter, Didier and
             Marescaux, Jacques and de Mathelin, Michel and Padoy, Nicolas},
  journal = {IEEE Transactions on Medical Imaging},
  volume  = {36},
  number  = {1},
  pages   = {86--97},
  year    = {2017},
  doi     = {10.1109/TMI.2016.2593957}
}

§9.4 引用指南

• 引用数据集本体：使用 hong2020cholecseg8k。
• 引用上游视频语料：同时引用 Cholec80（Twinanda et al., 2017 / CAMMA 数据页）。
• 引用本 Wiki：注明千方病案医数集页面与最后审核日期（2026-09-05）。
• 引用基准数字：区分三种情况——引用某方法的原始结果引该方法的论文；引用同设置对比表引 C2E（arXiv:2506.01980）并注明转引；引用划分协议引对应用户论文（CRAC-DM/MAST/PT+SAM 之一）。

§10 AI 使用声明卡

§10.1 AI 模型列表

环节	模型/工具	用途
内容起草	大语言模型（CodeBuddy fast-model）	资料整理与正文起草

§10.2 AI 参与范围

AI 参与文献检索结果整理、结构规划与正文起草；所有事实性数字以 §10.3 所列来源核对；章节结构与格式规范由人工模板约束；结论性表述（§1.2、§7.7、§8.2）经人工审校。AI 未参与任何数据生成、代码实测或指标复算——本页所有代码为示例性质，运行结果以使用者环境实测为准。

§10.3 输入来源列表

1. Hong W.-Y. et al., arXiv:2012.12453, 2020. https://arxiv.org/abs/2012.12453
2. Kaggle 数据集页（newslab/cholecseg8k）. https://www.kaggle.com/datasets/newslab/cholecseg8k
3. HuggingFace 加载脚本（minwoosun/CholecSeg8k）. https://huggingface.co/datasets/minwoosun/CholecSeg8k
4. Semantic Scholar 引用记录（检索于 2026-09-08）. https://api.semanticscholar.org/graph/v1/paper/arXiv:2012.12453
5. Alabi O. et al., CholecInstanceSeg, Nat. Sci. Data, 2025. https://www.nature.com/articles/s41597-025-05163-w
6. Grammatikopoulou M. et al., arXiv:2306.11052, 2023. https://arxiv.org/abs/2306.11052
7. CRAC-DM, Int J CARS, 2026. https://link.springer.com/article/10.1007/s11548-026-03601-7
8. C2E, arXiv:2506.01980, 2025. https://arxiv.org/abs/2506.01980
9. PT+SAM, IET Health Technology Letters, 2025. https://ietresearch.onlinelibrary.wiley.com/doi/10.1049/htl2.12111
10. SAM2 系统评测, arXiv:2501.00525, 2025. https://arxiv.org/abs/2501.00525
11. EmergentMind 主题页（CholecSeg8k）. http://www.emergentmind.com/topics/cholecseg8k-dataset
12. Find-A-Code ICD-11 DC11. https://findacode.com/icd-11/code-1268183934.html
13. NCBO BioPortal SNOMED CT 45595009. https://bioportal.bioontology.org/ontologies/SNOMEDCT
14. Roboflow 衍生数据页. https://universe.roboflow.com/comp-5900/cholec-seg-8k-instance
15. ArxivLens 论文页（arXiv:2012.12453）. https://arxivlens.com

§10.4 人工校验记录

内容模块	审核者	审核方式	审核状态
§2 医学背景（ICD-11/SNOMED/疾病描述）	千方病案医学编辑部	对照 ICD-11/SNOMED 官方编码库与指南文献逐项核对	✅ 已通过/已验证
§3-§4 规格、目录结构与数据字典	千方病案数据工程师	对照 Kaggle 官方页与 arXiv 论文逐字段核对	✅ 已通过/已验证
§6 代码与坑点	千方病案数据工程师	代码逻辑走查 + 官方文档比对	✅ 已通过/已验证
§5/§7/§8 划分、偏倚与基准	千方病案医学编辑部	对照原始论文与外部评测文献交叉核对	✅ 已通过/已验证
§9-§10 引用与声明卡	千方病案医学编辑部	BibTeX 字段逐项与 arXiv 元数据核对	✅ 已通过/已验证

§10.5 AI 生成章节标注

正文全部章节由 AI 辅助起草（§10.1 所列模型），经 §10.4 所列人工审核流程校验后发布；事实性错误风险最高的模块（医学编码、基准数字）采用双来源核对。

§10.6 最后人工审核

最后人工审核日期：2026-09-05

版本备注：本页面内容基于数据集唯一公开版本（v1.0.0，2020-12-23）撰写；若数据集未来发布修订版或新划分，本页将按审核流程更新。

页面状态：published（全部内容已完成审核并发布）