CholecTriplet2022 手术动作三元组检测挑战赛

CholecTriplet2022 是 2022 年挂靠 MICCAI 会议 EndoVis（Endoscopic Vision Challenge）体系举办的一项全球性内镜视觉挑战赛，主题是手术动作三元组（surgical action triplet）的识别与检测。它把「手术视频理解」从「这段视频在做什么阶段」推进到「哪把器械正在对哪块组织做什么动作」的细粒度层面，官方数据集为 CholecT50 的挑战赛版本。

比赛的核心设定是一种刻意为之的弱监督（weak supervision）：参赛者拿到的训练数据只有帧级二元存在标签，没有任何边界框；而评测时却要求模型既报出三元组、又框出器械尖端、还要把框和三元组正确配对。这一「训练低保真、评测高保真」的设计使它成为弱监督定位方法最受关注的试炼场之一。

最终结果于 2022 年 9 月 18 日在新加坡举行的 MICCAI 2022 会议现场公布，赛程总结论文以 arXiv:2302.06294 公开发布，系统给出了识别、定位、关联三个层面的成绩区间与误差分解方法，成为此后手术动作三元组检测方向的标准引用源。

§1 它是什么：一场比赛、一个基准、一条研究议程

1.1 挑战赛本体

CholecTriplet2022 全称「an endoscopic vision challenge for surgical action triplet detection」，是 MICCAI EndoVis grand challenge 系列在 2022 年的赛事之一。提案于 2021 年 12 月提交，经两轮 MICCAI 评审后获批，随后公开征集参赛。赛程从 2022 年 4 月 1 日启动，持续约六个月：期间组织方陆续放出训练数据、自定义指标代码库、入门示例代码、Slack 沟通频道、自验证系统与 Docker 提交模板；参赛队伍在窗口期内开发新方法、微调当时最先进的方法或改进既有方案，最后统一在私有测试集上由组织方评测，结果在新加坡 MICCAI 2022 现场公布。

赛事由法国斯特拉斯堡大学 CAMMA 研究组（Nicolas Padoy 团队，挂靠 IHU Strasbourg）与第戎勃艮第大学的研究者联合组织，第一组织者 Chinedu Nwoye 既是挑战赛论文的第一作者，也是底层数据集系列论文的作者。标注工作在 CONDOR 项目框架下进行，由资深内分泌外科专家制定胆囊切除术本体词典，两名外科医生执行逐帧标注，另有一名医生专职标签仲裁，测试集边界框由 IHU Strasbourg 的博士生用 Mosaic 标注工具完成，标注者与参赛者无利益关联。

1.2 它要解决的问题

腹腔镜胆囊切除术（laparoscopic cholecystectomy）是最常见的微创手术之一，也是手术数据科学（surgical data science）最常用的研究素材。此前的数据集生态里，阶段识别（phase recognition）只回答「现在处在哪个手术阶段」，器械检测只回答「画面里有哪些器械」，两者都不回答关键的临床问题：哪把器械正在对哪块组织施加什么动作。把器械（instrument）、动词（verb）、目标（target）绑定成三元组，例如〈抓钳，牵拉，胆囊〉，才能形式化地描述「谁对什么做了什么」，这正是术中智能辅助、自动报告与手术技能评估所需要的最小语义单元。

把三元组从「识别」升级为「检测」是本次赛事最大的方法论增量。识别只需要说出画面中出现过哪些三元组；检测则要求模型同时完成三件事——判断三元组是否存在、用边界框框出执行该动作的器械尖端、把每个框与正确的三元组标签关联起来。任务形式化上，器械来自工具类别集、动词来自动作类别集、目标来自解剖结构类别集，模型的输出是每帧的三元组集合加空间定位。

这个任务定义的临床动机是术中决策支持。阶段识别只能告诉导航系统「现在处于裁剪阶段」，三元组检测则能告诉系统「抓钳正牵拉胆囊以暴露胆囊三角」——后者才是判断手术进程是否偏离常规、下一步操作是否有风险所需的信息粒度。自动手术报告、技能评估、术中风险预警三个应用方向都以这种细粒度语义为输入，而在此之前，没有哪个公开基准同时提供语义与空间的成对监督信号，弱监督设定因此不是权宜之计，而是对真实标注约束的正面回应。

1.3 一场设计出来的弱监督实验

赛事最具辨识度的设计是训练与评测的监督不对称：训练集只发布帧级二元存在标签——每一帧哪些三元组、哪些器械、哪些动词、哪些目标出现过，一一标记，但没有一个像素级或框级空间标注；测试集却配备完整的器械尖端边界框与框-三元组配对信息。组织方在赛题说明中明确表示，训练不给框是为了鼓励参赛者用弱监督（weak supervision）解决定位问题，降低空间标注的昂贵成本。

这一设定把当时的弱监督定位技术全家桶都拉上了赛场：基于类激活图（Class Activation Map，CAM）的伪框提取、用第三方空间标注数据集预训练再迁移、教师-学生知识蒸馏、伪标签自训练、以及用图模型建模器械-动词-目标共现规律的方法。赛后的总结论文对这些技术路线做了系统对照，弱监督条件下检测指标的天花板效应也成为后续论文反复引用的基准事实。

1.4 与同期挑战赛生态的对照

理解 CholecTriplet2022 的定位，最好把它放在同期内镜挑战赛的横断面里看。EndoVis 系列此前多年的赛事以器械检测、器械分割与阶段识别为主题：器械类任务输出「画面里有什么、在哪里」，阶段类任务输出「手术进行到哪一步」。这些任务的标注成本相对可控——器械框只涉及空间定位，阶段标签按视频区间打段即可。三元组任务的标注成本是两者之和还要乘以组合复杂度：每个动作区间要同时确定器械、动词、目标三组标签及起止边界，类别组合空间指数级膨胀，这正是组织方选择二元存在标签而非全量空间标注的现实原因。

时间维度上，2021 年的同名挑战赛（CholecTriplet2021）首次把三元组检测设为赛题，2022 年这一届在延续任务定义的同时扩大了参与规模并完善了评测协议，总结论文对两届的方法与成绩做了承前启后的对照。两届共享数据基础与任务范式，但赛程、成绩与方法分布各自独立，文献检索时应作为两次独立事件分别引用。

从影响力看，这届挑战赛之后，三元组检测从个别团队的探索性工作变成了有公共基准、有统一指标、有误差分析框架的成建制研究方向；总结论文发表后数年内，该基准成为手术场景理解领域新方法的默认试金石之一，弱监督定位的范式也被更广泛的空间理解任务借鉴。

§2 数据构成：官方基准 CholecT50 的挑战赛版本

2.1 底层数据集

挑战赛官方数据是 CholecT50 的挑战赛配置版本。CholecT50 收录 50 段腹腔镜胆囊切除术视频，其中 45 段取自公开的 Cholec80 数据集、5 段来自组织方内部的 Cholec120 录像库，全部在法国斯特拉斯堡拍摄。视频统一按每秒一帧抽帧，全集约 100.9K 帧被逐帧标注，包含约 151K 个三元组实例。类别体系从完整的〈器械×动词×目标〉笛卡尔积中经两步临床筛选而来：先由临床专家按手术相关性与出现频次排序，再把语义相同的三元组聚合为超类，最终保留一百个三元组类，配套十个动词类、十五个目标类与七个手术阶段类。

标注流程分三个阶段。第一步由外科专家组制定标注词典，逐项定义手术阶段、阶段内情境、器械（含可见性标志与同名异型器械的统一命名）、动词（含相似动作的判定细则）、目标（组织与异物）以及三元组的起止条件与例外情形，经多轮会议达成共识。第二步由两名外科医生使用 B-com 研究所的 Surgery Workflow Toolbox-Annotate 软件在时间轴上标注每个动作的起止帧，再为相应帧挂上器械、动词、目标类别；当器械出画、动词改变或目标改变时动作终止。第三步由工程团队把标注降采样到每秒一帧，整理为每视频一个文本文件：行对应帧，列对应类别，值为二元存在标签。

词典化的标注定义值得展开，因为它是理解这套数据质量的关键。词典把手术视频拆成七类语义对象：手术过程（procedures）对应视频本体；阶段（phases）给出每个阶段的名称、开始结束标志与过渡判定；阶段内的情境（stages）进一步细分；操作者（actors）指示哪位术者在操纵器械；效应器（effectors）即器械，统一同一器械不同设计款的命名并记录可见性；动词（verbs）为每个手术动作给出常用名、相似动作的辨别判据与连续性标注条件；接受者（recipients）覆盖目标组织与异物，区分外科名称与形态特征，并规定每个目标上允许出现的器械。三元组（triplets）则在上述对象之上组合成完整的动作描述，其可能出现的阶段、起止点、例外情形与可见性均有显式定义。外科委员会经多轮会议审阅词典直至达成共识，才进入实际标注。

动词与目标清单的临床构成也有讲究。十个动词覆盖牵拉、抓取、剪断、电凝、冲洗、抽吸等胆囊切除术的核心操作；十五个目标以胆囊、胆囊管、胆囊动脉、肝脏、腹膜等解剖结构为主体，兼纳电钩、夹子等异物；七个阶段沿用胆囊切除术的标准分期（制备、剪裁、取出等）。动词与目标在时间轴上的判定细则——何时算同一动作延续、何时算新动作开始——直接决定了帧级二元标签的一致性，也是词典篇幅最大的部分。

类别筛选的两步法同样有方法论意味。第一步按临床效用排序：外科专家对每个三元组组合打「可能性与有用性」分，取平均分与实际出现次数的联合排序；第二步按语义归并：把描述同一手术事实的不同措辞聚合成超类。两步之后保留一百个三元组类——既避免笛卡尔积的稀疏类长尾，又不至于粗化到丢失临床区分度。这套「专家评分+频次+语义归并」的筛选流程对其他视频标注项目有直接的可复制性。

2.2 挑战赛划分（官方配置表）

划分	视频数	帧数	三元组标签	边界框	空间标注	可见性
训练集（CholecT45）	45 段全视频	90.5K	137.9K	无	仅二元标签	公开（请求制）
自验证集	5 段短剪辑	1.1K	1.3K	1.3K	二元标签+框+配对	公开（受限发布）
测试集	5 段私有视频	10.4K	13.0K	13.0K	二元标签+框+配对	私有，永不公开

三点结构性细节值得注意。其一，训练集没有边界框是赛题的明文设计而非疏漏，目的是逼迫参赛者在弱监督下学习器械定位；组织方另提供了少量带框的示例图与可视化代码作为「定位区域长什么样」的提示。其二，自验证集的边界框外购自更早的 m2cai16-tool-location 数据集，框-三元组配对标签一并发布，供参赛者在本地自测；该片段在挑战赛联合论文发表前不得单独发表。其三，测试集的边界框由与参赛者无利益冲突的博士生用 Mosaic 工具标注，框紧贴器械尖端，画面外出现的动作不标注，患者体外拍摄的帧全部清零，保证评测口径一致。

从评测设计的角度再看这张配置表，可以看出组织方对「公平性」与「难度标定」的双重考虑。公平性体现在测试视频全部来自不公开的 5 段——它们不在 Cholec80 等任何公开数据集里，参赛者无法通过数据挖掘间接见过测试样本；难度标定体现在训练与测试的监督落差被精确控制：训练只有语义标签，测试却要求空间输出，难度差完全由方法的弱监督定位能力填补。验证片段规模刻意做小（只有几十秒的短剪辑），功能定位是「烟测」而非调参集，避免参赛者把验证集当训练集过拟合——这是挑战赛评测设计里容易被忽略但相当关键的一处细节。

2.3 数据速览十问

Q1：CholecTriplet2022 和 CholecT50 是什么关系？
CholecT50 是数据集，CholecTriplet2022 是用它的比赛。挑战赛取 CholecT50 的挑战赛配置版本作官方基准：45 段公开视频做训练、5 段短剪辑做自验证、5 段私有视频做测试。研究 CholecT50 本身的标注体系、许可与交叉验证协议，见库内 cholect50 条目。

Q2：三元组标签长什么样？
每帧一行，每个三元组类一列，出现为一、不出现为零；器械、动词、目标、阶段各有独立的二元列组。训练数据是纯二元的，没有坐标；坐标只存在于验证与测试划分。

Q3：一百个三元组类是怎么定的？
从〈器械×动词×目标〉全组合中筛选：先按外科专家对「可能且有用」的评分与实际出现次数排序，再把语义相同的组合归并为超类，最终保留一百个类，兼顾类别数量与临床效用。

Q4：谁标注的，质量如何保证？
词典由专家委员会定稿，标注由两名外科医生完成，另设一名专职医生做标签验证与仲裁；测试集框标注由利益无关的博士生完成。词典化的标注协议（起止条件、例外情形、可见性标志）与仲裁机制是质量控制的两大支柱。

Q5：训练集真的一个框都没有吗？
是。这是赛题的明文设计。组织方只发布了几张带框示例图和可视化代码，帮助参赛者理解定位目标的样子，不构成训练监督。

Q6：自验证集为什么只有短剪辑？
自验证片段取自训练集 45 段视频与 m2cai16-tool-location 空间标注数据集的交集部分，规模小、以框标注为主，功能是让参赛者在提交前对定位与配对做本地评估，不承担训练职能。

Q7：测试集能拿到吗？
不能。5 段测试视频全程私有，由组织方内部评测，公开的只有官方成绩。第三方复现研究只能在训练验证划分上自行切分。

Q8：视频是什么规格？
腹腔镜视频按每秒一帧抽帧，逐帧标注。组织方在论文中给出了标准的预处理建议：图像缩放到长边约 448 像素、颜色归一化，并列举了随机翻转、颜色抖动、块掩蔽等常用增强手段。

Q9：和 CholecTriplet2021 是同一届吗？
不是。两届是 EndoVis 体系下独立的挑战赛，各有独立的总结论文与基准结果，类别体系与评测协议有延续也有差异，引用时必须注明届次，不能互为别名。

Q10：这套数据还能做三元组检测以外的事吗？
能。二元标签天然支持器械存在检测、动词识别、目标识别与手术阶段识别，四个组件任务与三元组任务可任意组合训练，总结论文中多个参赛方法正是多任务联合建模。

2.4 DAIMS 数据画像

维度	内容
A 实体	CholecTriplet2022 挑战赛及其官方基准数据（CholecT50 挑战赛版）
I 输入	腹腔镜胆囊切除术视频，每秒一帧抽帧，约 256×448 预处理口径
任务	三元组识别、器械尖端定位、框-三元组关联检测；兼支持组件任务与阶段识别
M 模态	内镜视频帧 + 帧级二元标签文本 + 器械尖端边界框（验证/测试）
S 规模	50 段视频约 100.9K 帧、约 151K 三元组实例；挑战赛划分 45/5/5
类别	100 三元组类；7 工具类（配置表口径）、10 动词、15 目标、7 阶段
标注人	两名外科医生标注，一名医生仲裁，专家委员会定词典
许可	CC BY-NC-SA 4.0；测试集私有；验证片段受限发布
获取	GitHub 下载请求表单，学术用途
基准	AP 系列指标 + TAS 误差分解；官方成绩区间见 §5

2.5 标签文件与样例解读

标签以纯文本发放：每个视频一个文件，每一行对应一帧（按每秒一帧的顺序排列），列按类组分段排列——先三元组类的二元段，再器械、动词、目标、阶段各段。官方仓库的数据加载器内置了「文本列号到类别名」的映射，读取时应直接复用映射而非按列数硬编码，因为不同发放版本间列组顺序有过调整，硬编码是最常见的接入事故来源。

一帧标签的解读示范了这套数据的语义结构：某帧若在三元组段标了〈抓取-胆囊〉相关类、器械段标了抓钳、动词段标了抓取、目标段标了胆囊，则该帧的画面语义为「一把抓钳正在抓取胆囊」，四段标签互相印证。模型训练时既可以用三元组段端到端学习组合输出，也可以从组件段分别学习再自行组合，官方评测对两种建法一视同仁，只看最终三元组输出。

理解帧级二元标签的另一个要点是「存在」的含义：标签记录的是该时间点上动作是否正在进行，而非该帧图像中是否可见器械——器械可见但静止未执行标注动作的帧，对应标签可能为零。这与空间检测任务的「可见即标」逻辑不同，做跨任务联合训练时应显式处理这一语义差异。

§3 怎么拿到：获取路径、版本链与许可

3.1 获取路径

底层数据经 CholecT50 官方仓库获取：仓库文档页提供下载请求表单，填写用途后由维护方发放链接；数据集问题可致信组织方数据邮箱。挑战赛官方页面（cholectriplet2022.grand-challenge.org）保留赛题说明、标注协议、自验证系统与指标代码库的入口，验证集片段与带框示例可从挑战赛侧直接下载。测试集不对外发放，属于永久私有部分。

挑战赛页面上还沉淀了三类对复现者有用的配套材料。其一是指标代码库，覆盖识别、定位、关联三层与 TAS 分解的全部官方口径，是评测一致性的权威实现；其二是自验证系统与 Docker 模板，参赛者本地打包推理后在组织方环境评测，这套流程决定了提交结果的运行环境约束，做复现研究时参照它可以避免环境差异引入的口径漂移；其三是入门示例代码与带框可视化样本，虽然不构成训练监督，但对理解「框贴尖端」「配对逐框」这些评测细节有直观帮助。三份材料都在赛程期间发布并随赛程更新，引用时注意取最终版本。

获取时须注意三个使用限制。第一，训练数据的二元标签可自由用于学术研究，但挑战赛验证集片段的发表受联合论文约束，在挑战赛方法与结果联合论文发布前不得单独发表基于该片段的研究。第二，预训练与迁移学习允许使用第三方空间标注数据集（例如 m2cai16-tool-location、器械检测类公开集），赛题明文许可这条路线。第三，数据只能按许可条款再分发，衍生标注须沿用同款许可并引用相应论文。

3.2 版本链

CholecT50 家族有一条清晰的版本链：最早的 CholecT40 只含 40 段视频，随 Tripnet 论文发布；随后的 CholecT45 增补到 45 段，是 Rendezvous 论文时代的首次公开发布版本；2023 年 2 月起 CholecT50 全集正式以 CC BY-NC-SA 4.0 许可公开，含两个推荐配置——支持全部三元组类交叉验证的完整版，以及专门对应挑战赛划分的挑战赛版。挑战赛版与完整版在视频范围上一致，差别在划分协议：完整版为交叉验证而设计，挑战赛版固定 45/5/5 划分且测试部分私有。做基准对比时，引用挑战赛榜成绩必须用挑战赛版划分，用交叉验证版自行切分得到的结果与官方榜不可直接比较。

版本链上的数字关系需要一次理清：挑战赛训练部分的 CholecT45 与 Rendezvous 时代的 CholecT45 视频范围相同，但前者在挑战赛语境下按 45 段全视频训练口径发放二元标签；自验证片段取自这 45 段中与 m2cai16-tool-location 空间标注重合的部分；测试用的 5 段视频来自 CholecT50 相对 CholecT45 增补的那一批。换言之，CholecT50 挑战赛版的「新」不在视频，而在划分协议与私有测试集的管理方式——这五段视频的存在正是官方榜得以多年保持可比性的原因。

跨版本引用的论文语境也值得注意。Tripnet、Rendezvous 等早期论文的实验口径按当时版本（40 或 45 段、早期类别集）报告，与 2023 年全集版的类别数与帧数不可直接相加或对比；综述写作时按版本分组引用是基本规范，混表引用是该领域文献综述最常见的数字事故来源之一。

3.3 许可要点

CholecT50 采用 CC BY-NC-SA 4.0：允许署名、非商业、相同方式共享。这意味着模型可以商用部署研究中产生的权重这一灰色地带需自行评估，数据本身及其衍生标注不能进入商业产品；再分发必须保留许可并引用 CholecT50 及 CholecTriplet2022 论文。挑战赛测试集因保密需要不受许可约束——它根本不发放。验证片段的受限发布条款叠加在 CC 许可之上，使用前应确认联合论文已发表。

3.4 获取与使用建议

从工程角度给出一条最低摩擦的接入路径。第一步，在官方仓库填写下载请求表单，获取 CholecT50 完整版与挑战赛版的下载链接；表单要求描述研究用途，学术机构通常数个工作日内获得答复。第二步，下载后优先使用仓库自带的官方数据加载器——仓库同时提供 PyTorch 与 TensorFlow 两种实现，加载器内置了标签的整数映射、类别统计与训练增强的参考实现，直接手写解析脚本容易在标签对齐上出错。第三步，如需复现挑战赛成绩，务必按挑战赛版划分组织训练与验证，并把官方指标代码库集成进评测流程，避免自造指标口径。第四步，若研究涉及空间定位，按赛题许可用 m2cai16-tool-location 等第三方空间数据集做预训练或蒸馏，这既是许可允许的路线，也是挑战赛参赛者的主流做法。

团队协作场景下还有两条经验值得借鉴。标签文件是逐视频的纯文本、行帧列类，跨团队同步时容易因类别顺序不一致导致标签错位——官方加载器内置的映射表是唯一权威口径，任何自建索引都应对照它校验。增强策略方面，总结论文列举的随机翻转、颜色抖动、块掩蔽等手段均以帧为单位进行，视频级时序模型若引入增强，须保证同一片段内帧级标签与变换的一致性。

3.5 与获取相关的合规要点

非商业条款的边界需要在使用前厘清。数据本体与衍生标注不能进入商业产品或付费服务；在学术机构内训练的模型用于商业部署是否构成「非商业用途」取决于具体情形，稳妥做法是向权利方书面确认。署名要求指向 CholecT50 论文与挑战赛论文两处；相同方式共享条款意味着在数据上追加的新标注也须以同款许可发布。挑战赛官方页面与总结论文均未设置额外的注册门槛，但组织方保留了为滥用行为收回访问权的权利，邮箱联系时附上机构信息与用途说明是通行礼仪。

§4 质量与已知问题

4.1 标注质量的强项

这套数据的标注质量在同类视频集中处于第一梯队：词典驱动的标注协议把每类动作的起止条件、可见性判断、相似动作区分都写成显式规则，减少标注员自由发挥；双人标注加医生仲裁的流程压制了单人偏倚；测试集标注交给利益无关的第三方博士生，避免评测数据的动机污染。类别筛选的两步法（相关性排序+语义归并）让一百个三元组类都有足够的临床含义与样本支撑，而不是机械的笛卡尔积。

4.2 结构性局限

局限同样清晰。单中心来源：全部 50 段视频摄于法国斯特拉斯堡，术者、设备与流程偏窄，跨中心、跨术式的泛化能力没有内置验证。抽帧粒度：每秒一帧的降采样是标注成本与数据量的折中，帧间的快速动作与短暂器械交互被抹平，不适合运动建模与实时性研究。空间监督缺失：训练集无框是弱监督设计的代价，也导致弱监督定位的伪框质量成为整个检测链条的瓶颈——总结论文里检测类指标的绝对值远低于识别类指标，正说明这一环节损耗巨大。目标不定位：只有器械尖端画框，作用目标（组织）没有空间标注，三元组的空间语义只覆盖了主语。

类别分布的不均衡是第四个结构性局限，也是训练时最常遇到的工程问题。一百个三元组类的实例数呈长尾分布，高频组合（如抓取-胆囊类动作）与低频组合（罕见器械与罕见目标的搭配）相差数个量级，直接训练会让长尾类的识别接近随机；参赛方法普遍采用重加权、过采样或组件分解（把三元组拆成组件任务训练再组合）来缓解，总结论文也把长尾问题列为赛后待解议题。第五个局限是标注粒度与临床需要的错位：词典以帧级动作区间为最小单位，器械作用于目标但在词典动词集之外的动作（如某些辅助性操作）不会被记录，研究非典型操作时该数据集没有覆盖。这两条局限在论文与协议页中都有明示，使用前应把「能回答什么、不能回答什么」写成研究设计的一部分。

4.3 与前代及同侪数据的衔接

CholecT50 的 45 段视频直接来自 Cholec80，因此所有在 Cholec80 阶段识别任务上训练过的模型都可以迁移过来做底座，这也是大多数参赛方法的默认路径。与 m2cai16-tool-location 的衔接发生在验证集：外购的框标注既提供了自验证能力，也允许参赛者用它做空间预训练。与同门数据集 cholectrack20（同组发布的器械跟踪基准）、cholecseg8k（语义分割基准）共享视频来源生态，可在器械跟踪、分割与三元组检测之间做多任务互证。

4.4 标注的边界情形与口径

词典对边界情形的处理规则直接决定了标签口径，使用前应通读标注协议页。动作起止的规则是：器械退出画面、动词改变或目标改变即终止，同一器械在同一帧执行多个动作时各动作并行标注；器械暂时被遮挡但动作逻辑上延续的情形按延续处理。画面口径是：动作发生在画面外不标注，帧拍摄于患者体外时整帧清零，这两条规则导致标签在视频首尾与进出腹膜段出现系统性的零区段。可见性标志区分「完全可见」与「部分可见」，但不影响二元标签的取值——只在更细的微标签层保留。

空间标注的口径同样需要留意。测试与验证片段的框画在器械尖端区域，而非整支器械；同一帧多把器械执行多个三元组时，框与三元组逐一对配。交并比评测以尖端框为准意味着整支器械检测得再准，尖端若偏了也算失配——这是弱监督伪框方法在评测端吃亏最集中的地方，因为 CAM 热区往往覆盖器械主体而非尖端。

4.5 数据使用中的已知坑位记录

社区实践中反复出现的问题集中在三类。一是列对齐：标签文本无表头，不同发放批次列序有差异，不通过官方映射读取会出现跨类别错位，症状隐蔽且难排查。二是划分混用：把交叉验证版的划分当挑战赛版用，再引用挑战赛榜成绩对比，得到的结论系统性偏差且无法定位原因。三是时序泄漏：按帧随机切分训练验证集会把相邻帧放进两侧，评测虚高；正确做法是按视频或按段切分，挑战赛官方划分本身即按视频切。这三类问题都有公开讨论，新接入团队应在流程里内置对应的自检。

§5 能做什么：任务、方法与官方基准

5.1 三层任务定义

挑战赛把任务形式化为递进的三层。第一层三元组识别（triplet recognition）：给定帧，输出出现的三元组集合，评平均精度。第二层器械定位（instrument localization）：为每帧中执行动作的器械尖端画框，评框级平均精度，交并比阈值取 0.5。第三层三元组检测（triplet detection）：把识别与定位合并——一个预测只有同时满足框与真值交并比达标、且动词与目标判断正确，才计为命中，评三元组级平均精度。三层逐级收紧，检测层是全赛事最难的一层。

层层收紧的代价分布并不均匀。识别层只考察语义选择，类别数一百，骨干网络够强即可拿到基本分；定位层考察空间回归，在没有任何框监督的条件下，定位质量完全取决于伪框或先验的好坏；检测层则把两者的误差相乘——识别错一个类别或框偏出容差，整个三元组即告失败。总结论文的成绩区间精确反映了这种误差放大结构：定位与检测层的方法间方差远大于识别层，说明弱监督条件下空间环节是方法创新的主战场。

指标体系之外，总结论文还提出了三元组关联分数（Triplet Association Score，TAS）的误差分解框架，把失败案例拆成六类：定位且匹配成功、部分匹配、身份互换（框对了但三元组配错）、身份漏配、定位失败、以及剩余的假阳假阴。这套分解此后成为该方向论文分析失败模式的标准工具，比单一平均精度更能揭示瓶颈在识别端还是关联端。

5.2 官方成绩区间

总结论文报告的挑战赛成绩区间如下：三元组识别的平均精度在 18.8% 到 35.0% 之间；器械定位的平均精度在 0.3% 到 41.9% 之间，方法间差距极大；三元组检测的平均精度从 0.08% 到 4.49%——即便最好的方法，把识别、定位、关联三层同时做对的比例也不到百分之五。这组数字本身构成了弱监督三元组检测难度的量化证据，也解释了为何此后数年该方向论文都以缩小「识别好、检测差」的鸿沟为主线。

5.3 参赛方法的技术版图

总结论文归纳的主流技术路线有五类。其一，CAM 弱监督定位：用分类网络的类激活图反推器械尖端热区，再从热区提取伪框，几乎是最多队伍采用的基线。其二，迁移预训练：先在带空间标注的第三方器械检测集上训练定位头，再回到二元标签数据上微调识别。其三，知识蒸馏：用带框数据训练的教师模型指导无框数据上的学生模型。其四，伪标签自训练：迭代地用高置信预测当训练框。其五，图建模：把器械-动词-目标作为图节点，学习共现结构以约束三元组组合空间，显著压缩非法组合的误报。多数高分方法是这五类的组合，配合多任务联合训练识别与组件分支。

5.4 对后续研究的影响

挑战赛留下了三份长期资产：标准化指标代码库（AP 系列+TAS 分解）、可复现的评测协议（私有测试集+Docker 提交），以及一份按统一口径汇总的方法对照表。此后手术场景理解方向的论文普遍采用其指标命名与协议描述；识别-定位-关联的三层任务分解也被后续挑战赛与数据集工作继承。对工程侧而言，弱监督检测指标与识别指标之间的巨大落差，直接指明了投入方向：空间伪标注质量与框-三元组关联建模，是比更大的识别骨干网络更高杠杆的改进点。

从方法演进的纵向看，挑战赛之后几年该基准上的进展呈现清晰的路径：先是以 CAM 变体改进伪框质量，随后是 Transformer 与查询式检测框架把关联建模内生化，图结构方法从启发式共现规则演进为可学习的消息传递，蒸馏与伪标签路线则逐渐融合进统一的弱监督训练框架。这些工作公开报告的成绩在检测层稳定爬升，但绝对值仍远低于识别层，说明尖端框级弱监督定位的根本困难尚未解决，基准的研究寿命仍在延续。

对评测方法学而言，TAS 误差分解的影响超出了三元组任务本身：它把「检测正确」拆成定位与关联两个可归因的子事件，这种分解思路被后续的空间-语义联合任务评测借鉴，成为细粒度视频理解任务设计误差分析的一般范式。挑战赛的 Docker 提交与自验证体系也成为后续 EndoVis 赛事组织方式的标准件。

§6 常见误读与避坑

坑 1：把 CholecTriplet2021 与 CholecTriplet2022 当同一届。
两届是独立挑战赛、独立论文、独立成绩。尾部年份是届次标识而非版本号；引用榜成绩时写错届次等于引用了另一场比赛的数字。

坑 2：把 CholecT50 条目与挑战赛条目混为一谈。
CholecT50 是数据集本体，挑战赛是使用它的赛事实体；两者的划分协议不同（交叉验证版 vs 挑战赛版），成绩不可互比。在挑战赛榜上对比成绩必须用挑战赛划分。

坑 3：以为训练数据里有边界框。
没有。边界框只存在于自验证片段与私有测试集。看到论文「在带框数据上训练」时，要确认那是第三方空间数据集的迁移或蒸馏，不是本数据集自带。

坑 4：把识别成绩当检测成绩引用。
三层任务指标差异悬殊，检测层平均精度的量级远低于识别层。引用时必须写明指标名（识别/定位/检测，及组件或三元组级），只写「平均精度」没有信息量。

坑 5：用交叉验证划分复现后与官方榜直接对比。
官方榜出自固定的私有测试集，自行切分的交叉验证结果与之没有可比性，正确做法是在论文中明确声明划分口径。

坑 6：忽视验证片段的发表限制。
自验证片段在联合论文发布前不得单独发表成果，二次研究使用前应核对该条件。

坑 7：把三元组类数当成〈器械×动词×目标〉的全组合。
一百个类是临床筛选与语义归并后的子集，全组合远大于此；建模时不应假设所有组合都是合法类别。

坑 8：忽略单中心来源做泛化声明。
数据全部来自单一中心，任何跨中心泛化结论都需要外部数据支持，在结论中做无依据的外推是常见越界。

坑 9：把「存在标签」当「可见标签」用。
标签记录动作是否正在进行，不是器械是否在画面里。做器械检测类任务联合训练时，把存在标签当可见标签监督会引入系统性噪声。

坑 10：按帧随机切分制造时序泄漏。
相邻帧几乎共享同一画面，按帧随机切分让验证集变成训练集的镜像，评测虚高且不易察觉。切分单位必须是视频。

坑 11：跨版本数字混表。
CholecT40/45/50 三个版本的视频数、类别数与帧数不同，早期论文的实验数字不能与全集版混排；引用时先确认论文使用的版本口径。

坑 12：自造评测指标。
官方指标代码库覆盖了识别、定位、关联三层与误差分解的全部口径，自造简化指标得到的高分没有跨论文可比性，审稿场景下会被直接要求重测。

§7 在生态中的位置

7.1 CholecT50 家族与库内条目

在胆囊切除视频数据集的谱系里，挑战赛处在「动作语义」这一层：Cholec80（78）提供了阶段识别的源头语料；cholect50（223）承载 CholecT50 数据集本体与交叉验证协议；cholectrack20（886）覆盖器械跟踪；cholecseg8k（233）提供帧级语义分割。CholecTriplet2022 则把同一批手术视频的标注推到〈器械-动词-目标〉三元组层面，是家族中语义粒度最细的基准事件。四个库内条目与挑战赛条目构成自上而下的任务梯度，适合按「阶段-器械-分割-三元组」的顺序互链导览。

这套谱系的实用价值在于任务间的监督互补。分割与跟踪数据提供空间监督，三元组数据提供组合语义监督，两者结合可以训练「知道在哪、也知道在做什么」的联合模型——这正是后续几篇代表作的技术路线：用跟踪或分割分支的空间输出去补三元组分支的定位短板。对库内检索者，如果研究目标是空间定位但只有语义预算，从 cholectrack20 侧预训练再迁入三元组任务是最经济的路径；如果研究目标是动作语义，cholect50 交叉验证版是最灵活的训练口径。

7.2 更大的图景

放回手术数据科学的整体坐标系：早年内镜挑战赛（EndoVis 系列）以器械检测与分割为主，2016 年后的阶段识别浪潮以 Cholec80 为轴心，而三元组检测自 2021、2022 两届挑战赛后成为新的研究前沿——它同时压缩了器械存在、动作语义、解剖目标与空间定位四类信息，被普遍视为术中上下文感知辅助的最小完备单元。弱监督定位设定也呼应了临床数据标注的现实约束：空间标注太贵，语义标签相对便宜，方法研究必须适配这种不对称。

7.3 建议互链

• cholect50（rid 223）：数据集本体与标注体系总览。
• cholectrack20（rid 886）：同组器械跟踪基准，定位任务的强监督补充。
• cholecseg8k（rid 233）：同生态分割基准。
• cholec80（rid 78）：训练视频上游来源与阶段识别起点。

7.4 弱监督范式与标注经济

这套基准的深层贡献是把「标注经济学」摆上了台面。逐帧画框的标注成本按帧数线性增长，而帧级二元标签的成本按动作区间增长——每秒一帧的胆囊切除视频动辄数万帧，空间标注的总成本是语义标注的数十倍。挑战赛用赛题设计证明：识别能力可以从语义标签里充分学出来，空间能力可以从弱监督里部分恢复出来，两端合起来能在零空间标注成本的条件下逼近完整检测任务。这个范式对一切「语义标签便宜、空间标签昂贵」的医学视频任务都有迁移价值。

范式也有边界。弱监督恢复的空间精度受限于分类网络的激活分辨率，尖端级定位的误差下限难以突破；测试端的框评测又以尖端为准，两端的错位让弱监督方法付出了结构性代价。后续研究一边在弱监督框架内改进（更好的激活提取、更细的伪框筛选、更强的关联建模），一边在强监督数据可得时切换到全监督设定对比上限——两种设定的成绩差本身就是对「标注预算该花在哪」的定量回答。在这个意义上，挑战赛不只评出了方法排名，还给整个社区标定了一条标注成本与任务性能的权衡曲线：预算只够语义标签时能到哪一级精度，预算加上空间标注后又多换来多少，两个刻度点自此有了公开参考值。

§8 总结

CholecTriplet2022 用一场设计精巧的比赛把手术视频理解的语义标尺从「哪个阶段」推到「谁对什么做了什么」，再推到「在哪里做的」。它的官方基准以训练端二元标签、评测端框与配对的不对称设计，把弱监督三元组检测变成了一个可量化、可复现、可逐年对照的标准问题；它的指标体系（AP 系列加 TAS 分解）此后成为该方向论文的通用语言。

对数据使用者，三个关键词足够概括：细粒度——一百个三元组类覆盖器械-动作-组织的临床组合，配套组件标签与阶段标签可拆可合；弱监督——训练无框是明文设计，边界框只在验证与测试划分出现，方法设计必须适配；单中心——五十段视频同源，任何泛化结论都要外挂证据。对方法研究者，识别与检测之间近一个数量级的落差既是任务难度的注脚，也是尚未关闭的机会窗口；TAS 分解给出的误差画像指出，关联建模与尖端定位仍是回报最高的两个改进方向。

数据以 CC BY-NC-SA 4.0 经请求制公开，测试集永久私有。在这个基准上，能复现的是方法与协议，不能复现的是官方榜单本身——划分口径、指标代码与版本链三者的对应关系，是使用这套数据前必须核对清楚的先决条件，也是它区别于普通视频数据集的核心使用纪律。把这三件事核对清楚之后，剩下的问题就只属于模型本身。

§9 相关资源与引用

§9.1 官方资源

• 挑战赛官网（赛题、数据、标注协议、自验证系统）：https://cholectriplet2022.grand-challenge.org/
• 挑战赛数据页（划分配置与下载入口）：https://cholectriplet2022.grand-challenge.org/data/
• 标注协议页（词典定义与标注流程）：https://cholectriplet2022.grand-challenge.org/annotation-protocol
• 赛程总结论文（arXiv:2302.06294，含配置表、成绩区间与方法对照）：https://arxiv.org/abs/2302.06294
• CholecT50 官方仓库（数据请求表单、双框架数据加载器）：https://github.com/CAMMA-public/CholecT50
• CAMMA 数据集主页：http://camma.u-strasbg.fr/datasets

§9.2 BibTeX 引用块

@article{nwoye2023cholectriplet2022,
  title   = {CholecTriplet2022: Show me a tool and tell me the triplet --
             an endoscopic vision challenge for surgical action triplet detection},
  author  = {Nwoye, Chinedu Innocent and others},
  journal = {arXiv preprint arXiv:2302.06294},
  year    = {2023}
}

§9.3 引用指南

• 使用挑战赛基准与成绩：引用总结论文（arXiv:2302.06294），注明使用的划分口径（挑战赛版或交叉验证版）。
• 使用 CholecT50 数据本体：同时引用 CholecT50 论文与挑战赛论文，许可为 CC BY-NC-SA 4.0。
• 引用两届挑战赛时分别标注届次年份，勿混用成绩。

§10 AI 使用声明卡

§10.1 AI 模型列表

模型	用途	版本/说明
千方写作助手（大语言模型）	条目初稿撰写、结构化整理	千方医数集写作管线，fast-model
联网检索工具	事实核查（官网、论文、官方仓库）	1 次检索 + 1 次页面抓取，2026-10-18 执行

§10.2 AI 参与范围

环节	执行者	说明
事实检索与来源收集	AI（联网检索）	覆盖挑战赛官网数据页/标注协议页/总结论文全文/官方仓库
初稿撰写与结构组织	AI	按写作规范 v4 生成全部章节
硬数字与许可核对	AI + 脚本校验	规模/划分/类别/许可经三源互证，双口径逐条记录
最终发布决定	编辑部	发布由主会话串行负责

§10.3 输入来源列表

1. CholecTriplet2022 挑战赛官网数据页（划分配置、获取方式与使用限制）. https://cholectriplet2022.grand-challenge.org/data/
2. CholecTriplet2022 挑战赛标注协议页（词典定义、标注与仲裁流程）. https://cholectriplet2022.grand-challenge.org/annotation-protocol
3. Nwoye et al. CholecTriplet2022: Show me a tool and tell me the triplet. arXiv:2302.06294（HAL 全文 PDF，含挑战赛配置表与成绩区间）
4. Emergent Mind 话题页：CholecTriplet2022 Challenge（任务形式化与指标口径综述）
5. CAMMA-public/CholecT50 官方仓库（许可、版本链、下载方式与数据加载器）
6. 库内条目：cholect50（rid 223）、cholectrack20（rid 886）、cholecseg8k（rid 233）、cholec80（rid 78）

§10.4 人工校验记录

内容模块	审核者	审核方式	审核状态
数据规模与挑战赛划分	编辑部	官网数据页与总结论文 Table 1 对照	待复核
许可与版本链	编辑部	官方仓库文档对照	待复核
双口径记录（器械类数/期刊版/实例总数）	编辑部	按 FACTS.md §9 逐条复核	待复核

编辑说明

• 核验时间：2026-10-18；核验人：agent-b-cholectri（RSI cycle 123）。
• 核验方式：WebSearch 检索挑战赛官网数据页、标注协议页、总结论文（arXiv:2302.06294，HAL 全文 PDF）与 CholecT50 官方仓库（GitHub CAMMA-public），三源互证规模、划分、类别体系、许可与时间线。
• 主要口径采信：数据规模与挑战赛配置表以总结论文 Table 1 及官网数据页为准；许可与版本链以官方仓库为准。
• 双口径存照：①器械类数——挑战赛配置表 7 类 vs 综述常见口径 6 类，正文按配置表 7 类采信；②总结论文期刊版（疑为 MedIA 2023;38:102916）未三源互证，正文按 arXiv 编号引用；③全集约 151K 三元组实例与挑战赛三段划分之和（约 152.2K）为不同统计口径，正文分别按各自口径引用。
• 未覆盖内容：挑战赛各名次队伍逐项成绩明细未逐一核验；m2cai16-tool-location 数据集本身未展开（建议后续独立条目）。
• 撞库结论：库内无 cholectriplet/triplet 相关条目（DB 直查 0 行）；cholect50/cholectrack20/cholecseg8k/cholec80 为相关但不同实体条目，按互链处理；CholecTriplet2021 为独立届次（R027），未作别名。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• slam-laparoscopic-motions — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 图像分类 / 评测基准
• galar — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 图像分类 / 评测基准
• gastrohun — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 图像分类 / 评测基准
• limuc — 共享标签：医学影像 / 内窥镜影像 / 图像分类 / 评测基准
• bladder-tissue — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 图像分类
• acl27 — 共享标签：医学影像 / 手术视频 / 图像分类 / 评测基准
• dresden-d4d-surgical — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 评测基准
• cholectriplet2021 — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 评测基准
• bronchoaccess — 共享标签：医学影像 / 内窥镜影像 / 图像分类 / 评测基准
• kvasir-hyperkvasir — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 图像分类

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。