CholecTriplet2021 手术动作三元组识别挑战赛

MICCAI 2021 EndoVis 首届手术动作三元组识别挑战赛:以 CholecT45 为官方基准、94 个有效类、19 支参赛队,把〈器械-动词-目标〉从数据集议题变成公共排行榜

来源 CholecT45:45 段 1 fps 腹腔镜胆囊切除术视频与帧级三元组/器械/动词/目标二元标签;官方评测另用 5 段隐藏测试视频,测试标签与排行榜由组织方内部持有发布时间: 2026-10-18最后更新: 2026-10-18 阅读 19
CholecTriplet2021 手术动作三元组识别挑战赛

信息速览

数据集名称CholecTriplet2021 手术动作三元组识别挑战赛
数据类型人工标注,影像数据,视频数据
规模45 段公开训练视频(取自 Cholec80)+ 5 段隐藏测试视频;患者数未逐段披露
接入方式CholecT45:45 段 1 fps 腹腔镜胆囊切除术视频与帧级三元组/器械/动词/目标二元标签;官方评测另用 5 段隐藏测试视频,测试标签与排行榜由组织方内部持有
AI 就绪度

CholecTriplet2021 是 2021 年挂靠 MICCAI 会议 EndoVis(Endoscopic Vision Challenge)体系举办的首届手术动作三元组(surgical action triplet)识别挑战赛,官方基准是 CholecT50 数据集去掉隐藏测试部分后的 CholecT45。它要求参赛模型在每一帧上回答「此刻有哪些〈器械-动词-目标〉组合存在」,共 19 支队伍进入正式排名,冠军成绩为 38.1% 的平均精度。

它要解决的问题是手术视频理解的语义粒度。在此之前,公开基准大多只回答「处在哪个手术阶段」或「画面里有哪些器械」,两个问题都不涉及器械与组织之间的具体交互。把器械、动作、目标绑定成一个三元组,才能用机器可读的方式描述一次操作,而首届比赛的价值在于第一次把这件事变成了有统一数据、统一指标、统一排行榜的公共问题。

使用者的第一件事是确定自己要做的是识别还是检测:2021 届只评识别,没有边界框,也没有定位指标,想要空间输出的应当去看 2022 届。数据在赛时是保密协议下的私有访问,2022 年 4 月之后 45 段训练视频已按 CC BY-NC-SA 4.0 公开,复现时先核对划分口径与类数口径。

§1 它是什么:首届、识别、公共榜单

1.1 挑战赛本体

CholecTriplet2021 的官方页面标题是「Surgical Action Triplet Recognition 2021」,项目名则是 CholecTriplet2021。页面自述它是 MICCAI 2021 内镜视觉挑战赛(EndoVis)下的一个子挑战(sub-challenge),主题是直接从腹腔镜视频中识别由器械、动词、目标三个成分组成的手术动作三元组。

这是该系列的第一届。组织方在筹备阶段给出的动机写得很直白:手术室里的情境感知决策支持需要细粒度的流程分析,而已有工作大多停在阶段、步骤或单一动词这一层,丢掉了描述「工具-组织交互」必需的信息。把动作表达成三元组,正好对应一般计算机视觉里「人-动词-物体」的交互建模传统,团队在 2020 年已用 MICCAI 论文验证过这一形式在手术视频上的可行性,2021 届则是把方法层面的探索变成一个公开可比的技术评测。

赛事的组织者是斯特拉斯堡大学的 CAMMA 研究组(ICube 实验室,挂靠 CNRS 与 IHU Strasbourg),通讯作者 Chinedu Innocent Nwoye,资深作者 Nicolas Padoy。联合论文的署名超过六十人,覆盖组织方与全部参赛队伍的代表,这是挑战赛总结论文的标准署名结构:名次与方法是参赛者的成果,赛题、数据与评测口径是组织方的成果,论文把两者合并成一份可引用的年度档案。

1.2 与 2022 届的分工

这一节必须先讲清楚,因为这个系列最容易被误引的地方就是届次。

两届共享同一套底层数据与同一个类别体系。2021 届用的是 CholecT45,即 CholecT50 去掉 5 段隐藏测试视频后的 45 段;2022 届同样以 CholecT45 为训练基准,测试集也是那 5 段不公开的视频。两届的〈器械-动词-目标〉类别表、1 fps 抽帧方式、标签文件的逐帧二元结构都一致。

两届的任务定义不同,这是分条的根本理由。2021 届只评识别:模型对每一帧输出三元组的存在概率,评的是平均精度。2022 届把任务升级为检测:除了识别,还要给出执行该动作的器械尖端边界框,并把每个框与正确的三元组配对,评测因此拆成识别、定位、关联三层。任务一变,参赛者要解决的问题、方法的技术版图、成绩的量级全部改变——2021 届的冠军平均精度在三十几个百分点,2022 届检测层的最高成绩不到百分之五,两者根本没有可比性。

两届的赛程、参赛规模与结果也各自独立。2021 届在 2021 年 3 月启动、9 月截稿、10 月 1 日在 MICCAI 2021 的 EndoVis 卫星活动上公布结果,总结论文于 2022 年 11 月被 Medical Image Analysis 接收;2022 届在 2022 年 4 月启动、9 月 18 日在新加坡公布结果,总结论文以 arXiv:2302.06294 发布。参赛队伍、基线方法、成绩区间、误差分析框架都不是同一批内容。

为什么首届值得单独成条,理由有三条。其一,它是三元组识别这一任务的定义届:94 个有效类的评测口径、三元组概率向量统一提交、组件概率由解耦函数反推的在线推理策略,都是在这一届定下来的,此后的第二届、第三届以及大量下游论文都在沿用。其二,它贡献了第一份可引用的成绩分布:19 支队伍、24 个模型、平均精度从 4.2% 到 38.1%、均值 23.3%,这组数字是后续任何「三元组识别进展如何」的判断起点。其三,它留下了第一份方法学横断面:多任务学习、时序建模、注意力、图方法、集成五条技术线在同一测试集上的对照,是这一方向唯一一次大规模同台比较。

因此,凡是要引用「三元组识别首次成为公共赛题」这一事实,出处在 2021 届;凡是要引用「三元组检测」的赛题、指标与成绩,出处在 2022 届。两者的总结论文是两篇不同的文章,DOI 不同,引用时不能合并。

1.3 数据集的来路

2021 届的官方数据集是 CholecT50,但只开放了其中的 45 段。这 45 段全部来自 Cholec80——一个 2016 年公开、被广泛用于手术阶段识别的胆囊切除视频集。CholecT50 在 Cholec80 的 50 段基础上补齐了另外的录像,并用词典化的流程给每一帧标注了三元组;CholecT45 是它的第一个公开子集。

CholecT50 的标注体系、类别筛选流程与标签文件格式,在库内的 CholecT50 条目与 CholecTriplet2022 条目中已有完整说明,此处不再展开。对 2021 届而言,需要记住的只有三件事:类别是 100 个三元组类,由 6 种器械、10 种动词、15 种目标中经临床筛选得到;标签是逐帧的二元存在向量,不含坐标;训练视频每秒抽一帧,45 段合计约九万帧。

一个常被忽略的时间关系:挑战赛进行期间,CholecT45 尚未公开发布。参赛者是在签署保密合同、完成注册后,从组织方处获得数据访问权的。直到 2022 年 4 月 12 日,CholecT45 才以 CC BY-NC-SA 4.0 许可面向公众开放。这个时间差决定了两件事:赛时参赛者的数据访问是有门槛的,而赛后任何人看到的数据版本与参赛者当时看到的并不完全同一份文件。

1.4 与同期内镜挑战赛的关系

把 2021 届放回 EndoVis 的横断面里看,它的位置很清楚。EndoVis 是 MICCAI 旗下内镜视觉挑战赛的伞形组织,2021 年的赛题结构汇编记录在 Zenodo 的第 4572973 号条目中,署名包括 Stefanie Speidel、Lena Maier-Hein、Danail Stoyanov 等挑战赛组织者共三十人。那份文件是各子挑战设计说明的合订本,不是任何一个数据集的数据包——它常被误当成 CholecTriplet2021 的官方数据下载入口,这一点需要特别澄清。

同期的 EndoVis 子挑战以器械分割、器械检测、场景分割为主,输出的是空间掩码或类别框。三元组任务与它们的关键差别在于输出单位:前者输出的是语义组合,后者输出的是像素或框。这决定了标注成本的结构不同——分割与检测的成本随帧数线性增长,三元组的成本随动作区间与组合复杂度增长,两者的标注经济学完全不同。2021 届的组织方在后来的总结中反复强调这一点,因为它正是三元组任务被单独立项的现实理由。

§2 数据构成:45 段训练、5 段测试、94 个有效类

2.1 官方划分表

划分 视频数 来源 是否公开 提供内容 字段可靠性
训练(trainval) 45 段(CholecT45) 全部取自 Cholec80 赛时保密协议下访问,2022-04-12 起 CC 公开 1 fps 帧 + 帧级三元组/器械/动词/目标二元标签 依论文与官网数据页确认
测试(test) 5 段 不在公开域(CholecT50 相对 CholecT45 增补的一批) 永不公开 组织方内部持有标签,仅公布成绩 依 arXiv:2204.05235 划分说明确认
合计 50 段 CholecT50 部分公开 约 100.9K 帧、约 15 万至 16 万三元组实例 实例数双口径,见 §6

这张表最需要注意的是最后一行的「合计」。训练 45 段与测试 5 段加起来才是完整的 CholecT50,而官方公布的总数——约十万帧、约十五万到十六万个三元组实例——是全集口径,不是训练集口径。很多论文在方法部分写「在 CholecT45 上训练,使用了约十万帧」,把全集数字当成训练数字,这是一个典型的规模误引。

划分的策略很明确:训练与测试按视频切分,绝不按帧切分,这一点保证了同一段手术的画面不会同时出现在训练侧与测试侧。参赛者在训练集内部可以自行再切一部分做验证,但官方不提供独立的验证划分——2021 届与后来的 2022 届不同,后者专门发布了带边界框的自验证片段,前者没有。这一点对复现者影响很大:想在本届的划分上做超参选择,只能自己从 45 段里切,而任何自切都会轻微改变训练数据量,进而影响与官方成绩的可比性。

2.2 类别体系与 94 个有效类

三元组类别总数是 100。这个数字的来历是:从 6 种器械、10 种动词、15 种目标的全组合中,先由外科专家按临床相关性与出现频次排序,再把语义相近的组合归并为超类,最终保留 100 个。类别体系的构建细节与 CholecT50 条目中的说明一致,此处只补充与评测直接相关的部分。

评测排名只算 94 个类。被排除的是 6 个 null 类,形式为〈某器械,null-verb,null-target〉,分别对应抓钳、双极、电钩、剪刀、施夹器、冲洗吸引器这六种器械处于空闲状态、没有执行任何标注动作的情形。这六类在数据中大量存在——手术中有相当比例的帧,器械在画面里但没有在做一个被标注的动作——如果把它们计入平均精度,模型只要学会「猜某器械空闲」就能刷出很高的分数,评测就失去了区分度。

这套处理带来一个引用层面的硬约束:mAP 的分母是 94,不是 100。论文、排行榜、后续复现论文如果分母不一致,数字就不可以直接比较。更隐蔽的情况是有的工作把 null 类折算进组件任务(器械识别仍然要区分空闲与非空闲),有的则完全剔除,两类做法在器械层面的分数会差出几个百分点。引用 2021 届成绩时,写明「94 个有效类」是基本要求。

2.3 数据速览八问

Q1:CholecTriplet2021 的任务是识别还是检测?

是识别(recognition)。参赛模型只需在每一帧输出哪些三元组存在及其概率,不需要画器械边界框。识别、定位、关联三合一的检测(detection)任务是 2022 年第二届才引入的。

Q2:CholecTriplet2021 和 CholecTriplet2022 有什么区别?

两者是同一个赛事系列的两届,任务定义不同:2021 届只做三元组识别,2022 届升级为三元组检测。两届的赛程、参赛队伍、成绩与总结论文各自独立,不能互为别名或混用成绩。

Q3:CholecT45 与 CholecT50 是什么关系?

CholecT45 是 CholecT50 去掉 5 段挑战赛测试视频后的 45 段公开子集,也是 2021 与 2022 两届挑战赛共用的训练基准。两者的标注体系相同,差别在视频范围与划分协议。

Q4:训练数据里带器械边界框吗?

不带。2021 届官方提供的是帧级二元存在标签,没有任何空间标注。需要空间监督的研究只能借用外部带框数据集,而这类外部数据在 2021 届并不属于评测内容。

Q5:第一名是谁,成绩多少?

芝加哥大学的 Team Trequartista 以 38.1% 的三元组识别 mAP 获得冠军;中科院深圳先进技术研究院的 SIAT CAMI 以 35.8% 获亚军,合肥工业大学的 HFUT-MedIA 以 32.9% 获季军。

Q6:参与排名的三元组类一共多少个?

100 个三元组类中排除 6 个表示器械空闲的 null 类,按 94 个有效类计算平均精度并排名。写作与复现时分母是 94 还是 100,会直接改变 mAP 的绝对值。

Q7:数据现在还能下载吗?

可以。CholecT45 自 2022 年 4 月 12 日起以 CC BY-NC-SA 4.0 许可公开,经 CAMMA 官网申请获取;5 段测试视频永不公开,赛时则需签署保密协议才能访问数据集。

Q8:为什么成绩单上的数字看起来很低?

因为三元组识别要求器械、动词、目标三者同时正确,100 个类里大量组合样本稀少,任一环节出错整个三元组就不算命中;同时评测采用逐视频、逐类求 AP 再平均的方式,长尾类会显著拉低均值。

2.4 DAIMS 数据画像

维度 内容
A 实体(Asset) CholecTriplet2021 挑战赛及其官方基准 CholecT45
I 输入(Input) 腹腔镜胆囊切除术视频,1 fps 抽帧的 RGB 帧
任务(Task) 帧级手术动作三元组识别;组件任务(器械/动词/目标)由解耦函数导出后同口径评测
M 模态(Modality) 内镜视频帧 + 逐帧二元标签文本
S 规模(Scale) 训练 45 段、测试 5 段;全集约 100.9K 帧;三元组实例数约 15 万至 16 万(双口径)
类别(Schema) 100 个三元组类 = 6 器械 × 10 动词 × 15 目标中筛选;排名使用 94 个有效类
标注(Annotation) 词典式协议,继承 CholecT50 的标注体系,赛时未改动
许可(License) 赛时保密协议私有访问;赛后 CholecT45 为 CC BY-NC-SA 4.0;测试集永不公开
基准(Benchmark) AP_IVT 主指标 + AP_I/V/T/IV/IT 辅助 + TopK;19 支队伍参赛,冠军 38.1%

2.5 赛程的四个阶段

从组织时序上看,2021 届可以被切成四段,每段解决的问题不同。

第一段是立项与评审,从 2020 年 11 月到 2021 年 2 月。挑战赛提案需要提交给 EndoVis 与 MICCAI 两层评审,经过两轮公开评议后获批。这一段决定了赛事的合法性——它不是组织方单方面发起的研究项目,而是嵌入了学术会议同行评议机制的活动。评审关注的重点通常是数据来源的合规性、评测协议的可执行性以及参赛门槛是否合理。

第二段是启动与建群,2021 年 3 月中旬。3 月 15 日训练数据发放,征稿通告同步发布;到 5 月底,Slack 沟通频道、Colab 入门博客、基线代码全部就位。这一段的设计目标是降低入场摩擦:参赛者不需要自己搭数据加载、不需要从零实现指标,拿到数据就能跑通一个基线。这也是首届比赛能吸引到 44 支队伍报名的重要条件。

第三段是开发与验证,从 6 月到 9 月上旬。参赛者在本地开发模型,通过 Docker 打包提交到验证环境自测;验证窗口在 9 月 5 日关闭,限三周内完成。这一段的关键约束是「只能用官方提供的评测环境自测」,它保证了参赛者对分数的估计与最终评测口径一致,减少了因自造指标导致的偏差。

第四段是终评与公布,9 月 15 日截稿,10 月 1 日公布。结果在 MICCAI 2021 的 EndoVis 卫星活动上,于当日 10:45 到 11:45 的世界协调时窗口内宣布,对应的正是会议期间的 EndoVis 环节。此后还开了一个赛后重评窗口,从 11 月 15 日到 12 月 15 日,用于让错过截止的队伍补充提交;这一安排催生了 2AI 的第二版提交,它在重评窗口内拿到了高于亚军的分数,但因不在主赛程内不参与评奖。

这四个阶段的时间节点在引用时经常被混用。最常见的错误是把「10 月 1 日公布结果」写成「10 月 1 日比赛结束」——比赛在 9 月 15 日就已结束,10 月 1 日只是宣布。另一个常见错误是把 2022 年 11 月 30 日的论文接收日当作赛事结束日,两者相差一年多,性质完全不同。

2.6 标签与提交格式

标签的物理形态是纯文本:每段视频一个文件,行对应帧(按 1 fps 顺序排列),列对应类别,值为 0 或 1。工具集当时以 Colab 博客与示例代码的形式提供,加载与解析的参考实现随训练数据一起发放,这是 2021 届与后来依靠官方仓库分发的版本最大的操作差异。

提交格式是 Docker 容器。参赛者把推理服务打包,组织方在服务器上对 5 段测试视频逐帧调用,收集每一帧输出的三元组概率向量。这一设计有两个直接后果:其一,评测是「在线推理」语义,模型只能看到当前帧及之前的信息,任何依赖未来帧的后处理都会破坏实时性假设;其二,模型的内部结构被完全隐藏,评测方只看输出,因此提交的容器要通过因果性检查,防止实现里偷看后续帧。

概率向量的统一化是整个评测能成立的关键。参赛方法的输出结构千差万别——有的直接输出三元组,有的分别输出器械、动词、目标再组合,有的用图模型约束组合空间。统一的规则是:所有方法都必须输出三元组类的概率,组件概率由论文提供的一个解耦函数从三元组概率反推。这样评测端只需要一套代码,就能对结构完全不同的方法给出可比的分数。

§3 怎么拿到:赛时私有、赛后公开

3.1 赛时的获取路径

2021 届的获取流程与本系列后来的版本不同。赛期间的正式路径是:在 Grand Challenge 平台注册,签署数据使用协议(保密合同),然后由组织方发放数据集访问权限。这套流程的目的只有一个——保证 5 段测试视频在评测结束前不外泄。

与之配套的是数据在赛时确实只对参赛者开放。这一点可以从官网的赛后通告反推:CholecT45 的公开释放日期是 2022 年 4 月 12 日,通告明确写「自该日起可用于投稿会议、期刊及其他场合」,说明在此之前它不具备公开引用的条件。

3.2 赛后的获取路径

赛后路径大幅简化。CholecT45 经 CAMMA 官网的数据集页面申请获取,许可为 CC BY-NC-SA 4.0——署名、非商业、相同方式共享。这条许可的逐条解读在库内 CholecT50 与 CholecTriplet2022 条目中已有展开,此处只提示两个差异点:一是 2021 届公开的子集是 45 段而非 50 段,二是公开入口是 CAMMA 官网而非后来的 GitHub 仓库表单,做检索时按这两个线索找。

需要特别说明的是 5 段测试视频的去向:它们从不公开,也没有计划公开。这意味着任何第三方都无法在完全相同的划分上复现官方排行榜。可复现的是训练数据、方法与评测代码;不可复现的是那一份测试集本身。这个约束在所有引用官方成绩的场景里都成立,写作时应把「与官方榜可比」与「在自己的划分上可比」严格区分。

3.3 版本链与本届的位置

CholecT 系列有一条清晰的版本链:CholecT40 随 2020 年的 Tripnet 论文发布,CholecT45 是 2021 届挑战赛使用的版本、也是该数据集第一次公开释放的形态,CholecT50 是补足 50 段后的完整版。2021 届正好卡在「首次公开」这个节点上,它的官方基准与数据集的首发版本是同一个东西。

这个重合带来一个便利:研究 2021 届不需要在两套数据之间做映射,CholecT45 就是当年参赛者用的那份。代价则是,任何把 2021 届成绩与 2023 年以后在 CholecT50 全集上做的实验混排的做法,都会引入划分口径不一致的问题——全集多了 5 段视频,多出的部分正是当年的测试集,用它训练后的成绩当然不能与当年榜上的成绩相比。

3.4 合规与使用要点

除了 CC 许可的三条基本义务,2021 届还有一层叠加的历史约束。赛时签署的保密协议在赛后并不自动失效于所有用途,最稳妥的理解是:数据本体按 CC BY-NC-SA 4.0 使用,但研究如果涉及对当年测试视频的分析,则无从谈起——那 5 段根本拿不到。

另一条常被忽略的是署名指向。使用 CholecT45 数据本体时,引用对象是引入 CholecT50 的 Rendezvous 论文;使用挑战赛的成绩、方法对照与评测口径时,引用对象是 2021 届的总结论文(Medical Image Analysis 86:102803)。两处引用不能合并成一条,否则读者无法判断你到底用的是数据集还是用了榜单。

§4 质量与已知问题

4.1 数据侧的可靠性来源

CholecT45 的质量基础来自 CholecT50 的标注体系,这套体系的关键特征是把「什么算一个动作」写成可执行的定义而不是留给标注员判断。词典为每个器械、动词、目标分别给出了名称、辨识线索与边界规则,动作的起止条件、器械出画的处理、目标切换时的切分,都在协议层面预先规定。对逐帧二元标签而言,这种协议化程度直接决定了标签的时间一致性——同一段手术由不同标注者处理,结果应当一致。

赛时采用的数据访问方式在这里起到了额外作用。训练数据在保密协议下发放给注册参赛者,意味着数据的使用范围受到合同约束,滥用与再分发的风险被前置控制;同时,组织方保留了对全部提交容器的审查权,可以在发现问题时追溯。这是 2021 届与「开放下载」式挑战赛在治理结构上的差别。

组织方自身的方法也在测试集上提供了一组参照。MTL 基线、Tripnet、Attention Tripnet、Rendezvous 四个基线覆盖了从最简单到当时最强的方法区间,它们的分数位于排行榜的中段,构成了「不参赛也能知道大概水平」的判断锚点。这套基线的存在是 2021 届的一个隐性优点:任何一个新方法只要与基线的差值超过方法间方差,就可以认为它在该测试集上确实有效。

4.2 结构性局限

局限有五个层面,前四个与数据集本身有关,第五个与赛事设计有关。

单中心来源。45 段训练视频全部摄于斯特拉斯堡,手术团队、设备型号、手术室布置、成像参数都来自同一套体系。挑战赛没有设置跨中心测试集,因此排行榜上的名次反映的是「在同一分布内的拟合能力」,不是跨机构泛化能力。任何拿 2021 届成绩论证方法「可推广到其他医院」的说法都缺少证据。

抽帧粒度。1 fps 的降采样是标注成本与数据规模的折中。手术中很多动作的持续时长在数秒以内,抽帧之后动作的起止点被量化到秒,动作内部的细微变化被抹平。这对识别任务影响有限——识别关心的是帧上有没有这个动作——但对时序建模与运动分析影响很大。

无空间监督。训练数据没有任何边界框,模型无法直接学习「器械在哪里」。这不是疏漏,而是这一届的赛题设计使然:识别任务本身不需要空间输出。但它也意味着 CholecT45 作为训练资源,对定位类任务的价值有限,需要借助外部带框数据。

类别长尾。100 个三元组类的实例分布极不均匀,高频组合与低频组合相差数个数量级。评测按类求 AP 再平均,长尾类的低分会显著压低总平均,这也是全体均分只有二十几个百分点的重要原因之一。长尾问题在方法层面可以缓解(重加权、组件分解、图约束),在数据层面则无解。

赛事设计上的局限是缺少官方验证划分。参赛者只能自行从 45 段训练视频里切出验证集,不同队伍切法不同,导致他们的本地验证分数之间不可比。组织方在赛后才发布了官方的交叉验证划分(见 arXiv:2204.05235),但这套划分是事后补的,没有参与当年的排名。

4.3 假设与证据

假设 支持证据 反对证据 结论强度
94 个有效类的口径在参赛者中是共识 论文明确说明排名排除 6 个 null 类;排行榜按此计算 未见参赛者各自报告类数的公开记录 B
152K 与 151K 是两个统计口径而非矛盾 2022 届总结与综述均写 151K;2021 届论文写 161K 两处均未明确定义分子分母 C
排行榜名次具有统计意义 论文对队伍间差异做 Wilcoxon 符号秩检验,结果显著 检验基于单一测试集,样本为 5 段视频 B
2021 届成绩与 2022 届成绩不可比 两届任务定义不同,指标定义不同,测试集相同但评测层不同 两届共享同一测试集,若只看三元组识别分支,理论上可用同一指标 C
CholecT45 可在 2021 届赛后立即用于论文投稿 官网通告 2022-04-12 起可用于投稿 赛时保密协议的条款是否另有约束未公开 B

第五行的证据需要小心解读。官网的原话是「自该日起可用于投稿会议、期刊及其他场合」,这是一条正向授权,但它没有说明在此之前的赛时使用是否附带额外限制。实际使用中,2021 届的总结论文本身是在 2022 年 11 月才被接收的,与数据公开的时间差了大半年,这个顺序本身说明了数据公开与论文发表并非同一个节点。

4.4 与 2022 届数据质量的对照

两届的数据本体相同,差别在测试协议的严格程度。2021 届只要求输出三元组概率,因此不存在空间标注的一致性问题;2022 届要评尖端框与框-三元组配对,测试框的标注质量直接进入评测,组织方为此专门安排了与参赛者无利益冲突的博士生来完成框标注。

这个差别对使用者的含义是:如果研究只涉及三元组识别,两届的测试数据在语义层面是等价的;如果研究涉及空间输出,2021 届的数据完全帮不上忙,必须转向 2022 届或其它带框数据集。

另一个隐性差别是评测的稳定性。2021 届的评测只有一层,不同的方法实现差异不会通过中间环节被放大;2022 届的检测指标把识别误差与定位误差相乘,方法的方差被放大,这也是 2022 届检测层成绩区间跨度极大的原因之一。评测层数越多,成绩对实现细节的敏感度越高。

4.5 已知的使用坑位记录

社区在复现 2021 届结果时反复遇到的问题集中在三类。

第一类是类别顺序。标签文件没有表头,列的顺序由发布版本决定,不同批次的列序曾出现调整。硬编码列索引是最常见的错误来源,症状隐蔽——训练能跑通,指标看起来也正常,但实际是在错误类别上学习。正确做法是使用官方加载器内置的映射表。

第二类是划分口径。把 CholecT45 的交叉验证划分当成当年挑战赛的划分来复现,再与官方榜对比,是系统性偏差的来源。两者的视频数都是 45,但划分方式完全不同,直接对比等于把不同的测试样本当成同一批。

第三类是帧级泄漏。如果研究者自己切分训练与验证集时按帧随机切,相邻帧会同时落入两侧,验证分数虚高。1 fps 的视频里相邻帧只隔一秒,画面差异极小,这种泄漏几乎必然发生。切分单位必须是视频。

§5 能做什么:任务、方法与首届成绩

5.1 唯一的正式任务:三元组识别

2021 届的任务定义是单层的:给定一帧,输出该帧上存在的三元组集合及其置信度,评测用平均精度。没有定位,没有关联,没有空间输出。

这个单层设计有它的方法论价值。识别任务可以被形式化为多标签分类——100 个类,每帧一个 100 维的 0/1 向量——这让绝大多数视觉骨干网络可以直接套用,不需要为任务额外设计结构。参赛的 19 支队伍里,绝大多数的方法骨架都是「骨干网络 + 多标签头」,差异在于如何利用时序、如何建模组件之间的关系、如何处理长尾。

组织方在评测端的处理比任务定义更复杂。虽然所有方法都输出三元组概率,评测却要求同时报告器械、动词、目标、器械-动词、器械-目标五个组件的平均精度。这不是为了增加任务,而是为了诊断:三元组的分数低,到底是因为器械分不清、动作分不清,还是目标分不清。这套分解式的报告方式在赛后成为该领域的标准做法。

5.2 指标体系的构成

主指标是三元组的平均精度 AP_IVT。辅助指标包括器械 AP_I、动词 AP_V、目标 AP_T、器械-动词 AP_IV、器械-目标 AP_IT。补充指标是 TopK 系列:在前 K 个预测中命中的比例,K 取 5、10、15、20,以及这四个 K 的平均值 TopK@[5:20]。

TopK 的意义在于补足平均精度的一个盲区。AP 对排序质量敏感,一个把所有类都预测得很平均的模型,AP 会被长尾拉低;但它可能在 Top5 里包含了大部分正确答案。对术中提示类应用而言,「给医生的前几条建议里有没有正确答案」往往比 AP 更贴近实际使用场景。2021 届同时报告两套指标,是为不同应用目标预留了观察窗口。

指标的统一实现是 ivtmetrics 库,由组织方在赛后的划分与指标论文中一并发布。这个库覆盖了逐视频、逐类、交叉验证三种聚合方式,以及误差分解(三元组关联分数,TAS)的全部口径。2021 届的官方分数即用它与评测代码计算,复现时应直接使用该库而不是自行实现。

5.3 首届成绩单

队伍 机构 AP_IVT 备注
Trequartista 芝加哥大学 38.1% 冠军
SIAT CAMI 中科院深圳先进技术研究院 35.8% 亚军;器械 AP 82.1% 为全场最高
HFUT-MedIA 合肥工业大学 32.9% 季军
CITI SJTU 上海交通大学 32.0%
ANL Triplet 阿贡国家实验室 31.9%
Digital Surgery Medtronic Digital Surgery(伦敦) 31.7% 与 UCL 联合署名
Rendezvous(基线) 组织方 CAMMA 32.7% 组织方最强基线,不参与评奖
Attention Tripnet(基线) 组织方 CAMMA 23.4% 组织方基线
Tripnet(基线) 组织方 CAMMA 20.0% 组织方基线
MTL baseline(基线) 组织方 CAMMA 13.7% 组织方基线
Med Recognizer — 4.2% 全场最低

上表只列了前十位与末位,其中四个是组织方基线,实际参赛的是六支队伍。完整的 24 个模型分数在论文的汇总表里,包括未进入前六名的其余队伍。需要说明的是,赛后提交的 2AI 第二版获得 36.9%,高于亚军,但因不在赛程窗口内,不参与评奖,也不应被写成「亚军」。

全体 19 支参赛队的平均精度均值是 23.3%,标准差 9.9。这个分布的形状值得注意:均值低于组织方最强基线 Rendezvous 的分数,说明相当一部分队伍没有超过组织方的参考实现。这不是异常现象,而是挑战赛的常见结构——组织方在数据与任务上有先手优势,基线往往是用足了领域知识的方法。

组件层面的分布更有信息量。器械识别的最优成绩是 82.1%,均值 62.5%;动词最优 52.9%,均值 37.7%;目标最优 46.4%,均值 30.2%。三个组件的难度依次递增:器械是强视觉特征,动词需要时序,目标需要理解解剖结构。这个排序在 2022 届与后续所有工作中都保持稳定,说明它不是某一届的偶然。

5.4 首届的技术版图

论文对 19 支队伍的方法做了系统归类,五条技术线构成了这一届的方法学横断面。

多任务学习是主流中的主流。19 支队伍里有 16 支采用了多任务设定,共同预测三元组与它的组件,或者加入手术阶段识别作为辅助任务。这个比例说明,在单层识别的框架下,单靠三元组标签训练的效果明显不如加入组件监督——三元组标签稀疏,组件标签密集,后者起到了正则化的作用。

时序建模是第二大路线。11 支队伍引入了时间维度的建模,手段包括循环网络、时序卷积、Transformer 序列建模与简单的滑动窗口聚合。动词识别的分数与是否用时序高度相关:四个动词分数超过 50% 的队伍,要么用了时序,要么借助了阶段标签,而阶段本身就是一个时序任务。这个相关性是首届比赛最清楚的方法学结论之一。

注意力与图方法属于少数派但效果显著。6 支队伍使用了注意力机制,从器械引导的空间注意力到 Transformer 的语义注意力;2 支队伍用了图卷积,一支建模时序关系,一支把三元组的共现统计编码进图结构。图方法的核心思路是压缩组合空间——〈器械-动词-目标〉的合法组合远少于全笛卡尔积,把这一先验写成约束可以显著减少误报。

集成方法有 3 支队伍使用,属于后期手段。组织方在赛后也做了集成实验,对 7 个 AP 超过 30% 的模型尝试了六种集成策略,最优的一种相比最佳单模型提升了约 4.3 个百分点,由此确立了「集成是这一任务的高效上界提升手段」这一结论。这个数字此后被广泛引用,因为它给出了一个明确的量级:在当前的方法多样性下,集成带来的增益大约在个位数百分点。

5.5 冠军方法的技术要点

冠军 Trequartista 来自芝加哥大学,其方法的核心是把三元组识别分解为组件预测与组合约束两步,配合时序信息处理动词的上下文依赖。论文对其方法的描述放在与其他方法的对照中,重点在于它的组件分数分布——目标是它相对薄弱的一环,这也符合全场目标识别最难的整体格局。

亚军 SIAT CAMI 的器械识别达到 82.1%,是全场最高的单组件成绩。这一成绩的意义在于它标定了「器械识别在这一数据上能做到什么水平」的上限参照:即便三元组整体只有三十几个百分点,器械这一层已经接近实用。这种组件间的巨大落差正是 2021 届留给后续研究的核心问题——为什么识别得出器械与目标,却组合不出正确的三元组。

季军 HFUT-MedIA 与第四名 CITI SJTU、第五名 ANL Triplet、第六名 Digital Surgery 的分数集中在 31% 到 33% 的窄带内,彼此差距在 1.2 个百分点以内。这个紧凑的分布说明,在 2021 年的技术水平下,「用对了多任务与时序」这一层的方法差异已经不足以拉开明显差距,进一步的提升需要结构上的新想法。

5.6 动词为什么最难,目标为什么次难

把三个组件的难度排开来看,可以更清楚地理解首届比赛指出的问题结构。

器械识别之所以最容易,是因为器械的视觉特征稳定且强判别。一套腹腔镜器械的外观在整台手术中几乎不变,同一把抓钳在不同帧里的形状、金属反光、进入画面的方式高度一致,分类网络容易学到可迁移的特征。82.1% 的最优成绩已经接近「看图认器械」这一任务的饱和区,剩余误差多来自器械部分出画、被组织遮挡、或多种器械外观高度相似的情形。

动词次难,难度来自它的时间性。动作在单帧上往往只呈现为一个姿态,判断「这把器械是在牵拉还是在抓取」需要看它前后的运动轨迹与环境变化。这也是为什么四个动词分数超过 50% 的队伍要么用了时序模型,要么借用了阶段标签——阶段标签本身编码了「当前手术进行到哪一步」的时间先验,对动词判断有直接的提示作用。首届比赛把这一现象写成明确的方法学结论:动词的提升路径在于更好的时序依赖建模,而不是更强的单帧骨干。

目标最难,难度来自解剖结构的视觉相似性与标注的边界模糊。胆囊、胆囊管、胆囊动脉、肝脏、腹膜这些目标在画面中常常相互贴邻、颜色相近、随牵拉变形;小血管结构面积小、随电凝操作迅速改变外观,分类模型很难稳定区分。首届比赛的最优目标分数为 46.4%,比最优势器低了三十多个百分点,这一落差在后续所有工作中都没有根本改变。

三个组件难度的排序还有一层实际含义:三元组识别的上限主要由目标识别决定。即便器械识别做到 82%、动词做到 53%,只要目标停在 46%,三元组的组合精度就不可能高。这也是首届比赛之后,很多工作转向「用分割或检测的空间先验辅助目标识别」的原因——不是识别模型不够强,而是目标这一环缺少足够的监督信号。

5.7 集成实验的方法学价值

组织方在赛后做的集成实验值得单独说明,因为它是首届比赛在方法学层面留下的一个可复用模板。

实验的对象是 7 个 AP 超过 30% 的模型,覆盖了参赛队与组织方基线。尝试的六种集成策略从最简单的等权平均,到按验证集分数加权的平均,到软投票,再到深度集成(把多个模型的输出作为新的特征训练一个元分类器)与按类别分别加权的深度集成。结果最优的策略相比单模型最好成绩提升了约 4.3 个百分点,这个增益在三个组件上也都有体现。

这个数字的参考价值在于它给出了一个「方法多样性红利」的量级。当参与集成的模型彼此方法差异大时,集成的收益高;当它们都是同一路线(例如都是 CAM 类弱监督方法)时,收益低。2021 届的 7 个模型恰好覆盖了多任务、时序、注意力、图方法几条不同路线,因此集成收益比较可观。这个观察后来被用于指导「如何构建有效的模型池」,而不只是「集成就完了」。

集成实验还带出一个副产品:集成模型的误差结构与单模型不同。论文对集成后的失败案例做了同样的分解,发现原本在单模型上表现为「漏检」的类别,在集成后更多表现为「误配」——模型识别出了器械与目标,但把它们配成了错误的三元组。这说明集成的增益主要来自互补的识别能力,而不是组合能力。这一发现直接指向了 2022 届把任务拆成识别、定位、关联三层的设计逻辑。

5.8 首届之后发生了什么

2021 届的直接后续是 2022 届。官网在赛后通告里写道,由于赛事反响强烈,多人要求举办第二届,于是有了把任务扩展到定位与关联的 CholecTriplet2022。这是一条从识别到检测的自然延伸:识别解决了「做什么」,检测进一步解决「在哪里做」。

2021 届留下的另一份资产是评测基础设施。ivtmetrics 库、94 个有效类的口径、逐视频逐类求 AP 再平均的算法、TAS 误差分解框架,这四样东西构成了三元组任务的标准评测栈,此后的所有工作——不论是否参加挑战赛——都在这套栈上报告结果。这是首届比赛最持久的影响,也是它必须被单独引用的技术理由。

从文献计量角度看,2021 届总结论文的引用场景与 2022 届高度重叠但不重合:引用 2021 届的论文多在讨论「三元组任务的定义与首次评测」,引用 2022 届的论文多在讨论「检测任务的难度与方法」。两个引用场景对应两类研究问题,这也是两届必须分开成条的现实依据。

§6 常见误读与引用陷阱

常见说法 实际口径 证据位置
CholecTriplet2021 的任务是三元组检测 2021 届只评识别,不含器械定位与框-三元组关联;检测是 2022 届的任务 官网页面标题与 Overview;总结论文任务章节
2021 与 2022 是同一届的两次征集 是同一系列的两届,各自独立的赛程、论文与排行榜 两届官网各自的 results 页
CholecTriplet2021 的官方数据集是 CholecT50 全 50 段 官方基准是 CholecT45(45 段),5 段测试视频从未公开 官网 Dataset Release 段;arXiv:2204.05235 划分说明
训练集里带了器械边界框 没有。训练数据只有帧级二元标签 总结论文数据章节
排行榜按 100 个三元组类计算 mAP 排名排除 6 个 null 类,按 94 个有效类计算 总结论文评测协议章节
冠军成绩 38.1% 与 2022 届的 4.49% 可以直接比 两者是不同任务、不同指标层的数字,不可比 两届总结论文各自的指标定义
2AI 的 36.9% 是亚军 2AI 第二版是赛后提交(†),不参与评奖;亚军是 SIAT CAMI 的 35.8% 总结论文汇总表脚注
组织方基线的分数就是参赛成绩 四个基线标 ‡,不参与评奖,只作为参照下界 总结论文汇总表脚注
用 CholecT45 的交叉验证划分复现后可直接对标官方榜 交叉验证划分是赛后补充的,与当年挑战赛划分不同 arXiv:2204.05235 三套划分说明
数据集在 2021 年比赛期间就已公开下载 赛时为保密协议下私有访问,2022-04-12 才以 CC 许可公开 官网 Dataset Release 段
Zenodo 4572973 是 CholecTriplet2021 的数据包 它是 EndoVis 2021 各子挑战设计说明的合订本,不是数据集文件 Zenodo 记录描述与作者列表
三元组实例数是一个确定的整数 存在 161K 与 151K 两个口径,分母定义未在原文展开 总结论文摘要与 2022 届综述

纯技术性陷阱:概率向量的语义。

评测只收集三元组概率,组件概率由解耦函数导出。这意味着一个方法如果内部只预测组件、再按规则组合成三元组,其组件分数可能在组合环节被稀释——评测看到的不是它真实的组件能力,而是「组件能力经组合后的投影」。论文在方法对照时对这一点有说明,复现他人的组件分数时应确认对方是直接输出组件还是经解耦导出。

纯技术性陷阱:TopK 与 AP 的口径不一致。

TopK 是在全部 100 个类上取前 K,还是只在 94 个有效类上取,会改变数值。官方实现用的是有效类集合,第三方复现若在 100 类上取 TopK,数值会系统性偏低。引用 TopK 数字时应核对类集合。

纯技术性陷阱:Docker 提交的因果性要求。

在线推理语义要求模型不能访问未来帧。赛后复现时,很多实现会用双向时序模型或滑窗后处理,这类做法在离线评测下分数更高但不满足当年的提交约束。与官方榜对比时应确认自己的推理方式与当年规则一致。

§7 在生态中的位置

7.1 在胆囊切除视频谱系中的坐标

库内已有多条与胆囊切除手术视频相关的条目,它们沿着语义粒度排列:Cholec80 提供阶段识别语料,CholecT50 提供三元组标注本体,CholecTrack20 提供器械跟踪,CholecSeg8k 提供场景分割,CholecTriplet2022 提供三元组检测的赛事档案。CholecTriplet2021 的位置在 CholecT50 与 CholecTriplet2022 之间——它把数据集变成了一场公开评测,但还没有把评测扩展到空间维度。

这条谱系的实用意义在于监督信号的互补。分割与跟踪提供空间信息,三元组提供组合语义,阶段提供时间骨架,三者的标注成本依次递减、信息密度依次递增。设计多任务学习方案时,按「阶段-分割/跟踪-三元组」的顺序组织辅助任务是常见做法,2021 届 16 支队伍采用多任务设定的现象,正是这种互补性在方法层面的体现。

7.2 与三元组检测线的衔接

从 2021 到 2022 的演进不是简单的任务加码,而是研究问题的转移。识别阶段的核心矛盾是类别长尾与组合稀疏;检测阶段的矛盾变成弱监督下的空间定位。两届共享数据和类别表,但方法的技术栈差异很大——识别阶段的主流是多任务分类网络加时序模型,检测阶段的主流变成伪框生成、知识蒸馏与关联建模。

这个转移对使用者的含义是:想研究组合语义与时序,从 2021 届入手,数据小、任务清楚、指标单一;想研究空间定位与弱监督,从 2022 届入手,因为有框的评测划分。两届不是替代关系,是两个相邻的研究切口。

首届比赛还留下了一个反向的影响:它证明了「技能识别,难在组合」这一格局,2022 届因此把评测拆成识别、定位、关联三层,试图定位误差来源。这种「上一届的结论决定下一届的设计」的迭代方式,是 EndoVis 系列赛事的常态,也是引用时必须追溯届次的原因。

7.3 与更广义的手术数据科学的联系

把这个赛事放回手术数据科学的整体坐标系,它处在「案例层」——研究的是单台手术内部发生了什么,而不是跨患者、跨机构的模式。往上走是队列层(用手术视频做技能评估、并发症预测)、往下走是像素层(分割、检测)。三元组识别是连接案例层与队列层的语义接口:队列层需要结构化的手术描述,像素层提供的是原料,中间的语义层正是三元组要填的位置。

2021 届对这个接口的贡献是把评价标准化。在此之前,「三元组识别做得好不好」没有公共答案,每篇论文用自己的划分、自己的指标、自己的类集合,结果不可比。首届比赛给出了一套固定的分母(94 类)、固定的测试集、固定的聚合方式,此后所有工作的成绩都可以放进同一个坐标系。这是赛事相对于数据集的关键增量,也是它值得作为独立条目存在的原因。

§8 总结

8.1 适用与不适用

适合的使用场景有四类。其一,研究方法基准:需要一个样本量适中、任务单一、指标明确的视频识别基准来验证多任务与时序建模,CholecT45 的 45 段视频与 94 类指标是现成配置。其二,组合语义研究:器械-动词-目标的联合建模、图约束、长尾处理,这一届提供了完整的类表与可比的历史成绩。其三,教学与复现:任务定义简单,19 支队伍的方法在论文里有系统对照,适合作为细粒度视频理解的入门案例。其四,评测方法学研究:TAS 误差分解与组件-三元组双层指标体系,是可以借鉴的评测设计范式。

不适合的场景同样清楚。需要空间输出的研究不适用,2021 届没有边界框,也没有定位指标,应转向 2022 届或带框数据集。需要跨机构泛化的研究不适用,数据来自单一中心,没有外部验证集。需要高帧率时序分析的研究不适用,1 fps 抽帧抹平了动作内部的动态。需要实时部署验证的研究也要谨慎,虽然赛题采用在线推理语义,但评测是离线批量执行,真实手术室的延迟与吞吐约束没有被纳入。

8.2 三句话概括

CholecTriplet2021 是手术动作三元组任务的定义届,它用 45 段视频、94 个有效类、19 支队伍,把「哪把器械对哪块组织做了什么」从一个数据集议题变成了一场可复现、可排名的公共评测。

它的成绩单——冠军 38.1%、全体均值 23.3%、目标识别最弱——第一次用统一口径量化了这一任务的难度,也第一次用大规模对照证明了多任务与时序建模是识别阶段的两条主线。

它与 2022 届共享数据但分属两个研究问题:2021 届回答「做什么」,2022 届回答「在哪里做」;引用时必须注明届次,混用成绩是该领域最常见的文献事故。

§9 相关资源与引用

9.1 官方资源

9.2 BibTeX 引用块

@article{nwoye2023cholectriplet2021,
  title   = {CholecTriplet2021: A benchmark challenge for surgical action triplet recognition},
  author  = {Nwoye, Chinedu Innocent and Alapatt, Deepak and Yu, Tong and Vardazaryan, Armine
             and Xia, Fangfang and Zhao, Zixuan and Jia, Fucang and Zheng, Guoyan
             and Getty, Neil and Sanchez-Matilla, Ricardo and others},
  journal = {Medical Image Analysis},
  volume  = {86},
  pages   = {102803},
  year    = {2023},
  doi     = {10.1016/j.media.2023.102803}
}

@article{nwoye2022rendezvous,
  title   = {Rendezvous: Attention Mechanisms for the Recognition of Surgical Action Triplets in Endoscopic Videos},
  author  = {Nwoye, Chinedu Innocent and Yu, Tong and Gonzalez, Cristians and Seeliger, Barbara
             and Mascagni, Pietro and Mutter, Didier and Marescaux, Jacques and Padoy, Nicolas},
  journal = {Medical Image Analysis},
  volume  = {78},
  pages   = {102433},
  year    = {2022},
  doi     = {10.1016/j.media.2021.102433}
}

@article{nwoye2022splits,
  title   = {Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets},
  author  = {Nwoye, Chinedu Innocent and Padoy, Nicolas},
  journal = {arXiv preprint arXiv:2204.05235},
  year    = {2022}
}

9.3 引用指南

  • 引用赛题、成绩、名次与误差分析:用 2021 届总结论文(MedIA 86:102803,arXiv:2204.04746),并在正文注明「CholecTriplet2021」届次。
  • 引用三元组任务本身的形式化与数据集来源:用 Rendezvous(MedIA 78:102433),不要用挑战赛论文代指数据集论文。
  • 引用划分、交叉验证与评测指标实现:用 arXiv:2204.05235,这是三套划分的权威定义。
  • 引用 2022 届的检测任务与成绩:用 arXiv:2302.06294,不可与 2021 届混写。
  • 提到「首届」或「首次把三元组设为赛题」:只能引用 2021 届,2022 届论文不承担这一事实的出处。

§10 AI 使用声明卡

10.1 AI 模型列表

模型 用途 版本与说明
千方写作助手(大语言模型) 条目结构设计、初稿撰写、事实整理 千方医数集写作管线,deepseek-v4.1-flash
联网检索工具 官网页面、arXiv 全文、PubMed 元数据核验 本次执行 2 次检索 + 4 次页面抓取,2026-10-18

10.2 AI 参与范围

环节 执行者 说明
存在性核验与名称确认 AI(联网检索) 官网首页、results 页、awards 页、Zenodo 记录、PubMed 与 arXiv 全文交叉核对
硬数字核对 AI + 双源比对 视频数、类数、成绩区间、作者机构均以 arXiv 全文与官网为准
初稿撰写与章节组织 AI 按写作规范 v4 生成,未复述同系列 2022 届条目已详写的内容
与在架条目的边界划分 AI + 数据库直查 读取在架 2022 届条目全文后确定覆盖边界
最终发布决定 编辑部 发布由主会话串行执行

10.3 输入来源列表

  1. CholecTriplet2021 挑战赛官网首页(赛题说明、获奖名单、数据集释放通告). https://cholectriplet2021.grand-challenge.org/
  2. CholecTriplet2021 结果页(公布日期与前三名). https://cholectriplet2021.grand-challenge.org/results/
  3. CholecTriplet2021 奖项页(奖品与赞助方). https://cholectriplet2021.grand-challenge.org/awards/
  4. Nwoye et al. CholecTriplet2021: A benchmark challenge for surgical action triplet recognition. arXiv:2204.04746(ar5iv 全文,含时间线、评测协议与汇总表)
  5. Nwoye et al. 同篇论文 PubMed 记录(作者与机构署名). https://pubmed.ncbi.nlm.nih.gov/37004378/
  6. Nwoye & Padoy. Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets. arXiv:2204.05235
  7. Zenodo 4572973:Endoscopic Vision Challenge 2021(EndoVis 设计汇编,非数据包). https://zenodo.org/record/4572973
  8. 库内在架条目:cholectriplet2022(rid 1238)、cholect50(rid 223)、cholec80(rid 78)

10.4 人工校验记录

内容模块 审核者 审核方式 状态
赛程时间线与结果公布日期 编辑部 官网 results 页原文与 arXiv 全文对照 待复核
成绩单与名次 编辑部 arXiv 汇总表逐行核对,剔除基线队与赛后提交 待复核
数据集划分与类数口径 编辑部 arXiv:2204.05235 划分说明对照 待复核
与 2022 届条目的边界 编辑部 读取在架条目全文后确认无数字重复 待复核

编辑说明

  • 核验时间:2026-10-18;核验代理:agent-c-cholectrip。
  • 核验方式:官网首页 / results / awards 三页实抓;arXiv:2204.04746 以 ar5iv HTML 全文读取(含时间线、评测协议、Table 4 汇总表);PubMed 记录核对作者与机构;arXiv:2204.05235 摘要与划分说明核对;Zenodo 4572973 记录页核对其性质。
  • 名称核验:项目名 CholecTriplet2021,官网页面标题「Surgical Action Triplet Recognition 2021」,隶属 MICCAI 2021 EndoVis 子挑战。未按缩写推断任何全称。
  • 双口径存照:①三元组实例数——总结论文写 161K,2022 届综述与划分论文写 151K,正文按「约 15 万至 16 万,两口径并存」处理并在 §6 列明;②基线 AP_IVT——综述二次整理表与论文原表对 Tripnet 与 Attention Tripnet 的赋值存在错位(20.0 / 23.4 两值互换),本稿采论文汇总表口径:Tripnet 20.0、Attention Tripnet 23.4;③器械类数——2021 届总结论文与官网均写 6 种器械,与 2022 届配置表的 7 类不同源,本稿按 2021 届口径写 6 种,未与 2022 届条目混用。
  • 与在架条目的边界:库内 rid 1238(cholectriplet2022)对 2021 届仅有背景性一句话提及(§1.4、§2.3 Q9、§6 坑 1、§9.3),无任何 2021 届数字、队伍、成绩或时间线。本篇只写 2021 届,腹腔镜三元组概念、CholecT50 构成、标签格式、AP/TAS 指标细节、许可条款逐句解读均指回 1238 与 cholect50(223),未重复。
  • 未覆盖内容:官网 results 页的排行榜为 PNG 图片,未能解析为文字表格,名次与分数全部取自 arXiv 汇总表;各队方法的逐项技术细节仅按论文归类归纳,未逐一展开;赛后重评窗口内提交的具体名单未获取。
  • 撞库结论:库内 url_name 含 cholec 的在架条目共 5 条(1238/886/223/233/78),无 cholectriplet2021;dedup_gate 报 HIT 系年份型变体撞 1238,按覆盖范围核对,1238 未写 2021 届任何实质内容,判定为同系列新代而非已覆盖(对应 R056 三问)。
  • 下次复核建议:核对 2021 届总结论文期刊版页码与 DOI 是否与 arXiv 版一致;若官方 results 图后续改为可读文本,补录完整名次表。

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • miccai-surgt — 共享标签:医学影像 / 手术视频 / 内窥镜影像 / 挑战赛数据集
  • surgtoolloc-2022 — 共享标签:医学影像 / 手术视频 / 内窥镜影像 / 挑战赛数据集
  • surgvu-2026 — 共享标签:医学影像 / 手术视频 / 内窥镜影像 / 挑战赛数据集
  • dresden-d4d-surgical — 共享标签:医学影像 / 手术视频 / 内窥镜影像 / 评测基准
  • thompson-challenge — 共享标签:医学影像 / 手术视频 / 挑战赛数据集 / 评测基准
  • slam-laparoscopic-motions — 共享标签:医学影像 / 手术视频 / 内窥镜影像 / 评测基准
  • cholectrack20 — 共享标签:医学影像 / 手术视频 / 内窥镜影像 / 评测基准
  • cholectriplet2022 — 共享标签:医学影像 / 手术视频 / 内窥镜影像 / 评测基准
  • slam-3d-endoscopic-legacy — 共享标签:医学影像 / 手术视频 / 内窥镜影像
  • jigsaws — 共享标签:医学影像 / 手术视频 / 内窥镜影像

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集