SurgToolLoc 2022 — MICCAI 2022 弱监督手术器械定位挑战赛数据集

SurgToolLoc 2022 — 当机器人自己写标签：弱监督手术器械定位的规模试验场

INFOBOX — SurgToolLoc 2022 一屏速览

维度	内容
本质	Intuitive Surgical 主办的 MICCAI 2022 EndoVis 子挑战赛配套训练数据集——弱监督（weakly supervised）器械分类与定位
组织方	Intuitive Surgical, Inc.（da Vinci 手术系统厂商）；平台 grand-challenge.org；Challenge Day 2022-09-18（新加坡）
数据	24,695 个 30 秒视频片段（60FPS、720p、MP4，单通道内窥镜），出自 11 场猪模型培训练习，约 206 小时
标签	14 类器械的工具在位弱标签（每片段一条 4 机械臂列表），无逐帧边界框；测试集 93 片段带众包边界框
任务	Category 1 多标签分类（加权 F1）；Category 2 分类+定位（COCO mAP @1FPS）
参战	79 队注册下载；17 队 Cat1/11 队 Cat2 完整容器提交（13/9 队提交方法报告计入终榜）
冠军	Cat1：HRI_MV（海康威视）0.7485；Cat2：HRI_MV 0.4077 mAP——仅前 3 队 mAP 过 0.3
公开	GCS bucket isi-surgtoolloc-2022 公开直链，单包 116.6GB；HuggingFace 无官方镜像
许可	数据本体条款未公开细化（挑战期需注册签约）；论文 CC BY 4.0
后继	SurgToolLoc 2023（同训练数据）→ SurgVU24 汇总版（840 小时/约 1800 万帧）→ SurgVU 2025（+VQA）
库内互链	endovis-challenges(79)、cholec80(78)、m2cai16-tool(303)、cholect50(223)、cholecseg8k(233)、kvasir-instrument(213)

手术视频是医学 AI 里最「贵」的数据之一：一段前列腺根治术录像动辄两三个小时，逐帧画器械边界框的标注成本足以吞掉整个课题预算。SurgToolLoc 2022 的核心想法是把这笔账绕开——da Vinci 手术机器人自己知道每把器械什么时候装上、什么时候卸下，这些系统日志可以直接变成「工具在位」（tool presence）标签。于是 Intuitive Surgical 把 11 场猪模型培训练习切成了 24,695 个 30 秒片段，每段配一条四机械臂的工具列表，发包给社区：只用这种视频级的弱标签，你能不能把器械逐帧检测出来、框出来？

答案截至 2022 年 9 月是「分类可以，定位很难」。Category 1（分类）冠军加权 F1 达 0.7485，而 Category 2（定位）冠军 mAP 只有 0.4077，九支队伍里五支不超过 0.1。这个巨大的落差本身就是数据集最有价值的教学内容：它把「弱标签能撑起多强的监督信号」这个抽象问题变成了可复现的公开基准。四年之后（2025），同一任务系的冠军 mAP 才刚过 0.5——弱监督手术器械定位至今仍是一片未竟之地，而 SurgToolLoc 2022 的 24,695 个片段仍是这条赛道上最大的起点。

关于时效：本条目所有硬数字的抓取时点为 2026-10-04，来源以 2022 年官方发布物（论文 v1、官网页面、GCS 对象元数据）为主，辅以 2026 年 v4 合编版做纵向校对。榜单数字是历史事实、不会变化；会变化的是版本链下游（SurgVU24 及以后）与获取入口的对象元数据——引用时请区分「时点亮的事实」与「会漂移的指针」。

导语读法三则：

1. 只想下数据：直奔 §6——GCS 公开直链单包 116.6GB，无需注册即可下载；但数据许可条款原文未公开，商用前先读坑 5。
2. 关心弱监督方法：直奔 §4 与 §5——两张最终榜单、前三名方法解剖、为什么 EndoVis17 预训练成了分水岭。
3. 做版本选型：直奔 §7——2022 训练集、2023 版、SurgVU24 汇总版三者关系与「clip」定义漂移。

全文导航（按需求取路径）：

你想知道	直达
数据长什么样、多大、怎么下	§2.2 规模总表 → §6.1 获取路径
弱标签到底弱在哪	§2.4 标签语法 → §2.9/2.10 分布细节
比赛谁赢了、多少分	§4.1/4.2 两张榜单
冠军方法怎么做的	§5.1-5.5（含 MONAI 复现命令）
能不能商用	§6.2 + 坑 5 + 附录 I
和 SurgVU24 什么关系	§6.3 版本链 + §6.4 口径换挡
在本库怎么搭配使用	§9 家族图谱

§0 导读：这个数据集解决什么问题

手术数据科学（surgical data science）在过去十年反复证明一件事：手术视频里藏着大量可自动化的智能——器械使用追踪、手术步骤识别、技能评估、手术室资源调度——但这一切的前提是有标注数据。逐帧边界框标注是视频标注中最昂贵的一种：标注员需要先受训识别 14 种以上器械，再对每帧图像画框，一段 30 秒 60FPS 的视频就是 1,800 帧。要喂饱一个鲁棒的检测模型，需要成千上万段这样的视频，标注成本呈指数上升。

机器人手术系统提供了一个近乎免费的替代品：器械安装与拆卸的时间戳本来就在系统日志里。把日志对齐视频时间轴，「这 30 秒里装着 needle driver、cadiere forceps 和 force bipolar」这样的记录就自动成了标签——不花标注员一分钟，但它的代价是标签是弱且带噪的：器械装在机械臂上不等于它在视野里；日志偶有缺失或错配；器械使用频率天然长尾失衡。SurgToolLoc 2022 把这个「免费但脏」的标签源推到了社区面前，并提出了两个精确的问题：Category 1——能否用弱标签做多标签器械分类（逐帧回答「画面里有哪些工具」）？Category 2——能否更进一步，用弱标签做目标检测（逐帧框出每个工具的位置）？

这个数据集的三个结构性事实决定了它的使用方式。第一，它是培训练习数据：受训者和部分专家在猪模型（porcine model，分活体麻醉猪与离体器官两种模态）上执行标准化的解剖、缝合、止血操作，解剖结构无关紧要，画面色调因模态而异（活体偏红）；它能支撑器械检测方法的研发，不能直接等同于临床手术分布。第二，它是弱标签数据：训练集没有任何边界框，只有每片段一条的工具列表；想出框，要么自产伪标签（前二名都这么干），要么用带真值分割的外部数据（EndoVis17、Cholec80 等）预训练。第三，它是竞赛协议数据：评测经由 Grand Challenge 平台的 docker 容器在隐藏测试集（93 个片段）上自动完成，训练/测试协议、边界框规则（clevis 基准）、防作弊设计（UI 模糊）都已成为后续手术视频挑战赛的事实标准。

§0 读法三则：

1. 全文统计数字均出自挑战总结论文（arXiv:2305.07152 v1）与官网页面；v4 合编版与 v1 专篇在两处数字上有出入（Cat2 冠军分、完成提交数），已在坑 1、坑 2 存照。
2. 「24,695 个片段」与「280 个视频」并不矛盾——前者是 30 秒训练片段、后者是 SurgVU24 汇总版的长视频口径，clip 一词在版本链中换过定义（坑 6）。
3. 数据本体没有随附许可声明，这是本条目 AI-Ready 评分的最大失分项（§6.4），也是商用复用前必须人工确认的事项。

§1 数据集速览：十问十答

Q1：SurgToolLoc 2022 到底是「挑战赛」还是「数据集」？
两者是一体的：它是 2022 年 EndoVis@MICCAI 的子挑战赛，也指为该挑战赛发布、赛后公开的 24,695 片段训练集。本条目以数据集为本体、以赛果为基准数据。

Q2：训练数据长什么样？
24,695 个 MP4 视频，每个 30 秒、60FPS、720p（1280×720），来自 da Vinci 双目内窥镜的单一通道（术者控制台视角）。所有片段出自 11 场独立的培训练习（unique training exercises），练习场地是猪模型——活体麻醉猪或离体猪器官两种模态。

Q3：标签是什么形态？
每片段一条「工具在位」标签：一个四元素列表对应四个机械臂（USM1-USM4），如 [‘cadiere forceps’, ‘nan’, ‘force bipolar’, ‘grasping retractor’]，装着摄像头的臂记为 nan。14 种可能器械、每片段最多 3 把同时安装。没有逐帧边界框——这正是「弱标签」的含义，也是 Category 2 难的根源。

Q4：标签为什么是脏的？
三个来源：其一，日志只记录「已安装」，器械可能被移出视野（官网原文明确警告这一噪声）；其二，论文承认因技术原因部分标签缺失或错配；其三，器械分布长尾严重——needle driver 随处可见，suction irrigator 稀有，模型天然偏向头部类别。

Q5：测试集是什么、怎么算分？
隐藏测试集 93 个视频片段（可变长度，均值约 747 秒），下采样到 1FPS 推理；由 30 名有经验注释者标注边界框并经两轮质检。Cat1 按各工具在测试数据中出现频率加权的 mean F1 排名；Cat2 用 COCO 风格 mAP（IoU 阈值 0.5:0.05:0.95）。边界框以器械腕关节 clevis 为基准，四种大型工具例外（框含尖端）；测试帧的 UI 区域被模糊以防止读屏作弊。

Q6：比赛结果如何？
79 队注册，Cat1 17 支、Cat2 11 支完成容器提交（13/9 支提交方法报告）。Cat1 冠军 HRI_MV（海康威视）加权 F1 0.7485，前三名都过了 0.7；Cat2 冠军仍为 HRI_MV，mAP 0.4077，第三名之后全部跌破 0.1——定位任务的难度断层清晰可见。

Q7：冠军们做对了什么？
三件事：伪标签（pseudo-labeling）——先用弱标签训初始模型，把高置信预测当干净标签再训练；外部预训练——前二名都用带真值器械分割的公开数据（EndoVis17 等）预热骨干网络；时序一致性——用目标跟踪把逐帧检测串起来，填补器械短暂被遮挡的空窗。

Q8：数据现在怎么拿？
Google Cloud Storage 公开 bucket isi-surgtoolloc-2022，单包 zip 约 116.6GB，无需注册、无需认证即可下载。挑战期的注册+协议流程只针对参赛评测，不妨碍赛后数据获取。HuggingFace 上没有官方镜像。

Q9：它和 SurgVU、SurgToolLoc 2023 什么关系？
同一数据池的三代版本：2023 版直接复用 2022 训练集、只换了 108 个新测试片段；SurgVU24（2025 年 1 月论文）是扩大后的汇总版——280 个长视频、840+ 小时、约 1,800 万帧，另加了手术步骤注释和问答样例；SurgVU 2025 挑战赛在此之上加入视觉问答任务。本条目本体是 2022 口径的 24,695 片段包。

Q10：为什么它对 AI-Ready 重要？
它是「弱标签规模化」的标本：证明了系统日志可以替代人工标注撑起两万段视频的监督信号，也量化了这种替代的天花板（mAP 0.4077）。对任何想做手术视频 AI 的团队，它是绕不开的规模起点和方法学分水岭；对数据工程研究者，它的 docker 评测协议、clevis 标注规范、防泄漏设计都是可复用的公开资产。

1.1 三个易混概念辨析

检索与选型时，三个名字高度相似、指代对象截然不同，先做切割：

名称	指代	与本条目关系
SurgToolLoc 2022	本条目：2022 挑战赛 + 24,695 片段训练包	本体
SurgToolLoc 2023	第二届挑战赛（surgtoolloc23.grand-challenge.org），训练数据与 2022 相同、测试集换 108 个新片段	版本链第二代；基线数字可对照但测试集不同
SurgVU / SurgVU24	Intuitive 的手术视觉理解挑战系列及其 2024 汇总数据集（840+ 小时，arXiv:2501.09209）	版本链下游扩展版；本条目数据是其子集或前身（SurgVU24 器械表缩为 12 类，见坑 4）

另有一个易混点：本库的 endovis-challenges（rid 79） 是 EndoVis 挑战赛家族的总条目，涵盖多届多个子挑战——SurgToolLoc 2022 只是该家族 2022 届六个子挑战之一（同届还有 CholecTriplet2022、SAR-RARP50、SimCol-to-3D、SurgT、P2ILF）。查 EndoVis 历史去 rid 79，查本数据集细节留在本条目。

1.2 一分钟版本

如果你只有一分钟：Intuitive Surgical 把机器人手术培训的 24,695 个 30 秒片段（约 206 小时、14 类器械、系统日志弱标签）公开发到了 Google Cloud 上（116.6GB 单包直链），配套 MICCAI 2022 的弱监督挑战赛把「分类」和「定位」拆成两道题——分类题冠军拿到 0.7485 加权 F1，定位题冠军只有 0.4077 mAP，且定位题第三名之后的队伍全部低于 0.1。 这道落差断崖告诉了你弱标签的价值与边界：省钱的大规模标签能撑起「是什么」，撑不起「在哪里」；要补上后者，得靠外部强监督预训练和伪标签净化——两届冠军皆然。数据本体条款未公开（商用需确认），论文 CC BY 4.0，NVIDIA 的季军方案在 MONAI 教程里可以直接跑。

1.3 版本抉择矩阵（先选包，再下载）

三个版本各有适用面，下载 116.6GB 之前先对号入座：

你的任务	应选包	理由	备注
弱监督分类/定位方法研究	2022 包（本条目）	基线密度最高（13 份报告+MONAI 教程），榜单可直接对标	116.6GB
大规模预训练语料	2022 包起步，预算充裕用 SurgVU24	2022 约 206h；SurgVU24 840+ 小时	SurgVU24 约 1,800 万帧
器械检测的带框验证	SurgVU24 的 cat1_test_set_public.zip	官方众包框 + 1FPS，免下载全部视频	体量小、即下即用
手术步骤识别/描述生成	SurgVU24（labels_updated_v2.zip）	8 类步骤 + 自然语言描述，2022 包没有	需配合视频包
手术视觉问答（VQA）	SurgVU24 + SURGVU25 样例集	2025 年新增任务，含评测格式样例	样例集仅 10 片段
跨年份方法对比	2022 包 + 2023 官网榜单	训练数据相同、测试集不同，分数不可直接跨年	见 §4.5

一个常见的误判是「直接上最大的包（SurgVU24）最好」——如果目标是复现或对标 2022/2023 年的已发表结果，SurgVU24 的器械表与标签格式与 2022 包并不逐项兼容（坑 4），对齐成本可能超过直接下 2022 包。反之，只做步骤识别的话 2022 包完全不适用。选包的依据是任务的标签需求，不是规模焦虑。

1.4 数据的四个「反直觉」事实

1. 最大的弱标签包没有一帧边界框——训练监督的全部内容是每片段一行四元素文本列表；检测能力要从这行文本里「挤」出来。
2. 标签是器械自己「写」的——da Vinci 系统日志记录安装/卸载事件，标签零人工；但器械装上不等于出现在画面里，官网原文特别提醒这一噪声。
3. 79 支队伍里近半数在定位题上接近零分——不是数据太小，恰恰是数据太大、标签太弱：CAM 与热图方法在 1FPS 的 COCO mAP 口径下集体失效。
4. 两年后最大的那个包（SurgVU24）器械表反而变短了——14 类缩到 12 类；跨版本迁移模型输出头前先对表（坑 4）。

§2 数据构成与规格

2.1 数据来源与采集语境

SurgToolLoc 2022 的全部视频来自 Intuitive Surgical 组织的机器人手术培训练习（training exercises）。受训外科医生（及部分专家）在 da Vinci 系统上执行一系列标准化操作——组织剥离（dissecting）、缝合（suturing）、烧灼（cauterizing）等——练习对象是猪模型，具体分两种模态：活体麻醉猪与离体猪器官。两种模态的画面观感差异明显（活体组织色调偏红），这也是使用者在做训练/验证划分时需要考虑的分布因素。论文明确说明：解剖结构本身与本挑战无关，器械才是主角。

视频采集自双目内窥镜的单一通道——也就是说，数据集给的是术者控制台看到的二维画面，而非立体视觉的双流。每段 30 秒片段以 60FPS、720p（1280×720）存储为 MP4。所有片段来自 11 场独立培训练习；每场练习内部，连续片段在时间轴上前后相接（这正是 §5.3「场景划分防泄漏」的物理来源）。

与视频并行采集的是系统数据（system data）：机械臂上安装了哪把器械、何时安装、何时卸下。这些日志经过对齐与切分，直接变成了每片段一条的工具在位标签——整个数据集最核心的「免费标注」由此而来。官方数据页明确警告： surgeon 可能把已安装的器械移出视野，此时标签与画面不一致，这是系统日志直接导出标签所固有的噪声，不是标注错误。

2.2 规模总表

属性	规格
训练片段数	24,695 个
单片段时长	30 秒
帧率	60 FPS
分辨率	720p（1280×720）
视频源	da Vinci 双目内窥镜单通道（术者视角）
培训练习数	11 场独立练习
折算总时长	约 205.8 小时（24,695×30s 推算，论文未直接给出小时数）
器械类别数	14 种
每片段并发器械	最多 3 把同时安装于术野
标签形态	每片段一条 4 机械臂列表（USM1-4），相机臂记 nan
训练集边界框	无（弱标签本质）
下载形式	surgtoolloc2022_dataset.zip，116,579,111,799 字节（约 116.6GB）
上传时间	2022-05-05（GCS 对象元数据）

两个容易读错的数字：第一，「每片段最多 3 把工具」与「4 机械臂」并不矛盾——四个臂中有一个装的是内窥镜（标签记 nan），其余三臂才是器械；第二，「11 场练习」意味着独立场景数远少于片段数，按片段随机切训练/验证集会造成同场练习片段分属两侧的场景泄漏（scene leakage），NVIDIA 队把这个问题变成了他们的方法论卖点（§5.3）。

2.3 14 种器械清单

挑战涉及的全部器械（官网提交格式 JSON 的 14 个键与论文 §2.4 列表完全一致）：

#	官方键名	中文参照	备注
1	needle_driver	持针器	头部类别，样本量最大
2	cadiere_forceps	Cadiere 抓钳	无创抓取，细长颈
3	prograsp_forceps	ProGrasp 抓钳	有创强力抓取
4	monopolar_curved_scissors	单极弯剪	带切割/电凝功能
5	bipolar_forceps	双极钳	电凝器械
6	stapler	吻合器/钉砧	大型器械，clevis 常不出视野
7	force_bipolar	Force 双极	双极能量器械
8	vessel_sealer	血管闭合器	大型能量器械
9	permanent_cautery_hook_spatula	永久电凝钩/铲	单极能量器械
10	clip_applier	施夹钳	夹闭血管/管路
11	tip_up_fenestrated_grasper	上翘多孔抓钳	大型器械，框含尖端例外
12	suction_irrigator	冲洗吸引器	稀有类别
13	bipolar_dissector	双极分离器	稀有类别
14	grasping_retractor	抓取牵开器	大型器械，框含尖端例外

器械分布呈典型长尾：持针器类头部工具在培训练习中无处不在，冲洗吸引器、双极分离器等尾部工具样本稀少。论文讨论节明确把「类别失衡下的评测加权」写进了 Cat1 的排名规则——加权 F1 让尾部类别的错误不再被头部类别稀释。

2.3.1 两份清单的一致性验证

器械清单有两个独立出处：论文 §2.4 的文字列表与官网 Submission 页的 JSON 键名。二者交叉验证完全一致（14 项逐一对应），且 JSON 键名采用下划线小写规范（如 permanent_cautery_hook_spatula）——这份数据的机器可读接口质量较高：解析器可以直接以 JSON 键名建类别索引，无需人工映射。唯一注意点：CSV 标签里的是空格小写形式（如 ‘permanent cautery hook/spatula’，含斜杠），与 JSON 键的对应关系需做一次规范化映射（去空格/斜杠换下划线）——这是接入数据时最常见的第一个小坑。

2.4 工具在位标签的语法

每个训练片段在标签 CSV 中对应一行，核心字段是一个四元素字符串列表：

• 每个元素对应一个机械臂（USM1、USM2、USM3、USM4），值为该臂安装的器械名；
• 装载内窥镜的臂记为 nan；
• 四臂通常（但不必然）按左到右排列——USM1 最左、USM4 最右；
• 因为器械在整个片段期间保持安装，每片段只需一条标签，无需逐帧重复。

这条语法的推论值得展开：视频级标签与帧级真值之间存在系统性落差。某帧里某把器械可能正在视野外、被烟雾遮挡、或被其他器械完全挡住，但它的名字仍在标签里。前二名队伍的伪标签流水线，本质都是在做「把视频级标签逐步净化为帧级标签」的过滤工程——NVIDIA 用分割模型数轮廓（一帧里能确认三把不同器械才采信标签），HRI_MV 用跟踪+双模型交叉验证挑伪标签。弱标签不是不能用，而是必须先过一道「净化」工序。

2.5 隐藏测试集与边界框规范

2022 年测试集由 93 个视频片段构成，与训练集同源（同类培训练习、同一 da Vinci 系统），但有三处关键差异：

1. 长度可变：均值约 747.31 秒（标准差 579.92 秒），远长于训练集的 30 秒规格——测试算法要在长视频上保持稳定；
2. 1FPS 下采样：推理按每秒 1 帧进行，逐帧输出预测；这同时意味着提交容器无需处理 60FPS 的全量帧；
3. 带边界框真值：30 名有经验注释者组成众包队伍，对器械逐帧画框，经两轮质检修正。

边界框的「真值锚点」规则是这份规范里最值得细读的部分：对大多数器械，clevis（腕关节，器械末端执行器与杆身之间的旋转关节）就是标注对象——框住 clevis 而非整个器械。两种例外：clevis 形态不明确的器械（如单极弯剪），框内包含器械尖端；器械过大、clevis 不总在视野内（tip-up fenestrated grasper、suction irrigator、stapler、grasping retractor 四种），框同样延伸至尖端。

防作弊设计与数据规范同样精细：测试帧中 da Vinci 系统 UI 区域（其中会显示当前安装器械的文字名称）被整体模糊——OCR 读屏换分数的路被物理封死。训练侧同理：NVIDIA 的预处理笔记明确记录了裁剪两侧黑边、模糊底部横幅的对齐操作，让训练分布与测试分布一致。

2.6 与库内同类数据的模态对照

把本条目放进「手术/内窥镜视频数据」的横向光谱，可以看清它的独特位置：

数据集	模态	标签强度	规模	任务范式
Cholec80（rid 78）	腹腔镜胆囊切除临床视频	手术阶段（phase）逐帧	80 例视频	阶段识别
M2CAI16-Tool（rid 303）	同上挑战赛数据	器械在位（视频级→帧级）	中等	器械存在识别
CholecT50 / cholect50（rid 223）	腹腔镜临床视频	动作三元组（器械- verb -目标）	50 例	三元组检测
CholecSeg8k（rid 233）	腹腔镜临床帧	像素级语义分割	8,080 帧	强监督分割
Kvasir-Instrument（rid 213）	消化道内镜	器械分割掩码	中等	分割/检测
SurgToolLoc 2022（本条目）	da Vinci 机器人培训视频	系统日志弱标签（视频级）	24,695 片段/约 206 小时	弱监督分类+定位

两个结构性差异值得强调：其一，本条目是表中唯一的机器人手术数据源（其余为传统腹腔镜或消化道内镜），也是唯一的猪模型培训语境（其余为临床手术）；其二，它是唯一以「系统日志自动化标签」为核心卖点的数据集——其他数据集的标签都出自人工标注流水线。这使得它成为「弱标签规模化」路线的孤本参照。

2.7 包内组织与下载实操

surgtoolloc2022_dataset.zip 解压后的目录组织遵循「视频 + 标签 CSV」的最小结构：

surgtoolloc2022/
├── videos/                     # 24,695 个 MP4 片段
│   ├── video_00000.mp4         # 30s / 60FPS / 720p
│   ├── video_00001.mp4
│   └── ...
└── tool_presence_labels.csv    # 逐片段工具在位标签

标签 CSV 的每行对应一个片段，核心列为四元素工具列表（USM1-4 各臂）。注意三点工程细节：其一，片段编号不保证跨练习连续，同场练习的片段需靠时间相邻性与首末帧相似度重建（附录 F 骨架）；其二，CSV 中个别行可能存在缺失或错配（论文承认的标签噪声），写解析器时应容忍 nan 与空值；其三，MP4 均为 H.264 类标准编码，主流解码栈（OpenCV/ffmpeg/PyAV）可直接读取，无专有格式障碍。

下载实操建议：GCS bucket 浏览页支持单对象下载；命令行可用 gcloud storage cp gs://isi-surgtoolloc-2022/surgtoolloc2022_dataset.zip . 或拼对象媒体直链（注意带上对象 generation 参数以避免重传后链接失效）。116.6GB 单包建议使用断点续传工具，并预留约 130GB 解压空间。

2.8 数据质量自检清单（下载后 30 分钟）

拿到包后建议先跑一遍最小自检，再投入训练：

检查项	方法	通过标准
片段计数	`ls videos	wc -l`
时长抽样	ffmpeg/ffprobe 抽 100 个	每个约 30 秒（±1s）
分辨率一致性	ffprobe 抽样	1280×720
帧率一致性	ffprobe 抽样	60FPS
标签行数	CSV 行数	与片段数一致
标签合法值	解析四元素列表	值 ∈ 14 类器械名或 nan
坏帧检测	解码抽样 1,000 个片段	无解码错误
黑边/横幅	目检抽样	记录裁剪与模糊需求

这 30 分钟的自检能提前暴露下载截断、编码异常与标签错位三类最常见事故——在 116GB 的体量上，事后返工的成本远高于事前抽样。

2.9 器械功能分组：为什么这 14 类值得一张功能地图

14 类器械若按手术功能重新分组，长尾现象的成因会变得直观——头部类别是「每台手术都要用」的通用器械，尾部类别是「特定步骤才出场」的专用器械：

功能组	器械	训练数据中的出现频率
抓取/持握（通用）	needle_driver、cadiere_forceps、prograsp_forceps、grasping_retractor	高（缝合类步骤的常驻工具）
能量/切割（常用）	monopolar_curved_scissors、bipolar_forceps、force_bipolar、permanent_cautery_hook_spatula	中高（剥离/止血步骤主力）
专用闭合	vessel_sealer、clip_applier、stapler	中低（特定步骤出场）
辅助/暴露	tip_up_fenestrated_grasper、suction_irrigator、bipolar_dissector	低（长尾）

这解释了两件事：其一，为什么 Cat1 的加权 F1 里头部类贡献了大头——抓取与能量组的出场频率天然高；其二，为什么尾部类的逐类 F1 才是方法水平的试金石——suction_irrigator 之类的稀有类一旦出错，加权指标几乎无感，但真实手术里恰恰是这些器械的使用时机最敏感。研究者在报告结果时应附逐类 F1/mAP 全表，而不是只报均值。

2.10 两种猪模态的分布注意项

培训练习的两种动物模态——活体麻醉猪（in vivo）与离体猪器官（ex vivo）——在画面上有系统性差异：活体组织血流灌注使色调偏红、组织运动与出血更接近真实手术；离体器官色调偏淡、画面更「静」。论文只说明「两种模态都存在」与「色调差异明显」，未披露两者的片段数占比（遗留疑点，见附录 I）。对使用者的实际影响：

1. 训练/验证划分若按片段随机切，两模态混合程度不可控——显式重建场景（附录 F）并把模态作为分层变量更稳；
2. 在活体模态上训练、离体模态上验证（或反之）是现成的域偏移（domain shift）压力测试设计；
3. 向人类临床手术迁移时，活体模态子集的外推价值更高——但占比不明意味着这个结论只能定性使用。

§3 挑战赛协议与评测设计

3.1 组织架构与时间线

SurgToolLoc 2022 是 EndoVis 2022（Endoscopic Vision Challenge）的子挑战，随 MICCAI 2022（新加坡，2022 年 9 月）举行。组织方为 Intuitive Surgical, Inc.，核心组织者包括 Aneeq Zia、Kiran Bhattacharyya、Xi Liu、Max Berniker、Ziheng Wang、Rogerio Nespolo 与 Anthony Jarc 等。完整时间线（官网 ImportantDates 页）：

节点	日期
注册开放 + 训练数据发布	2022-04-29
提交说明详版发布	2022-07-15
预赛阶段（preliminary phase）开始	2022-08-05
预赛阶段结束	2022-09-04
决赛阶段（final phase）开始	2022-08-29
决赛阶段结束	2022-09-08
方法报告截止	2022-09-08
排行榜定稿 + 获胜者公布（Challenge Day）	2022-09-18

预赛允许每队最多 10 次容器调试（测试集仅 2 个视频，用于跑通流程）；决赛每队仅 1 次提交机会——单发命中的压力设计。奖金由 Intuitive Surgical 赞助：Cat1 前三名为 $2,000/$1,000/$500，Cat2 为 $6,000/$3,000/$2,000；官网首页所称「总额最高 $8,000」指单队双赛道同时夺冠的上限（2,000+6,000），两赛道奖池名义总和实为 $14,500。

3.2 双赛道定义

Category 1 — 手术器械分类（surgical tool classification）：给定 30 秒片段（推理时按 1FPS 的帧序列），对每帧输出 14 类器械的布尔存在向量。训练监督只有视频级弱标签。排名按加权 mean F1——权重取各工具在测试数据中的出现频率，防长尾稀释。

Category 2 — 分类+定位（classification & detection）：在 Cat1 之上，每帧还要输出每个检出器械的边界框（corners 四角顺时针坐标，z 值恒填 0.5 以兼容 Grand Challenge 的三维评测管线）。排名按 COCO 风格 mAP（IoU 阈值 0.5:0.05:0.95 @1FPS）。

两赛道允许兼报（Cat2 参赛队全部同时参加了 Cat1）。输出格式均为严格规定的 JSON 结构：Cat1 是逐帧布尔字典列表（slice_nr + 14 个工具键）；Cat2 是带 type/version 头的 bbox 集合（corners + name + probability）。格式强制的意义在于评测完全自动化——所有队伍的分数出自同一段评测代码。

两赛道的评测差异一览：

维度	Category 1	Category 2
输出粒度	逐帧布尔向量（14 类）	逐帧 bbox 集合（含置信度）
排名指标	频率加权 mean F1	COCO mAP（IoU 0.5:0.05:0.95）
长尾处理	权重内置（评测侧）	需自行在训练侧解决
监督信号需求	视频级标签（净化后即可用）	需额外边界信息（伪标签/预训练）
2022 最佳	0.7485（HRI_MV）	0.4077（HRI_MV）
奖金梯度	$2,000/$1,000/$500	$6,000/$3,000/$2,000

Cat2 奖金梯度更陡（$6,000 vs $2,000）——组织方对「弱监督定位」的定价本身就承认了它的难度：这是整场挑战赛最有信息量的一行元数据。

3.3 Grand Challenge 容器评测协议

全部提交经由 grand-challenge.org 的自动化 docker 容器评测（automated evaluation）：每队打包一个「算法」容器，上传后在平台受控环境里对隐藏测试集执行推理。这套协议的价值不只是防作弊——它把「跑分」从队伍本地环境搬到了统一硬件与统一依赖里，同届所有分数的方差里不再含环境因素。这也是后续大多数 EndoVis/MICCAI 挑战赛沿用的事实标准。

配套公开的还有官方样例容器仓库（GitHub：aneeqzia-isi/surgtoolloc2022-category-1 与 -category-2），内含输入输出格式样板与打包说明——对今天的使用者而言，这两个仓库仍是理解数据消费格式的最短路径。

3.4 参赛规模与产出

79 支队伍注册并下载数据；最终 Cat1 17 支、Cat2 11 支完成容器提交（注意：论文讨论节另有一处「13 支/9 支完整提交」口径，见坑 2——两口径并存，13/9 对应提交了方法报告并计入终榜的队伍数）。13 支队伍的方法报告被完整收录进总结论文（各队自述原文），这使论文成为一份罕见的「方法学普查」：从 CAM 热图到跟踪器集成、从 logit shift 到 SAM2 半自动标注（2023 版），弱监督检测的当代工具箱在一份文献里齐备。

对数据集使用者的含义：论文 §3 的 13 份报告就是 13 条现成的基线复现路径，其中 NVIDIA 的方案（MONAI 开源教程）与官方样例容器可以直接跑通——这是大多数挑战赛数据集不具备的「基线密度」。

3.5 同届语境：EndoVis 2022 的六个子挑战

SurgToolLoc 2022 并非孤赛——它是 EndoVis 2022（Endoscopic Vision Challenge）框架下的六个子挑战之一（Zenodo 概览 10.5281/zenodo.6390403）。同届全景：

子挑战	任务类型	与本条目的关系
SurgToolLoc	器械弱监督分类+定位	本条目
CholecTriplet2022	手术动作三元组（器械-动作-目标）检测	器械检测是它的上游能力；库内 cholect50（rid 223）
SAR-RARP50	器械分割 + 动作识别（机器人前列腺根治）	分割（强监督）+识别的组合任务
SimCol-to-3D	模拟结肠镜 3D 场景重建	形状/深度方向，与本条目互补
SurgT	手术组织跟踪	跟踪方向——本条目冠军方案的跟踪组件可视为其近亲
P2ILF	术前-术中腹腔镜融合	多模态配准方向

这张表的用法：如果你的研究横跨「器械检测 + 动作/步骤」，标准组合是本条目（器械）+ cholect50（动作三元组）或 SurgVU24（步骤）；如果做跟踪，SurgT 与本条目冠军方案的跟踪组件互为参照。EndoVis 家族的完整谱系见库内 endovis-challenges（rid 79）。

3.6 评测协议的四个细节及其含义

官方评测协议里有四条容易被忽略、却直接影响分数解读的细节：

1. 加权口径只在 Cat1：Cat1 的 F1 按工具出现频率加权，Cat2 的 mAP 则是 COCO 标准口径（各类 AP 再平均）。同一模型在两赛道上的「类别公平性」表现不可直接互推——加权 F1 偏袒头部类召回，mAP 对尾部类精度同样敏感。
2. IoU 离散点 0.5:0.05:0.95：COCO 式的十个 IoU 阈值平均意味着「框得不够紧」会被连续惩罚——CAM 热图提框在 0.5 阈值上尚可一战，在 0.7+ 阈值上迅速归零，这正是 CAM 系队伍 Cat2 全军覆没的技术解释。
3. 1FPS 推理：评测按每秒一帧进行，长视频（均值 747 秒）即约 747 个评测帧。模型无需处理 60FPS 全量帧，但时序方法的采样间隔要按 1FPS 设计——按 60FPS 设计的时序窗口在测试时会「慢 60 倍」。
4. 单次决赛提交：决赛阶段每队仅 1 次容器提交。榜单波动不存在「试错回滚」，所有队伍的决赛分数都是单发结果——这也是 2022 年终榜上 Cat2 大面积低分的部分背景（预赛分数不可见、决赛不可重试）。

这四条合起来的含义是：复现者若用公开验证集（cat1_test_set_public.zip，2025 年发布）自评，必须把评测代码对齐到上述口径，否则自评分数与官方终榜不可比。

§4 挑战结果：两张榜单与一个断层

4.1 Category 1 最终排名（加权 F1）

论文 Table 13 收录的最终排行榜（隐藏测试集，1FPS 逐帧，频率加权 mean F1）：

名次	队伍	机构	加权 F1
1	HRI_MV	海康威视研究院（Hikvision Research Institute）	0.7485
2	HKMV	South China University of China（论文原文如此，疑为华南理工笔误，见坑 7）	0.72
3	NVIDIA	NVIDIA（Kaggle Grandmasters + MONAI 团队成员）	0.7055
4	ANL-Surg	Argonne 国家实验室	0.6691
5	HVRL	庆应义塾大学（Keio University）	0.6605
6	SK	室兰工业大学（Muroran Institute of Technology）	0.643
7	TeamZERO	—	0.6299
8	VANDY-VISE	Vanderbilt 大学	0.6206
9	UKE	Hamburg-Eppendorf 大学医学中心	0.6203
10	Gatech	Georgia Tech	0.5986
11	ITeM	Furtwangen 应用科学大学	0.5978
12	MM	Shun Hing Institute of Advanced Engineering	0.5637
13	BioMedIA	Bin Zayed University of AI	0.5521

三个观察：其一，前三名全部突破 0.7，头部竞争激烈；其二，0.55-0.75 的密集分布说明弱标签分类是可解的问题——视频级标签经净化后足以支撑帧级分类；其三，排名与机构背景的相关性弱于与「预训练策略」的相关性（见 4.3）。

前三名的 Cat1 路线速写：

• HRI_MV：检测器顺带输出分类——其 Cat1 分数就是 Cat2 检测器的分类头直接给出的（0.7485），一套模型两用；
• HKMV：Faster R-CNN 系两阶段路线在分类任务上同样奏效（0.72），验证了「检测框架做分类」的兼容性；
• NVIDIA：纯分类路线（EfficientNet-B4/ConvNext-tiny 集成 + logit shift），0.7055 是「不做检测、专注分类」路线的代表分。

三个头部样本恰好覆盖了三种架构取向——检测器兼用、两阶段管线、纯分类集成——而分数差（0.04）远小于路线差。弱标签分类任务的瓶颈在标签净化，不在架构选择——这是 Cat1 榜单最稳定的结论。

4.2 Category 2 最终排名（mAP）

论文 Table 14（COCO mAP，IoU 0.5:0.05:0.95 @1FPS）：

名次	队伍	mAP
1	HRI_MV	0.4077
2	HKMV	0.3726
3	NVIDIA	0.3058
4	ANL-Surg	0.0961
5	Gatech	0.0686
6	SK	0.0247
7	VANDY-VISE	0.0003
8	HVRL	0
9	ITeM	0

这张表的形状比第一张更耐读：0.3058 与 0.0961 之间隔着一道悬崖——前三名与第四名之间差了 0.21，而后六名加起来不到 0.2。论文的判读是直接的：「仅前三名取得了 0.3 以上的合理成绩；其余队伍在准确框定边界框上挣扎」。CAM（class activation map）类方法在弱监督定位上有天然上限——热图能告诉你「工具大概在这一片」，却画不出 IoU 0.5 以上的紧致框；这道坎把大部队拦在了 0.1 以下。

注意：v4 合编版（2026）讨论节把 2022 年 Cat2 冠军分写为 0.4452（HRI_MV），与 v1 专篇 Table 14 的 0.4077 存在出入（坑 1 存照）。本条目正文按 v1 表格口径引用，两口径并列供检索者自校。

4.3 分水岭：预训练数据的选择

论文讨论节给出的最重要归因：Cat2 前三名（HRI_MV、HKMV）全部使用了带真值器械分割标注的公开数据集（如 EndoVis17 器械分割挑战数据）做预训练；Cat1 前五名中亦有三家（HRI-MV、HKMV、ANL-Surg）如法炮制。而全部 13 支队伍中有 5 支使用了临床手术数据（Cholec80 等）做预训练。

这个发现的机理值得展开：clevis 是一个跨器械高度相似的部件——仅看腕关节，持针器和抓钳几乎无法区分；判别特征藏在夹钳形态、杆身走向与器械尖端的组合里。纯弱标签训练的模型权重容易停在「只看 clevis」的局部最优上；而带分割真值的预训练把权重先推到一个「知道器械整体轮廓」的初始位置，弱标签微调再从这个位置出发——论文原话是「把模型权重 nudge 到由器械分割信息所知的那部分权重空间」。

对使用者的直接推论：在这份数据上从零训练检测器不是推荐姿势；合理的复现路径是 EndoVis17/Cholec80 预训练 → 弱标签伪标签净化 → 检测微调，三条腿缺一不可。

4.4 跨任务一致性

Cat1 与 Cat2 的名次高度相关（前三名同序），但反之不成立——Cat1 成绩尚可的队伍在 Cat2 上可以接近零分（HVRL：F1 0.6605 / mAP 0）。论文的解读：器械存在性的表征是定位的前提，但不是充分条件；「检测模型学到的图像特征未必有助于定位」。这一观察至今仍是弱监督检测文献里的通用结论，而这份数据集提供了它在手术视频域的实证样本。

4.5 四年纵向对照（v4 合编版口径）

把 v4（2026）里四年的 Cat2 冠军分连起来看，本数据集的长期价值更清晰：

年份	挑战	Cat2 冠军	mAP	训练数据
2022	SurgToolLoc 2022	HRI_MV	0.4077（v1 表）/0.4452（v4 述）	24,695 片段（本条目）
2023	SurgToolLoc 2023	PUMCH（北京协和）	0.4669	同 2022 训练集
2024	SurgVU 2024	PDMYR	0.4244	SurgVU24 汇总版（840h）
2025	SurgVU 2025	PUH-SVU	0.5188	SurgVU24 + 小规模真值 bbox 验证集

注意三点：各年测试集不同，分数不能跨年直接比（2024 冠军分低于 2023 即为例证——2023 测试集更「顺」还是模型更强，无交叉验证不可知；不过组织方确实把 2022 年冠军算法放到 2023 测试集上复测过，确认整体在进步）；2025 年首次破 0.5，但当年新引入了带真值边界框的小验证集，「纯弱监督」的成色打折扣；四年冠军策略一脉相承——人力在环标注（human-in-the-loop）、跟踪辅助伪标签、自监督预训练，数据工程反复跑赢架构创新。论文结论原文的判断今天依然成立：「弱监督器械分类与定位仍徘徊在 mAP 0.5 或以下，远落后于通用视觉基准上的全监督 SOTA」。

4.6 从榜单读数据的五条推论

把两张榜单与赛制设计放在一起读，能推出五条对数据使用直接有效的结论：

1. 分类题的弱标签信息量够用：0.55-0.75 的密集分数带说明，视频级标签经过基本净化后，帧级分类的天花板远未触底——2022 年的冠军放到今天大概率已被超越，这条赛道仍有长尾空间。
2. 定位题是标注经济学问题而非模型问题：0.4077 的冠军分与 0.0961 的第四名之间，差的不是骨干网络，是「谁在训练前见过带框的器械」。此后四年榜单元数据（2023-2025）反复验证：凡提升，几乎都来自标注投入。
3. CAM 的证伪样本库：三支 CAM 系队伍合计 mAP 不足 0.1——任何在自然图像文献里读到「CAM 可以做弱监督检测」的读者，都应在这份数据上先复现再采信。
4. 集成不是万能贴：HRI_MV 在 Cat1 上集成涨分（0.7485）、在其 Cat1 提交里集成反而退化（0.7485 vs 0.7341 的检出/定位口径分歧）——检测任务集成前先做单模型误差分析。
5. 官方基线的空缺：组织方没有发布官方 baseline——这份空白由 NVIDIA 教程事后补上。今天复现者应以 MONAI 教程为准入起点，而非从零搭建。

4.7 分数解读的统计卫生

引用这两张榜单时，五条卫生守则：

1. 口径先行：任何引用先注明 v1/v4 版本与表格号——0.4077 与 0.4452 的混用已经在 2026 年的合编版里发生（坑 1）；
2. 测试集不同则不可比：2022（93 片段）/2023（108 片段）/2024-2025（SurgVU24 系）是三套不同的考卷，跨年分数差 ≠ 方法差；
3. 加权口径要复述：Cat1 的加权 F1 与普通 macro F1 数值不同，直接当 macro F1 转述会引入系统性误差；
4. 单次提交方差：决赛单发制下，名次间的微小差距（如 0.6206 vs 0.6203）不构成方法学结论；
5. 逐类优先：讨论临床可用性时看尾部类别（suction_irrigator 等）的逐类分数，均值分数对安全评估几乎无信息量。

4.8 两条「几乎零分」的对照教学

HVRL（mAP 0）与 VANDY-VISE（mAP 0.0003）两个零分样本值得单独拎出来：两队在 Cat1 上分别是 0.6605 与 0.6206——分类能力正常。它们的定位失败集中在「框回归」环节：HVRL 的 Grad-CAM++ 热图经 Otsu 二值化与连通域提取后，框的紧致度达不到 IoU 0.5 阈值；VANDY-VISE 的弱定位输出几乎与真值框无重叠。这一对照的教学价值在于把「弱监督定位」的难点精确定位到空间监督信号的缺失——分类信号再准，也替代不了边界的监督。任何新方法在这份数据上的第一性检验就是：你从哪里「无中生有」地拿到了边界信息（伪标签？预训练？人工？）。

§5 方法生态：13 份报告里的工具箱

5.1 冠军方案解剖：HRI_MV（海康威视）

HRI_MV 在两个赛道同时夺冠，其方案（论文 §3.1）是一条「分割→跟踪→伪标签→检测→跟踪后处理」的完整流水线：

1. 语义分割网络 + 目标跟踪产伪标签：用分割模型给帧打掩码，跟踪器（结合 Kalman 滤波）跨帧串联器械实例，把「哪帧里哪把器械在哪」从视频级标签里逐步抠出来；
2. 双模型交叉验证选伪标签：两个模型各自产伪标签，以 IoU 打分互验，只保留双方一致的伪标签——用一致性代替真值做质量控制；
3. ROI 扩展（expanded ROI）：针对「clevis 跨器械同质化」问题，把感兴趣区域从 clevis 扩展到夹钳与杆身，让分类器看到组合特征；论文报告该改动带来 +0.063 的整体提升，消融图显示 cadiere forceps 与 prograsp forceps 的混淆被显著修复；
4. 检测器集成：单模型 0.3985 → 集成 0.4077（Cat2 排行榜第一）；同一检测器顺带参加 Cat1，集成 0.7485。

方法论上值得记住的一笔：集成在 Cat2 上反而退化（0.7485 vs 0.7341，Cat1 侧），说明检测任务的误差结构（框回归方差）不同于分类（概率校准），照搬分类侧的集成经验会翻车。

HRI_MV 报告里的消融证据（论文 §3.1）值得逐项记录——它把每个模块的边际贡献都标了价：

改动	带来的提升
ROI 扩展（clevis → 含夹钳/杆身）	+0.063（整体 mAP）
单模型 → 双模型集成	0.3985 → 0.4077（Cat2 排行榜）
伪标签互验（双模型 IoU 一致性）	未单独量化，但为集成收益的前提
Kalman 滤波时序平滑	未单独量化（跟踪组件）

这份消融的启示是「边际收益递减但方向一致」：所有有效改动都在做同一件事——让模型看到比 clevis 更多的器械上下文。反过来，论文里没有任何队伍靠「更大的骨干」获得同量级提升。

5.2 季军方案：NVIDIA（MONAI 开源）

NVIDIA 五人组（三名 Kaggle Grandmasters、一名 MONAI 核心成员、一名 Deep Learning Examples 工程师）的方案完整开源在 Project-MONAI/tutorials 仓库（competitions/MICCAI/surgtoolloc），是本数据集可直接跑通的官方级基线：

• 预处理三件套：①从 MP4 抽帧并对齐测试分布（裁黑边、糊底部横幅、60FPS→1FPS 采样）；②图像哈希检测相邻片段是否同场景，迭代分层切五折——防场景泄漏的折划分成为后来者标配；③基于视频级标签随机选 1,126 帧手工标 bbox（覆盖全部 14 类），YOLO 格式标注随教程发布——这本身就是一份高价值的衍生标注资产；
• 分类（Cat1）：用 MICCAI 2017 器械分割挑战的公开分割模型逐帧数器械轮廓，「一帧确认三把不同器械」才采信该帧标签——视频级标签净化为帧级标签的机械实现；随后 5 折 EfficientNet-B4 + 5 折 ConvNext-tiny 集成，配合 logit shift（按类别平移 logits 使 0.5 恰为 F1 最优阈值，专治长尾下的概率偏置）；本地 CV F1 0.8526，排行榜 0.7055；
• 检测（Cat2）：YOLOv5m（v6.2，定制超参）在 1,126 帧手工框上训练；本地 mAP 0.4132，排行榜 0.3058。

教程同时发布的还有「清洗后分类帧」数据包（surgtoolloc_tutorial_cleaned_data.zip）——对不想从零造伪标签的使用者，这是仅次于原始数据本身的第二入口。

5.3 其余队伍的思路光谱

13 份报告构成一个完整的弱监督方法谱系，摘要如下：

• HKMV（亚军）：Faster R-CNN + EfficientNet-B3 骨干 + FPN，按 clevis 尺寸设计 8/16/32/64 倍四层特征图；25% 数据做验证集时只用「标签干净」的片段——又一处标签净化意识；本地 mAP 0.452、终榜 0.3726；
• ANL-Surg（Argonne）：Detectron2 分割器械部件 → 聚类成整器 bbox → 裁剪后向 Cat1 模型查询类别——「先分割再分类」的两段式，Cat1 0.6691 但 Cat2 仅 0.0961，两段误差放大效应的活教材；
• HVRL（庆应）：Swin Transformer V2 + EfficientNetV2 + ResNeXt 三模型集成（timm 实现），TTA 后处理；Cat2 用 Grad-CAM++ 热图双卷积层平均 + Otsu 二值化 + 连通域提框——CAM 路线的标准姿势与其天花板（mAP 0）；
• SK（室兰工大）：乘性特征融合网络 + CAM 阈值化，官方评估 F1 0.816（本地）/0.643（终榜），Cat2 mAP 0.03—— again，CAM 定位失灵；
• CAMMA（斯特拉斯堡，Padoy 组）：手术数据科学老牌团队参与；其报告与致谢（ANR AI4ORSafety 等资助）显示欧洲手术视觉社区对弱监督议题的系统性投入；
• WhiteBox（东京大学）、BioMedIA、MM、UKE、ITeM、VANDY-VISE、TeamZERO、Gatech：覆盖从注意力图到检测器集成的各类变体，共同点是——凡 Cat2 得分进前四者，全部外部预训练。

5.4 十三队方法对照总表

把论文 §3 的 13 份自述报告浓缩成一张方法对照表——这是本数据集「方法学普查」属性的核心价值：

队伍	Cat1 F1	Cat2 mAP	检测骨干	定位策略	外部预训练	特色技术
HRI_MV	0.7485	0.4077	检测器集成（含跟踪）	跟踪+分割伪标签+ROI 扩展	EndoVis 分割系	双模型 IoU 互验、Kalman 滤波
HKMV	0.72	0.3726	Faster R-CNN（EfficientNet-B3+FPN）	伪标签+四层特征图适配 clevis 尺寸	EndoVis 分割系	干净标签子集验证
NVIDIA	0.7055	0.3058	YOLOv5m	分割计数净化+1,126 帧手工框	EndoVis17 分割 + ImageNet	logit shift、场景防泄漏折划分
ANL-Surg	0.6691	0.0961	Detectron2 部件分割	部件聚类成框+Cat1 模型查类	临床/分割系	两段式管线（分割→分类）
HVRL	0.6605	0	SwinV2/EffNetV2/ResNeXt 集成	Grad-CAM++ 双层热图+Otsu+连通域	ImageNet/Instagram	TTA；CAM 路线典型失灵样本
SK	0.643	0.0247	乘性特征融合网络	CAM 阈值化（Otsu）+IoU 复核	ImageNet	Otsu 自适应二值化
TeamZERO	0.6299	—	—	—	—	未提交终版报告
VANDY-VISE	0.6206	0.0003	分类集成	弱定位	—	定位几乎未得分
UKE	0.6203	—	—	—	—	—
Gatech	0.5986	0.0686	—	—	—	—
ITeM	0.5978	0	—	—	—	—
MM	0.5637	—	—	—	—	—
BioMedIA	0.5521	—	—	—	—	—

（「—」为论文 Table 1/2 未收录对应报告细节或该队未进入相应赛道终榜。）

三列交叉读出的规律：Cat2 得分与「是否有真值分割预训练」强相关（前三名全是），与「骨干是否时髦」弱相关（SwinV2 集成的 HVRL 在 Cat2 得 0）；CAM 系三种实现（HVRL/SK/VANDY-VISE）合计 mAP 不足 0.1——弱监督定位文献里 CAM 的金字招牌在这份手术数据上被系统性证伪。

5.5 MONAI 教程复现骨架（命令级）

NVIDIA 方案的仓库结构（competitions/MICCAI/surgtoolloc）与最短复现路径：

surgtoolloc/
├── preprocess_extract_images_from_video.ipynb   # 抽帧+对齐测试分布
├── preprocess_detect_scene_and_split_fold.ipynb # 场景检测+防泄漏折划分
├── preprocess_to_build_detection_dataset.ipynb  # 1126 帧手工框 → YOLO 数据集
├── classification_files/    # EfficientNet-B4 训练管线（MONAI）
│   └── configs/cfg_efnb4.py # 按本机路径修改数据根目录
└── detection_files/         # YOLOv5 训练脚本（run_5fold.sh）

# 分类管线（MONAI EfficientNet-B4）
cd classification_files
python train.py --fold 0            # 5 折逐折训练；CV F1 ≈ 0.8470

# 检测管线（YOLOv5 v6.2）
git clone https://github.com/ultralytics/yolov5.git
cp detection_files/* yolov5/
cd yolov5/ && git checkout tags/v6.2
cp data/hyps/hyp.scratch-low.yaml v5m_surg.yaml
# 超参改动：lr0=5e-4，degree=30.0（旋转增强），详见教程 readme
bash run_5fold.sh

复现前置：两份衍生标注 zip（1126 帧 YOLO 框 + 清洗分类帧）从 MONAI-extra-test-data release 0.8.1 下载，可跳过最耗时的伪标签生产阶段直接进训练。教程 README 同时明确记录了复现时的已知琐碎工作（如手工剔除损坏视频）被刻意省略——实际跑通时保留数据自检步骤（2.8）的习惯仍有价值。

5.6 允许的预训练白名单

挑战规则明确允许（且事实上鼓励）使用外部公开数据预训练：Cholec80、M2CAI、ImageNet，以及（实践中被前三名采用的）EndoVis 2017 器械分割数据。这条规则把挑战赛从「封闭数据竞赛」变成了「弱标签如何嫁接强监督先验」的开放实验——也是本数据集使用建议中最重要的一条：库里 cholec80（rid 78）、m2cai16-tool（rid 303）与 endovis-challenges（rid 79）正是白名单数据源，可以拼出完整的复现链。

§6 获取与许可：一条直链与一份待确认的条款

6.1 获取路径

训练数据的获取在 2023 年论文发表后变为公开直链模式，无需注册、无需认证：

资产	入口	说明
2022 训练集（本条目本体）	GCS bucket isi-surgtoolloc-2022（console.cloud.google.com/storage/browser/isi-surgtoolloc-2022）	单包 surgtoolloc2022_dataset.zip，116,579,111,799 字节（约 116.6GB / 108.6GiB）；对象级 JSON API 实测公开可读（2026-10-04）
官方样例提交容器	GitHub aneeqzia-isi/surgtoolloc2022-category-1 / -category-2	输入输出格式样板、打包说明
NVIDIA 季军方案（MONAI）	GitHub Project-MONAI/tutorials → competitions/MICCAI/surgtoolloc	三个预处理 notebook + 分类/检测训练管线 + 1,126 帧 YOLO 标注 zip + 清洗分类帧 zip
挑战总结论文	arXiv:2305.07152（v1/v4，CC BY 4.0）	13 支队伍方法报告全文
SurgVU24 汇总版	GCS bucket isi-surgvu（surgvu24_videos_only.zip + surgvu24_labels_updated_v2.zip + cat1_test_set_public.zip + SURGVU25_cat_2_sample_set_public.zip）	840+ 小时扩展版及验证集（§7.1）

zip 直链可拼为：https://storage.googleapis.com/download/storage/v1/b/isi-surgtoolloc-2022/o/surgtoolloc2022_dataset.zip?generation=1651782612737959&alt=media——不过更稳的做法是从 bucket 浏览页取当前 generation（对象可能被重传）。

下载体量提示：116.6GB 单包、无分片——需要稳定的国际网络与 150GB 以上临时空间；解压后 24,695 个 MP4 的目录句柄压力也值得提前规划。HuggingFace 上没有官方镜像（hf-mirror API 检索 datasets/models 均为空，2026-10-04 实测），国内使用者需自行规划加速路径。

实操上三种下载姿势按稳定性排序：

1. gcloud CLI：gcloud storage cp gs://isi-surgtoolloc-2022/surgtoolloc2022_dataset.zip .——官方工具自带断点续传与校验，最稳；
2. 对象媒体直链 + 通用下载器：先从对象 JSON API 取当前 generation，拼 https://storage.googleapis.com/download/storage/v1/b/isi-surgtoolloc-2022/o/surgtoolloc2022_dataset.zip?generation=<gen>&alt=media，再用支持续传的下载器（aria2c/wget -c）；
3. 浏览器直下：bucket 浏览页点击下载——最不推荐（116GB 级别浏览器下载几乎必断）。

下载完成后先跑附录 N 的校验命令（size/md5/计数三步），再进入解压与 2.8 的自检清单。

6.2 许可状态：事实与空白并存

本条目许可状态需要分层陈述，这是它 AI-Ready 评分的最大失分项：

1. 论文：arXiv 2305.07152 与 2501.09209 均为 CC BY 4.0——引用与转述无障碍；
2. 挑战期数据获取协议：参赛需注册并签署协议表（发送至 isi.challenges@intusurg.com）——协议表本体是 Google Drive 表单，公开网页上抓不到条款原文；
3. 赛后公开的 GCS 直链：bucket 公开可读是客观事实（对象 API 无认证返回元数据与媒体内容），但官网/论文均未随附「本数据集按 XX 许可发布」的显式声明；
4. 结论：数据可获取性高、可再分发边界未定。学术复用风险低（论文公开宣示 training data released publicly），商用或再分发场景建议先与 Intuitive Surgical 书面确认（坑 5）。

6.2.1 商用前的许可尽调清单

按 §6.2 的许可现状，任何商用或再分发计划应先完成六项尽调：

1. 向 isi.challenges@intusurg.com 书面确认目标用途（训练/微调/再分发/产品集成）是否被允许；
2. 确认衍生模型权属：用本数据训练的模型权重是否受原始条款约束；
3. 确认「猪模型培训数据」在目标司法辖区的特殊合规要求（如医疗器械软件的训练数据溯源）；
4. 留存获取路径与时间戳证据（对象 generation、下载日志）以自证合法获取；
5. 评估替代方案：若确认受阻，库内 cholec80（rid 78，学术系、条款清晰）等是条款风险更低的替换预训练源；
6. 跟踪 Intuitive 的后续发布：SurgVU24 论文与后续版本若附显式许可，以最新口径为准。

学术场景下这六项可以简化为一条：引用论文 + 标注访问日期即可复现；但「学术可用」与「商用可用」之间没有自动通道——这正是本条目 AI-Ready 可获取性维度的核心扣分逻辑。

6.3 版本链：从 24,695 片段到 840 小时

SurgToolLoc 2022 不是孤立数据包，而是一条持续四年的数据谱系的起点：

SurgToolLoc 2022（本条目）
  └─ 24,695×30s 片段 / 11 场练习 / 14 类器械 / GCS isi-surgtoolloc-2022
SurgToolLoc 2023（surgtoolloc23.grand-challenge.org）
  └─ 训练数据与 2022 完全相同；新测试集 108 片段（均值 687.45s，SD 424.68）
  └─ 冠军 PUMCH（北京协和医院）mAP 0.4669
SurgVU24 汇总版（arXiv:2501.09209，2025-01 公开）
  └─ 280 个长视频 / 155 场培训 / 840+ 小时 / 约 1,800 万帧 / 60FPS 720p
  └─ 新增：8 类手术步骤注释（tasks.csv）+ 步骤自然语言描述（matched_description）+ VQA 问答样例
  └─ 附带 cat1_test_set_public.zip：带边界框的器械检测验证集（1FPS）
SurgVU 2025 挑战（MICCAI 2025）
  └─ 同 SurgVU24 数据；新增手术视觉问答（VQA）赛道；Cat1 首次提供小规模真值 bbox 验证集

使用建议按研究目标反查：器械分类/定位复现 → 2022 包（本条目，社区基线密度最高）；长时程步骤识别/步骤描述 → SurgVU24（tasks.csv 与 matched_description 是 2022 包没有的）；多模态 VQA → SurgVU24 + SURGVU25 样例集；需要带框验证集做半监督 → cat1_test_set_public.zip（2025 挑战即靠它把冠军 mAP 推过 0.5）。

6.4 三处口径换挡（转引必读）

版本链上有三处定义漂移，转引时最容易翻车：

1. clip 的含义换了：2022 语境 clip=30 秒片段（24,695 个）；SurgVU24 语境 clip=完整长视频（280 个）。两处「clip 数」差 88 倍，说的不是同一件事；
2. 器械数换了：2022=14 类（含 suction irrigator、bipolar dissector）；SurgVU24 论文列 12 类（缺上述两类）。后继版本沿用的器械表以 12 类为准——把 14 类输出头接到 SurgVU24 数据上会错；
3. 「最大公开手术数据集」的宣称有时效：2022/2023 论文的「largest publicly available surgical data set」指 24,695 片段包；2025 年起该桂冠属于 SurgVU24（840 小时）。2022 论文的宣称在其时点成立，勿跨版本套用。

6.5 AI-Ready 评估：DAIMS 五维

维度	评分（1-10）	依据
D 可发现性	8	arXiv 论文+官网+GCS bucket 三路均可索引；但「SurgToolLoc」易与 2023/SurgVU 版本混淆，需版本链导航（§6.3/§6.4）
A 可获取性	7	GCS 公开直链 116.6GB、无需注册——可得性高；单包无分片、无 HF 镜像、许可条款原文未公开，微降分
I 可互操作	7	标准 MP4/CSV/JSON 格式、官方 docker 样例与 MONAI 教程降低接入成本；无 DICOM 等医疗标准格式、无官方 loader（对比 HF datasets 一行加载）
M 元数据质量	8	论文+官网双通道文档完备（标签语法/评测协议/标注规则均有原文）；论文内部两处口径出入（坑 1/坑 2）微降分
S 可持续性	7	厂商长期维护（2022-2025 连续四年运营，数据池持续扩容）；单厂商依赖与 GCS bucket 的长期留存政策不可控
综合评级	7.4/10（中上偏良）	弱标签大规模数据的典型形态：获取门槛低、文档密度高、方法基线齐备；失分集中在许可不透明与格式/口径的非标准化

6.6 与库内可获取性光谱的对照

把本条目放进本库「数据可获取性光谱」里定位：它是厂商直营公开类型的代表——与学术机构发布（PhysioNet/Zenodo 系）、社区托管（Kaggle/HF 系）并列的第三种获取形态。

形态	代表	获取门槛	许可透明度	更新持续性
学术机构发布	PhysioNet 系条目	注册+签署 DUA	高（条款标准化）	中
社区托管	Kaggle/HF 系条目	账号+点选协议	中（逐条目各异）	低-中
厂商直营公开（本条目）	GCS bucket 直链	最低（无注册直下）	低（条款未公开）	高（厂商连续四年扩容）

本条目的光谱位置揭示了厂商数据的一个共性权衡：获取体验最好（无注册、无 DUA 点击），但许可文本最薄——「能下载」与「可复用」之间隔着一份未公开的条款。这与 PhysioNet 系「门槛高但条款清晰」形成镜像。选型建议：方法研究（学术）按本条目用即可；产品化用途优先选许可透明的替代源，或先补齐法律确认。

§7 生态与影响

7.1 在手术数据科学版图中的位置

手术数据科学的公开数据版图长期由三股力量构成：欧洲临床视频系（Cholec80/M2CAI/EndoVis 系列）、美国厂商系（Intuitive 的 SurgToolLoc/SurgVU、JHU 的 JHU-ISI Gesture 数据）、以及各类单点挑战赛数据。SurgToolLoc 2022 是厂商系里第一个规模化公开的训练包——此前的 ISI 数据（如 JHU-ISI）以姿势/技能注释为主、规模数千帧级；24,695 片段（约 206 小时）的量级直接把公开手术视频数据的体量推高了一个数量级，论文因此敢称「据我们所知是迄今最大的公开手术数据集」（其时点口径）。

更重要的是它验证了一条标注经济学路线：机器人系统日志 → 免费弱标签 → 大规模数据。这条路线此后成为厂商系数据发布的默认姿势（SurgVU24 的 1,800 万帧标签同样主要来自系统日志与少量人工注释），也把「弱监督方法研究」从论文点缀升级为手术视觉的必答题。

7.2 社区影响与衍生资产

• 方法学遗产：v4 合编版系统梳理的结论——伪标签/人力在环持续碾压纯弱监督、数据工程重于架构创新、CAM 定位有天花板——已成为手术视觉社区的主流共识，而其证据基础正是 2022-2025 四届挑战的榜单元数据；
• 可复用工程资产：Grand Challenge 容器评测协议、clevis 基准标注规范、UI 模糊防泄漏设计、场景防泄漏折划分（MONAI 教程）——这些协议层设计被后续手术挑战赛广泛借用；
• 衍生标注：NVIDIA 教程发布的 1,126 帧 YOLO 手工框与清洗分类帧；2025 版的 cat1_test_set_public.zip 真值框验证集——弱标签主包上生长出的强监督增量资产；
• 跨任务复用：SurgVU 2025 的 VQA 冠军队 Capybara 用 SurgToolLoc 2022 数据训练器械/器官分类器，为 LLaVA-OneVision-7B 的零样本 VQA 提供结构化视觉前置——2022 包在四年后的多模态赛道上仍有生产力。

7.3 引用与著录

• 挑战总结论文（本条目主引）：Zia A, Bhattacharyya K, Liu X, et al. Surgical tool classification and localization: results and methods from the MICCAI 2022 SurgToolLoc challenge. arXiv:2305.07152（2023；v4 2026 合编版改题为 Intuitive Surgical SurgToolLoc and SurgVU Challenges Results: 2022-2025）。CC BY 4.0；
• 数据集汇总论文（版本链下游）：Zia A, Berniker M, Nespolo R, et al. Surgical Visual Understanding (SurgVU) Dataset. arXiv:2501.09209（2025；v2 2026）。CC BY 4.0；
• 官网：surgtoolloc.grand-challenge.org（2022 版）与 surgtoolloc23.grand-challenge.org（2023 版）；
• 数据：GCS bucket isi-surgtoolloc-2022（2022 训练集）与 isi-surgvu（SurgVU24）。

转引建议：讨论 2022 赛果/排名一律引 v1 口径（arXiv:2305.07152v1，Table 13/14）；讨论四年趋势可引 v4 合编版并注明其冠军分与 v1 的出入（坑 1）；描述数据规模按本条目 §2.2 总表。

著录字段对照（供引用管理工具使用）：

字段	推荐值
数据集名	SurgToolLoc 2022 Surgical Tool Localization Challenge Training Data
发布方	Intuitive Surgical, Inc.
年份	2022（数据）/ 2023（总结论文）
标识符	arXiv:2305.07152（论文）；无数据 DOI（GCS bucket 即官方入口）
版本	2022-05-05 对象版本（GCS generation 1651782612737959）
访问路径	console.cloud.google.com/storage/browser/isi-surgtoolloc-2022

注意「无数据 DOI」：数据本体没有独立 DOI（不像 Zenodo/PhysioNet 系数据集），引用时以论文 + bucket URL 组合锚定——这是厂商直营发布与学术机构发布在著录习惯上的差异点；完整 BibTeX 见附录 K。

7.4 手术视频数据景观中的坐标

把 2022-2025 年间公开的主要手术/内窥镜视频数据集按「规模 × 标注强度」排布，可以看到本条目开创的谱系所处的坐标：

数据集	视频规模	器械/步骤标注	语境	发布方
Cholec80（rid 78）	80 例完整手术	逐帧阶段 + 器械在位	临床胆囊切除	学术系
M2CAI16-Tool（rid 303）	中等（约 15 小时）	器械在位（帧级）	临床	学术系
CholecT50（rid 223）	50 例完整手术	器械-动作-目标三元组	临床	学术系
EndoVis17/18/19 系	分钟级短片	分割掩码（强监督）	培训/临床	学术系
SurgToolLoc 2022（本条目）	约 206 小时（24,695 片段）	系统日志弱标签	猪模型培训	厂商系
SurgVU24	840+ 小时（280 长视频/约 1,800 万帧）	弱标签+步骤+描述+QA 样例	猪模型培训	厂商系

本条目与 SurgVU24 占据了公开手术视频数据「时长」轴的顶端（206h → 840h），同时占据「标注强度」轴的底端（弱标签）——这个组合正是它们的方法学价值所在：规模供给预训练与规模化实验，标签稀薄供给弱监督方法研究。与之互补的强监督小数据（EndoVis 分割系、cholecseg8k）恰好充当预训练源——库内三类条目拼起来，才是一条完整的手术视频 AI 数据链。

7.5 跨代复用：一份 2022 数据的四条生命力

到 2026 年回看，2022 包在原始任务之外被持续激活的四条路径，可以作为评估「数据集长尾价值」的参照案例：

1. 跨年份基线：2023 挑战直接复用其训练集，让两届榜单共享同一「考纲」——组织方还专门把 2022 冠军算法放到 2023 测试集复测，构建了罕见的跨年可比点；
2. 多模态前置模块：SurgVU 2025 的 VQA 冠军 Capybara 用它训练器械/器官分类器，给 LLaVA-OneVision-7B 的零样本问答提供结构化视觉证据——弱标签数据在 LLM 时代的消费方式从「直接训练」转向「工具化感知模块」；
3. 衍生标注生长点：NVIDIA 的 1,126 帧手工框、2025 年官方真值框验证集——弱标签主包成了强标注增量的「锚定底座」，标注员可以先看弱标签再精修，成本远低于从零标注；
4. 方法论证伪场：CAM 系方法、纯弱监督定位的系统性失败在这份数据上留下了可复现的反例——数据集作为「社区共识检验器」的隐性功能。

这四条路径的公共前提是数据本身稳定且持续可访问（GCS 直链五年未变）——这也是把「可持续性」计入 AI-Ready 评分的理由：没有稳定的获取，再好的数据设计都无法复利。

7.6 对后续挑战赛设计的三点参照

SurgToolLoc 2022 之后，Intuitive 系挑战赛（SurgToolLoc 2023、SurgVU 2024/2025）沿三条线迭代，每条线都是对 2022 版局限的回应，值得数据集设计者参照：

1. 给弱标签配「锚点」：2025 年在 840 小时弱标签之上放出小规模真值框验证集，当年冠军 mAP 首破 0.5——半监督设计比纯弱监督更能激发社区产出；
2. 加宽任务面而非加深单题：2024 加手术步骤（全监督）、2025 加 VQA（多模态），同一数据池持续产生新赛道——数据资产的边际成本递减；
3. 稳定数据、迭代协议：训练数据三届基本未动，变动的是评测协议与赛道定义——这使跨年方法对比成为可能，也把「数据池」变成了「平台」。

对库内其他挑战赛型条目（如 endovis-challenges/rid 79、cholect50/rid 223）的运营方而言，这套「一次采数、多年运营」的模式是可参考的样本。

§8 方法学启示：弱标签数据的使用纪律

8.1 先净化，再训练

视频级弱标签直接逐帧复制（clip 内所有帧共享一条标签）是最差但也最常被默认的姿势——它把「器械在视野外」的噪声系统性灌进模型。两届冠军的公共动作都是标签净化：一致性互验（HRI_MV 双模型 IoU 互验）、轮廓计数（NVIDIA「一帧三器」规则）、跟踪补洞。复现路径的第一步应该是把净化工序写进 pipeline，而不是调检测器超参。

8.2 场景完整性优先于随机划分

24,695 个片段只有 11 场独立练习——按片段随机切折会让同场练习的相邻片段分属训练/验证两侧，模型靠「认场景」刷高验证分。MONAI 教程的做法（首末帧图像哈希判场景 → 场景完整进入单折 → 迭代分层保证折间分布均衡）是任何在这份数据上做实验的团队的必修课；论文亦指出 NVIDIA 把训练视频下采样到 1FPS、裁边、糊横幅来对齐测试分布——训练/测试分布对齐同样是折划分的一部分。

8.3 长尾问题要在三处同时处理

器械长尾不是一次采样能解决的：Cat1 排名规则（频率加权 F1）已经把「全预测头部类别」的收益压平；训练侧需要重采样或重加权（NVIDIA 的 logit shift 按类平移阈值、混合增强、加权损失）；评测侧要盯逐类 F1/mAP 而非均值——尾部类别（suction irrigator、bipolar dissector）在均值里几乎不可见，但恰是临床安全性最敏感的部分（冲洗吸引器的漏检与电凝器械的误检在真实手术里后果不同）。

8.4 弱标签的上限要用强先验去顶

2022 年的悬崖（0.3058 → 0.0961）与四年后的结论（mAP 卡在 0.5）共同指向一件事：纯弱监督在定位任务上有结构性上限，破局手段是用强监督先验换起点——EndoVis17 分割预训练（2022）、真值框验证集（2025）、人力在环标注（2023/2024）。对使用者的规划含义：如果目标是论文级的弱监督方法研究，这份数据是干净的对战场；如果目标是可部署的检测器，预算里必须包含外部强监督数据与人工注释的份额。

8.5 与「多专家标注」模式的对照

把本条目的「系统日志弱标签」与本库其他条目的注释生产模式并置，三种生产函数的边界更清晰：

生产模式	代表	单位标注成本	标签粒度	典型失效模式
系统日志自动导出	本条目	近零	视频级存在性	标签与画面脱节（工具不在视野）
分层人工流水线	PANDA-PLUS（同期病理条目）	中（学生+专家终审）	像素级	学生系统性偏差需终审修复
专家全量手标	cholecseg8k（rid 233）类	最高	帧级/像素级	规模上不去（千帧级封顶）

三种模式的误差结构不同、适用任务不同：弱标签适合「存在性/阶段」类粗粒度任务，人工强标注适合「边界/形状」类精细任务。本条目的四年榜单实证了中间路线（伪标签+人力在环）如何把弱标签的规模与强标注的精度逐步嫁接——这不是一条数据集的传记，而是一台「标注成本-标签质量」转换器的公开实验记录。

8.6 对数据集设计者的三条反向启示

站在设计者角度复盘这份 2022 年的协议，三条经验今天仍然成立：

1. 先定义评测再定义数据：clevis 锚点、UI 模糊、加权 F1——这些协议细节决定了数据「能被怎样使用」。弱标签数据若不配套强制的评测口径，社区会各自为政、分数不可比。
2. 把防作弊写进数据本身：UI 模糊是物理防泄漏（而非规则禁止），把「不许做什么」编码进数据形态，比事后审计便宜得多。
3. 给弱标签配一个强标注出口：2022 包本身无框，但赛后的 1,126 帧教程标注（NVIDIA）与 2025 年的真值框验证集让数据生态「有弱有强、可嫁接」——孤立的弱标签包价值有限，弱标签+强标注锚点+评测协议的组合才是完整资产。

8.7 训练侧的噪声鲁棒清单（面向这份数据的具体做法）

综合冠军方案与弱标签学习的一般经验，在这份数据上训练时按优先级执行：

1. 标签侧：重建场景索引（附录 F）→ 视频级标签先净化再逐帧复制（8.1）→ 尾部类过采样或 logit shift（8.3）；
2. 数据侧：对齐测试分布（裁边/糊横幅/1FPS）→ 模态作为分层变量（2.10）→ 坏帧/坏标签抽样自检（2.8）；
3. 模型侧：分割预训练热启动（4.3）→ 分类与检测解耦（ANL-Surg 的反面教训）→ 时序平滑后处理（冠军方案标配）；
4. 评测侧：对齐官方口径（3.5 四细节）→ 报告逐类指标（2.9）→ 场景级分组评估而非片段级。

这四层清单的顺序刻意从「数据侧」排到「评测侧」——弱标签项目的经验法则是：越靠前的工序，对最终分数的杠杆越大。

§9 与库内条目的关系

9.1 家族图谱

• endovis-challenges（rid 79）：EndoVis 挑战赛家族总条目。本条目是其 2022 年子挑战（SurgToolLoc）的数据集细目；两篇连读可得「EndoVis 2022 六子挑战」全景（同届还有 CholecTriplet2022、SAR-RARP50、SimCol-to-3D、SurgT、P2ILF）。
• cholec80（rid 78）：腹腔镜手术阶段识别标准数据；在本挑战的预训练白名单上，前五名队伍多支借其预热；也是「临床手术视频分布」的参照系——本条目的猪模型培训语境与之的差异即是域差距（domain gap）的具体形状。
• m2cai16-tool（rid 303）：M2CAI 2016 器械存在识别挑战数据。任务范式与 Cat1 同构（视频级标签→帧级预测），但规模差两个数量级——本条目可视作其「规模化后继」；研究弱标签方法的历史演进，两库连读最完整。
• cholect50（rid 223）：CholecTriplet2022 挑战数据（动作三元组检测）。与本条目同届 EndoVis 2022 的兄弟子挑战；器械存在检测是三元组的上游能力，两库组合可做「器械→动作」的分层建模。
• cholecseg8k（rid 233）：腹腔镜像素级语义分割数据。代表「强监督极限」——每帧每像素有类；本条目代表「弱监督极限」——两万段视频无一帧框。两者是监督强度光谱的两端样本。
• kvasir-instrument（rid 213）：消化道内镜中的器械分割/检测数据。跨镜种（胃镜/肠镜 vs 腹腔镜）跨场景（检查室 vs 手术室）的器械检测对照；其分割掩码亦可充当本条目弱监督管线的辅助预训练源。

9.2 检索路径建议

• 检索词组合：「SurgToolLoc 2022」（精确短语）+「weakly supervised」+「surgical tool」；避开裸词「surgical tool dataset」（会淹没在 EndoVis17/18/19 系列里）；「SurgVU」「SurgToolLoc 2023」是版本链下游，按 §6.3 对号入座。
• 复现路径的最短组合：本条目 GCS 直链（原始数据）→ Project-MONAI/tutorials（预处理+基线）→ cholec80/rid 78 与 m2cai16-tool/rid 303（预训练源）→ endovis-challenges/rid 79（同届兄弟挑战导航）。
• 引用组合：赛果引 arXiv:2305.07152v1；数据描述引本条目 §2 总表；版本演进引 v4 与 arXiv:2501.09209。

§10 避坑清单：八个已踩过的坑

坑 1：2022 年 Cat2 冠军分有两个官方口径。v1 专篇 Table 14 写 HRI_MV mAP 0.4077；v4 合编版（2026）讨论节写「2022 first-place 0.4452 (HRI_MV)」。两处均出自组织方之手。本条目正文按 v1 表格口径；写综述时若引 v4 需注明版本，切勿在同一段里混用两数。

坑 2：完成提交数 17/11 vs 13/9。论文 §3.1 说 17 支 Cat1/11 支 Cat2 完整提交；同文讨论节说 13/9，Table 13/14 也各列 13/9 队。合理解读：17/11 是容器评测完成数，13/9 是提交方法报告并进入最终榜单数。转引时先问自己要的是哪个口径。

坑 3：clip 一词在版本链中换过定义。2022 语境 clip=30 秒片段（24,695 个）；SurgVU24 语境 clip=完整长视频（280 个，155 场，840+ 小时）。把「280 clips」当 2022 包的规模写进论文是硬伤；反之把 24,695 说成「24,695 个视频」也会误导（是片段不是完整手术）。

坑 4：器械类别数 14 vs 12。2022 版 14 类（含 suction_irrigator、bipolar_dissector）；SurgVU24 论文只列 12 类（缺上述两类）。把 14 类输出头接到 SurgVU24 数据上、或拿 2022 的类别分布表套 SurgVU24，都会错位。跨版本使用前先对器械清单。

坑 5：数据本体许可条款未公开。论文 CC BY 4.0 是论文许可不是数据许可；GCS 直链公开可下载是事实，但官网未附数据许可声明，挑战期协议表（Google Drive 表单）原文不可公开抓取。学术复现风险低；再分发或商用前应向 isi.challenges@intusurg.com 书面确认。

坑 6：clevis 基准有四种例外。测试集边界框以 clevis 为真值锚点，但 tip-up fenestrated grasper、suction irrigator、stapler、grasping retractor 四种大型器械的框含尖端。自建验证集或对齐自产伪标签时按器械核对锚点规则，否则 IoU 计算系统性偏低。

坑 7：论文里的机构名笔误。HKMV 队署名「South China University of China」——英文里没有这个校名，应为 South China University of Technology（华南理工大学）之误。照录原文可以，别据原文去检索该校的其他产出。

坑 8：训练片段不是 24,695 个独立场景。全部片段出自 11 场培训练习——按片段随机划分会场景泄漏，验证分虚高。用 MONAI 教程的场景检测折划分（首末帧哈希）或自建场景索引；任何「随机 80/20 切分」的基线分数都应视为污染值。

§11 总结

11.1 三句话总结

1. SurgToolLoc 2022 用 24,695 个片段（约 206 小时）证明了机器人系统日志可以替代人工标注撑起大规模手术视频监督信号，也用 Cat1 0.7485 vs Cat2 0.4077 的落差量化了这种替代的天花板。
2. 弱标签不是直接可用的标签：两届冠军的公共动作都是标签净化（互验伪标签/轮廓计数）加外部强监督预训练（EndoVis17/Cholec80），数据工程连续四年跑赢架构创新。
3. 它是一条四年数据谱系的起点：2022 包（本条目）→ 2023 复用 → SurgVU24 汇总（840 小时/1,800 万帧）→ 2025 VQA；跨版本使用必须核对 clip 定义与器械清单两处口径换挡。

11.2 适合谁

• 弱监督目标检测研究者：需要大规模真实弱标签对战场与可复现基线（MONAI 教程开箱即跑）。
• 手术视频 AI 团队：需要一个比 Cholec80 大两个数量级的预训练语料，或器械检测器的起点模型。
• 数据工程/标注经济学研究者：系统日志标签化的完整案例，含协议设计、防作弊、评测加权的全套工程细节。
• 多模态/Agent 研究者：SurgVU24 扩展版（步骤描述+QA 样例）承接视觉问答任务，2022 包可作工具识别前置模块。

11.3 不适合谁

• 需要临床手术分布的研究：全部数据来自猪模型培训练习，向人类临床迁移需再验证。
• 需要逐帧强监督的分割/检测团队：训练集无一帧边界框；强监督需求请看 cholecseg8k（rid 233）或等 SurgVU24 的验证集。
• 低带宽环境：116.6GB 单包无分片，无 HF 镜像，下载与存储门槛实际存在。

11.4 30 秒决策卡

你的情况	行动
要跑通第一个基线	GCS 下载 2022 包 + Project-MONAI/tutorials competitions/MICCAI/surgtoolloc
只想要带框数据	cat1_test_set_public.zip（SurgVU24 bucket，带 bbox 验证集）+ 1126 帧教程标注
做长时程步骤识别	SurgVU24（surgvu24_videos_only.zip + surgvu24_labels_updated_v2.zip）
做弱监督方法研究	本条目 §4 两张榜单是必须对标的基准；§5 冠军方案是必读文献
跨版本选型	先读 §6.3 版本链与 §6.4 口径换挡，再决定下哪个包
商用评估	先解决坑 5：书面确认数据许可边界

FAQ（高频问答 40 问）

A. 基础认知

Q1：SurgToolLoc 2022 是数据集还是比赛？
一体两面：EndoVis@MICCAI 2022 的子挑战赛，及其配套赛后公开的 24,695 片段训练集。本条目以数据集为本体。

Q2：谁做的？
Intuitive Surgical, Inc.——da Vinci 手术系统的制造商。这是厂商开放数据计划的一部分，与 SurgVU 系列同源。

Q3：数据是真实手术吗？
不是。全部来自猪模型培训练习（活体麻醉猪或离体猪器官），受训者执行标准化操作。解剖与临床分布均与真实手术有差距。

Q4：720p/60FPS 是高规格吗？
对手术视频属主流偏上：与临床腹腔镜录像（多为 1080p/25-30FPS 或更低）相比帧率更高；但训练集只有单通道二维画面，无双目立体流。

Q5：为什么是 30 秒切片？
对齐系统日志标签的粒度：器械安装/卸载事件之间切一段，保证段内标签恒定——这是弱标签可用的前提设计。

B. 数据与获取

Q6：怎么下载？要注册吗？
GCS bucket isi-surgtoolloc-2022 公开直链，无需注册（2026-10-04 实测对象 API 可匿名读取）。挑战期的注册+协议流程只针对参赛评测。

Q7：多大？
单包 zip 116,579,111,799 字节（约 116.6GB / 108.6GiB）。无分片，预留 150GB+ 空间。

Q8：HuggingFace 上有吗？
没有官方镜像（hf-mirror 检索为空）。需从 GCS 直下。

Q9：标签文件长什么样？
CSV，每片段一行四元素列表（USM1-4 各臂器械名，相机臂 nan）。SurgVU24 的标签 CSV 格式扩展了 install/uninstall 时间戳字段。

Q10：有边界框吗？
训练集没有。带框资产有三处：2022 隐藏测试集（93 片段，不公开用于训练）、SurgVU24 的 cat1_test_set_public.zip 验证集、NVIDIA 教程的 1,126 帧手工标注。

Q11：视频里的 UI 信息能用吗？
测试集 UI 已模糊，训练集使用者也应裁剪/模糊底部横幅（会显示器械名）——NVIDIA 预处理第一课。用它等于读屏作弊。

Q12：2022 包和 SurgVU24 二选一怎么选？
器械分类/定位与基线对标 → 2022 包；步骤识别/描述/VQA/更长时间跨度 → SurgVU24。两者器械清单不同（14 vs 12），见坑 4。

C. 标注与质量

Q13：「弱标签」到底多弱？
视频级、每段一条、且与画面不完全一致（工具可能不在视野）。论文原文承认部分标签缺失或错配。

Q14：标签噪声有量化估计吗？
论文未给比例。官方数据页只作定性警告；各队用净化流水线的收益（如 HRI_MV 互验伪标签提升）可作间接证据。

Q15：clevis 是什么？为什么以它为标注基准？
器械末端执行器与杆身之间的旋转腕关节。以 clevis 为锚是因为它在多数视角下清晰可见且尺寸稳定；四种大型器械例外（框含尖端）。

Q16：类别失衡多严重？
论文图 3 显示长尾明显：持针器类头部工具远多于冲洗吸引器等尾部工具；Cat1 排名规则因此用频率加权 F1。

D. 评测与基准

Q17：两个赛道分别怎么算分？
Cat1：频率加权 mean F1（按测试集工具出现频率加权）。Cat2：COCO 风格 mAP（IoU 0.5:0.05:0.95，1FPS）。

Q18：为什么 Cat2 分数普遍惨淡？
弱标签只告诉模型「有什么」不告诉「在哪里」；CAM 类热图达不到 IoU 0.5 的紧致框；clevis 跨器械相似造成类别混淆。前三名靠预训练+伪标签爬出泥潭。

Q19：能直接拿 2022 分数和 2023/2024 比吗？
不能。各年测试集不同（2022=93 片段、2023=108 片段、2024/2025=SurgVU24 系），组织方仅做了 2022 冠军算法在 2023 测试集上的跨年复测。

Q20：现在 SOTA 多少？
同任务系（弱监督器械定位）2025 年冠军 mAP 0.5188（PUH-SVU），但那年有真值框验证集加持；「纯弱监督」口径下历史冠军仍是 2023 PUMCH 0.4669（测试集不同，仅供参考）。

E. 复现与工程

Q21：有能直接跑的基线代码吗？
有：Project-MONAI/tutorials → competitions/MICCAI/surgtoolloc（NVIDIA 季军方案，预处理三 notebook+训练管线+衍生标注）；官方样例容器仓库见 §6.1。

Q22：训练/验证怎么切才不泄漏？
按场景切：首末帧图像哈希判相邻片段是否同场，同场片段进同一折（MONAI 教程实现）。随机切分是坑 8。

Q23：训练视频和测试帧分布不一致怎么办？
对齐四件套：裁两侧黑边、糊底部横幅、60FPS→1FPS 采样、统一分辨率（教程按 640×512 对齐测试帧）。

Q24：想把 14 类输出接到 SurgVU24 上？
不行，先对器械清单：SurgVU24 只列 12 类（无 suction_irrigator、bipolar_dissector），输出头与标签统计都要按 12 类重建（坑 4）。

Q25：许可上要注意什么？
论文随意引（CC BY 4.0）；数据本体许可条款未公开（坑 5）——学术复现风险低，再分发/商用先书面确认。

F. 深挖与延伸

Q26：片段编号和练习的对应关系在哪？
官方未提供逐片段的练习索引表——需自行用首末帧相似度重建场景（附录 F），这也是 MONAI 教程预处理之一。SurgVU24 的标签 CSV 补充了 install_case 时间戳字段，重建更容易。

Q27：为什么测试集均值 747 秒而不是 30 秒？
测试模拟真实使用：给模型一段完整操作视频（可变长度），按 1FPS 逐帧推理。30 秒是训练粒度，不是推理粒度——设计训练管道时要能吃长视频。

Q28：双目内窥镜的另一个通道去哪了？
数据只含单一通道（术者控制台看到的那一路）。立体视觉研究不适用本数据（除非自行联系厂商，无公开双流）。

Q29：数据里有荧光成像吗？
SurgVU24 论文的示例图提到部分帧含荧光成像（fluorescence imaging）；2022 包论文未作专项说明。涉及荧光帧的使用建议抽样确认。

Q30：能用来做手术阶段识别吗？
2022 包没有阶段/步骤标签——只有器械在位。阶段识别去用 SurgVU24（8 类步骤 + matched_description）或 cholec80（rid 78 的 phase 标签）。

Q31：为什么没有官方 baseline？
组织方选择了「数据+协议+样例容器」的组合，把方法空间留给参赛者；季军 NVIDIA 赛后在 MONAI 教程补上了准官方基线。这是挑战赛社区「先赛后基线」的常见节奏。

Q32：猪模型数据能发临床论文吗？
能发方法论文（器械检测/弱监督方法），但临床有效性结论需在临床数据（cholec80/rid 78 等）上复验——审稿人会盯域差距。论文原文也把「猪模型 vs 人类临床」列为已知局限。

Q33：SurgToolLoc 2022 的数据还会更新吗？
2022 包本体已冻结（对象时间戳 2022-05-05 未变）；更新走版本链——SurgToolLoc 2023 复用它，SurgVU24 是扩容版，SurgVU 2025 加 VQA。跟踪新特性应盯 isi-surgvu bucket 与 SurgVU 论文版本。

Q34：训练集里同一把器械的样本有多少？
论文图 3 给了分布图但未逐类列数；头部类（持针器组）与尾部类（冲洗吸引器等）差一个数量级以上。做逐类实验前建议先自行统计 CSV。

Q35：可以把这份数据和 Cholec80 混着训练吗？
挑战规则允许（预训练白名单），实践中前三名都用了外部手术数据。注意域差距（猪模型培训 vs 临床手术）——混合训练时加域标签（domain label）做分组验证更稳。

Q36：评测容器对硬件有什么要求？
官方样例容器按 Grand Challenge 平台规格打包（CPU/GPU 资源限制见平台文档）。本地复现按 MONAI 教程配置即可；1FPS 评测意味着推理算力需求远低于训练。

Q37：为什么这篇总结论文到 2026 年还在改版？
v4（2026-05）把 2022-2025 四届挑战合编为一篇长文并新增 SurgVU 2025 内容。引用时注意版本：v1 是 2022 专篇，v4 是四年合编——两版的 2022 冠军分口径不同（坑 1）。

Q38：2022 年的队伍方法在今天还有参考价值吗？
有，且是双向的：复现者可以拿它当起点（MONAI 教程仍可跑通），研究者可以拿它当「弱监督方法考古层」——2023-2025 年的迭代基本是在 2022 工具箱（伪标签/预训练/人力在环）上做加深，而非换道。

Q39：数据里的视频能直接喂视频理解模型吗？
可以但有预处理：60FPS 全量帧通常下采样到 1-5FPS；两侧黑边与底部横幅需裁剪/模糊；30 秒片段需重组成场景（附录 F）才能做长时序任务。

Q40：一条最容易被忽略的建议？
先看测试集规则（§2.5）再设计训练管线——clevis 锚点、四例外工具、UI 模糊这三个「评测侧事实」决定了无数训练侧选择的正确性方向，顺序反了会白做很多实验。

事实清单（硬事实 36 条）

1. 组织方：Intuitive Surgical, Inc.；平台：surgtoolloc.grand-challenge.org。
2. 挑战语境：EndoVis 2022 子挑战 @ MICCAI 2022 新加坡；Challenge Day 2022-09-18。
3. 训练集：24,695 个 30 秒片段；60FPS；720p（1280×720）；MP4；双目内窥镜单通道。
4. 片段来源：11 场独立培训练习；猪模型两种模态（活体/离体）。
5. 折算时长约 205.8 小时（推算口径）。
6. 下载包：surgtoolloc2022_dataset.zip = 116,579,111,799 字节（约 116.6GB），GCS 对象时间戳 2022-05-05。
7. 器械 14 类；每片段最多 3 把并发安装。
8. 标签：每片段一条 4 机械臂列表（USM1-4），相机臂 nan；无逐帧边界框。
9. 2022 隐藏测试集：93 片段，均值 747.31 秒（SD 579.92），1FPS 推理。
10. 测试集标注：30 名有经验众包注释者、两轮质检、clevis 基准（四例外工具框含尖端）、UI 模糊。
11. Cat1 排名规则：频率加权 mean F1；Cat2：COCO mAP（IoU 0.5:0.05:0.95）。
12. 参战规模：79 队注册下载；Cat1 17/Cat2 11 完整容器提交；13/9 队提交报告入终榜（双口径存照）。
13. Cat1 前三：HRI_MV 0.7485 / HKMV 0.72 / NVIDIA 0.7055。
14. Cat2 前三：HRI_MV 0.4077 / HKMV 0.3726 / NVIDIA 0.3058（v4 述 2022 冠军 0.4452，双口径存照）。
15. Cat2 第四名起 mAP 全部低于 0.1；两名 0 分。
16. 预训练白名单：Cholec80、M2CAI、ImageNet（规则明示）+ EndoVis17（实践采用）。
17. Cat2 前二名均用带真值器械分割的数据预训练。
18. HRI_MV 关键技术：跟踪+分割伪标签、双模型 IoU 互验、ROI 扩展（+0.063）、Kalman 滤波。
19. NVIDIA 关键技术：EfficientNet-B4/ConvNext-tiny 五折集成、logit shift、YOLOv5m、1,126 帧手工框。
20. NVIDIA 方案开源：Project-MONAI/tutorials competitions/MICCAI/surgtoolloc。
21. 奖金：Cat1 $2,000/$1,000/$500；Cat2 $6,000/$3,000/$2,000；Intuitive 赞助。
22. 时间线：2022-04-29 数据发布 → 08-05 预赛 → 09-08 决赛截止 → 09-18 公布。
23. 论文：arXiv:2305.07152（v1 2023-05-11；v4 2026-05-16 合编 2022-2025）；CC BY 4.0。
24. 2023 版：训练数据同 2022；测试集 108 片段（均值 687.45 秒，SD 424.68）；冠军 PUMCH 0.4669。
25. SurgVU24：280 长视频/155 场/840+ 小时/约 1,800 万帧；8 类步骤注释+描述+VQA 样例（arXiv:2501.09209）。
26. SurgVU24 器械表 12 类（缺 suction_irrigator、bipolar_dissector）。
27. 2024 冠军 PDMYR 0.4244；2025 冠军 PUH-SVU 0.5188（引入真值框验证集）。
28. 2025 VQA 冠军 Capybara：LLaVA-OneVision-7B 零样本 + SurgToolLoc 2022 训练的分类器前置。
29. HuggingFace 无官方镜像（hf-mirror 检索为空，2026-10-04）。
30. 库内查重：无 surgtoolloc/surgvu 同名条目（endovis-challenges rid 79 为家族条目）。
31. EndoVis 2022 共六个子挑战（SurgToolLoc、CholecTriplet2022、SAR-RARP50、SimCol-to-3D、SurgT、P2ILF；Zenodo 10.5281/zenodo.6390403）。
32. 预赛每队最多 10 次容器调试（2 视频调试集）；决赛每队仅 1 次提交。
33. Cat1 输出为逐帧布尔 JSON（14 键）；Cat2 为 corners/probability bbox JSON（z 恒 0.5）。
34. 官方样例容器仓库：aneeqzia-isi/surgtoolloc2022-category-1 与 -category-2（GitHub）。
35. NVIDIA 教程衍生标注：1,126 帧 YOLO 手工框 + 清洗分类帧两包（MONAI-extra-test-data release 0.8.1）。
36. 2025 VQA 冠军方案以 SurgToolLoc 2022 数据训练器械/器官分类器作 VLM 前置——2022 包跨代复用的直接证据。

术语表（40 条）

术语	英文	释义
弱监督	weakly supervised	训练信号低于任务粒度（视频级标签→帧级预测）的学习范式
工具在位标签	tool presence label	记录某时段哪些器械安装于机械臂的系统日志派生标签
术段/片段	clip	挑战语境下的 30 秒视频切片（版本链下游换义为完整长视频，见坑 3）
机械臂	USM（Utilization Slot Manipulator）	da Vinci 系统的器械臂槽位，USM1-4；相机臂标签记 nan
腕关节	clevis	器械末端执行器与杆身间的旋转关节；测试集边界框的默认真值锚点
伪标签	pseudo-labeling	用初始模型的高置信预测当作干净标签再训练的策略
人力在环	human-in-the-loop (HITL)	人工校订与模型预测交替迭代的标注策略
类激活图	class activation map (CAM)	卷积网络对特定类别的空间响应热图；弱监督定位的经典工具及其天花板
logit shift	—	按类别平移输出 logits 使 0.5 成为 F1 最优阈值的长尾校准技巧
mAP	mean average precision	COCO 风格检测指标：各 IoU 阈值下 AP 的均值（0.5:0.05:0.95）
频率加权 F1	frequency-weighted F1	按测试集各类出现频率加权的宏平均 F1，抗长尾稀释
场景泄漏	scene leakage	同一来源场景的样本同时进入训练与验证集导致的评测虚高
迭代分层	iterative stratification	多标签数据按标签分布均衡切折的算法
域差距	domain gap	猪模型培训数据与人类临床手术之间的分布差异
手术数据科学	surgical data science	以数据驱动方法改进手术决策/支持/培训的交叉学科
EndoVis	Endoscopic Vision Challenge	MICCAI 年度内窥镜视觉挑战系列，本挑战的母品牌
SurgVU	Surgical Visual Understanding	Intuitive 的手术视觉理解挑战/数据系列，本数据集的下游版本
步骤注释	task/step annotation	SurgVU24 新增的手术步骤（8 类）逐段标签及自然语言描述
VQA	visual question answering	手术视觉问答：对视频片段回答开放式自然语言问题
容器评测	container-based evaluation	Grand Challenge 平台的 docker 自动化评测协议
培训练习	training exercise	厂商组织的标准化外科培训操作场景，本数据的采集语境
长尾分布	long-tailed distribution	头部类别样本极多、尾部类别极少的类别分布形态
活体/离体模态	in vivo / ex vivo	活体麻醉猪与离体猪器官两种采集模态，画面色调与组织动态不同
感知哈希	perceptual hash	对图像内容生成指纹的算法；MONAI 教程用首末帧哈希判场景归属
域偏移	domain shift	训练与目标场景分布不一致导致的性能衰减
荧光成像	fluorescence imaging	部分帧包含的近红外荧光叠加画面（SurgVU24 系可见）
ROI 扩展	expanded ROI	把分类的感兴趣区域从 clevis 扩展到夹钳/杆身的冠军技巧
TTA	test-time augmentation	推理时对输入做多版本增强并聚合预测的后处理
热启动	warm start	用预训练权重初始化模型再微调的流程；本数据的推荐姿势
防泄漏折划分	leakage-safe fold split	保证同场景样本不跨训练/验证集的划分策略
DUA	data use agreement	数据使用协议；本条目的对应文本未公开（坑 5）
组合拳	ensemble	多模型预测聚合；分类任务涨分、定位任务需先做误差分析（4.6）
对象 generation	object generation	GCS 对象的版本号；对象被重传时更新，拼媒体直链需携带当前值
数据 DOI	dataset DOI	数据本体的数字对象标识；本数据集无，以论文+bucket URL 锚定
频率加权	frequency weighting	按类别在测试集出现频率加权聚合逐类 F1 的评测设计
二值化阈值	binarization threshold	CAM 热图转二值掩码的阈值（Otsu 法自适应确定）
弱标签净化	label cleaning/denoising	把视频级弱标签过滤为可靠帧级标签的工序总称
评测口径对齐	metric alignment	本地自评与官方评测在权重/IoU/采样率上保持一致的要求

附录

附录 A：条目信息速查卡

项	内容
官方名	SurgToolLoc 2022 — Surgical Tool Localization in endoscopic videos
slug	surgtoolloc-2022
组织方	Intuitive Surgical, Inc.
母赛事	EndoVis 2022 @ MICCAI 2022（新加坡）
数据体量	24,695×30s 片段 / 约 206 小时 / 116.6GB zip
标签形态	14 类工具在位弱标签（视频级）；测试集带众包边界框
主引论文	arXiv:2305.07152（CC BY 4.0）
数据入口	GCS bucket isi-surgtoolloc-2022（公开直链）
基线代码	Project-MONAI/tutorials competitions/MICCAI/surgtoolloc
许可状态	数据条款未公开细化；论文 CC BY 4.0
最佳成绩	Cat1 0.7485 / Cat2 0.4077（HRI_MV，v1 口径）
版本链	2022 → 2023（同数据） → SurgVU24（840h） → 2025（VQA）

附录 B：DAIMS 评估全表

维度	评分（1-10）	依据
D 可发现性	8	论文（arXiv 开放获取）+ 官网 + GCS bucket 三路可索引；版本链命名易混淆（SurgToolLoc/SurgToolLoc23/SurgVU），需导航文档
A 可获取性	7	GCS 公开直链无需注册（116.6GB 单包）；无分片、无 HF 镜像、许可条款原文不公开为三处扣分
I 可互操作	7	MP4/CSV/JSON 标准格式 + 官方 docker 样例 + MONAI 教程；无医疗标准格式（DICOM）与官方 loader
M 元数据质量	8	标签语法/评测协议/标注规则/器械清单在官网与论文双通道完备；论文内部两处数字口径出入（坑 1/2）微降
S 可持续性	7	厂商连续四年运营与扩容（2022-2025）；单厂商依赖、GCS 长期留存政策不可控
综合评级	7.4/10（中上偏良）	弱标签大规模数据的标杆形态：门槛低、文档全、基线密；失分集中于许可透明度与跨版本口径管理

附录 C：逐项证据链自证

关键数字	来源	位置/方式
24,695 片段/11 场练习/30s/60FPS/720p	论文 §2.5 + 官网 Data 页	双源一致
14 类器械清单	官网 Submission 页 JSON 键 + 论文 §2.4	双源一致（14 键逐一对上）
zip 116,579,111,799 字节/2022-05-05	GCS 对象 JSON API 实测	2026-10-04 匿名请求
测试集 93 片段/747.31s(SD 579.92)/1FPS/30 注释者	论文 §2.6	arXiv v1 HTML
79/17/11 参战口径	论文 §3.1	arXiv v1
13/9 报告口径 + Table 13/14 排名	论文 §5/§4.1/4.2	arXiv v1
HRI_MV 0.4077/0.7485 与 ROI +0.063	论文 §3.1 团队自述 + Table 13/14	arXiv v1
NVIDIA val/leaderboard 分数与 logit shift	论文 §3.3 + MONAI 教程 readme	双源一致
2023 训练数据同 2022/测试 108 片段/687.45s	v4 §4.1.2-4.1.3	arXiv v4 HTML
PUMCH 0.4669/PDMYR 0.4244/PUH-SVU 0.5188	v4 §4/§5/§6 讨论节	arXiv v4
SurgVU24 280 视频/155 场/840h/1,800 万帧/12 类	arXiv:2501.09209 v2	arXiv HTML
时间线九节点	官网 ImportantDates 页	2026-10-04 抓取
奖金结构	官网 Prizes 页	2026-10-04 抓取
HF 无镜像	hf-mirror API datasets/models 检索	2026-10-04 空
挑战期注册协议要求	官网 Getting Started 页	2026-10-04 抓取

附录 D：数据获取决策树

你的目标？
├─ 复现 2022 挑战基线（分类/定位）
│   ├─ 下载 GCS isi-surgtoolloc-2022（116.6GB）
│   ├─ 跑 Project-MONAI/tutorials surgtoolloc（预处理→折划分→训练）
│   └─ 对标 §4 两张榜单
├─ 只要带框数据做检测
│   ├─ 轻量：NVIDIA 教程 1,126 帧 YOLO 标注（zip 直下）
│   └─ 完整：SurgVU24 bucket cat1_test_set_public.zip（验证集）
├─ 长时程步骤识别 / 描述生成
│   └─ SurgVU24：videos_only.zip + labels_updated_v2.zip（tasks.csv + matched_description）
├─ 多模态 VQA
│   └─ SurgVU24 + SURGVU25_cat_2_sample_set_public.zip（评测格式样例）
└─ 商用评估
    └─ 先书面确认许可（isi.challenges@intusurg.com）→ 再评估数据包

附录 E：输出格式规范速查

Category 1（逐帧布尔字典列表，14 键）：

[
  {
    "slice_nr": 0,
    "needle_driver": true,
    "monopolar_curved_scissor": false,
    "force_bipolar": false,
    "clip_applier": false,
    "tip_up_fenestrated_grasper": false,
    "cadiere_forceps": false,
    "bipolar_forceps": false,
    "vessel_sealer": false,
    "suction_irrigator": false,
    "bipolar_dissector": false,
    "prograsp_forceps": false,
    "stapler": false,
    "permanent_cautery_hook_spatula": false,
    "grasping_retractor": false
  }
]

Category 2（bbox 集合，corners 四角顺时针，z 恒 0.5）：

{
  "type": "Multiple 2D bounding boxes",
  "boxes": [
    {
      "corners": [[54.7, 95.5, 0.5], [92.6, 95.5, 0.5], [92.6, 136.1, 0.5], [54.7, 136.1, 0.5]],
      "name": "slice_nr_1_needle_driver",
      "probability": 0.452
    }
  ],
  "version": {"major": 1, "minor": 0}
}

附录 F：场景防泄漏折划分骨架（思路版）

输入：24,695 个片段路径（按练习场内时间序命名）
1. 对相邻两片段：提取前段末帧与后段首帧 → 计算感知哈希
2. 哈希距离 < 阈值 → 判定同场景，合并为同一 scene_id
3. 得到 scene 级样本集（远少于 24,695）
4. 迭代分层切分：按多标签分布 + scene 均衡切 5 折
5. 校验：任一折内同 scene 不跨折；打印各折标签分布
6. 训练时按折训练并汇报 5 折均值；最终提交用全量重训

附录 G：弱标签净化三式（冠军方案对照）

净化策略	代表队伍	做法	代价
轮廓计数确认	NVIDIA	分割模型数器械轮廓；一帧确认 3 把不同器械才采信视频级标签	需外部分割模型（EndoVis17）
双模型互验	HRI_MV	两个模型独立产伪标签，IoU 一致才保留	训练成本 ×2
跟踪补洞	HRI_MV	跟踪器串联检测，填补器械短暂遮挡的空窗	需调跟踪器超参

三式的公共前提：先有视频级标签的「信任子集」再扩张，而非全量置信——这是弱标签数据区别于脏数据清理（直接修错标）的根本特征：你不修标签，你筛帧。

附录 H：与库内条目的互链声明

本库条目	rid	互链方向	一句话关系
endovis-challenges	79	双向	家族总条目 ↔ 2022 子挑战细目
cholec80	78	出链	预训练白名单源 + 临床分布参照
m2cai16-tool	303	出链	同任务范式的前代（规模化前）
cholect50	223	出链	同届 EndoVis 2022 兄弟挑战（动作三元组）
cholecseg8k	233	出链	监督强度光谱另一端（像素级强监督）
kvasir-instrument	213	出链	跨镜种器械检测对照

附录 I：遗留疑点登记

1. 数据本体许可条款原文不可公开抓取（协议表为 Google Drive 表单）——商用前必须人工确认；
2. SurgVU24 包是否逐字节包含 2022 训练集全部 24,695 片段未验证（器械表 12 vs 14 的差异提示至少标签层有裁剪）；
3. v4 的 0.4452 与 v1 的 0.4077 之间是「leaderboard 终值 vs 报告值」还是另一次复测，官方未解释；
4. 11 场练习中活体/离体两种模态的片段数占比论文未披露——分布均衡性无法核验；
5. HKMV 机构名笔误（South China University of China）无法从论文自证正确写法，转引时建议核队伍报告署名。

附录 J：版本链资产清单（含直链锚点）

版本	资产	存放位置	内容要点
2022	surgtoolloc2022_dataset.zip（116.6GB）	GCS isi-surgtoolloc-2022	24,695 MP4 片段 + 工具在位 CSV
2022	样例提交容器 ×2	GitHub aneeqzia-isi/surgtoolloc2022-category-1/-2	输入输出格式样板
2023	无新数据包	surgtoolloc23.grand-challenge.org	复用 2022 训练集；新测试集不公开
2024/2025	surgvu24_videos_only.zip	GCS isi-surgvu	280 长视频（840+ 小时）
2024/2025	surgvu24_labels_updated_v2.zip	GCS isi-surgvu	工具在位 + 8 类步骤 + matched_description
2024/2025	cat1_test_set_public.zip	GCS isi-surgvu	带边界框的器械检测验证集（1FPS）
2024/2025	SURGVU25_cat_2_sample_set_public.zip	GCS isi-surgvu	VQA 评测格式样例（10 片段）
教程	surgtoolloc_tutorial_1126_frame_labels.zip	Project-MONAI/MONAI-extra-test-data release 0.8.1	1,126 帧 YOLO 手工框
教程	surgtoolloc_tutorial_cleaned_data.zip	Project-MONAI/MONAI-extra-test-data release 0.8.1	清洗后的分类训练帧

（各 zip 的对象 generation 可能随官方重传变化；批量脚本请先查询 bucket 对象列表取当前 generation 再拼媒体直链。）

附录 K：引用条目 BibTeX

@article{surgtoolloc2022,
  title   = {Surgical tool classification and localization: results and
             methods from the {MICCAI} 2022 {SurgToolLoc} challenge},
  author  = {Zia, Aneeq and Bhattacharyya, Kiran and Liu, Xi and
             Berniker, Max and Wang, Ziheng and Nespolo, Rogerio and
             others},
  journal = {arXiv preprint arXiv:2305.07152},
  year    = {2023},
  note    = {v4 (2026) retitled: Intuitive Surgical SurgToolLoc and
             SurgVU Challenges Results: 2022-2025}
}

@article{surgvu24,
  title   = {Surgical Visual Understanding ({SurgVU}) Dataset},
  author  = {Zia, Aneeq and Berniker, Max and Nespolo, Rogerio and
             Jarc, Anthony and others},
  journal = {arXiv preprint arXiv:2501.09209},
  year    = {2025}
}

数据引用建议：正文引上述论文 + 标注数据获取自 GCS bucket isi-surgtoolloc-2022（访问日期）。商用复用前先处理坑 5 的许可确认。

附录 L：常见误读审计表（自校十问）

#	误读	事实
1	「24,695 段完整手术视频」	24,695 个 30 秒片段，来自 11 场练习
2	「标注了边界框的大规模检测数据集」	训练集零边界框；框只在测试/验证/教程衍生资产里
3	「人类临床手术数据」	猪模型培训练习
4	「SurgToolLoc 2022 冠军 mAP 0.4452」	v1 官方表格为 0.4077；0.4452 出自 v4 述（坑 1）
5	「79 支队伍全部提交」	79 注册下载；实际提交 17/11（报告口径 13/9）
6	「数据集 CC BY 4.0」	论文 CC BY 4.0；数据条款未公开
7	「SurgVU24 就是 2022 数据换了名字」	扩容版（840h）；器械表缩为 12 类
8	「14 类输出头可直接用于 SurgVU24」	不行（12 vs 14，坑 4）
9	「随机切分训练/验证集」	会场景泄漏（11 场练习，坑 8）
10	「CAM 能做好弱监督检测」	2022 榜单实证 CAM 系 mAP 逼近 0

附录 M：时间线事件总表（2022-2025）

时间	事件	出处
2022-04-29	挑战上线：注册开放 + 训练数据发布	官网 Home/ImportantDates
2022-05-05	GCS 数据对象上传（当前 zip 的元数据时间）	GCS 对象 API
2022-07-15/07-20	提交说明发布	官网 ImportantDates/Home News
2022-08-05	预赛开始（2 视频调试集，10 次上限）	官网 ImportantDates/Submission
2022-08-29	决赛开始（单次提交）	官网 ImportantDates
2022-09-04/09-08	预赛结束/决赛结束+报告截止	官网 ImportantDates
2022-09-18	Challenge Day：榜单定稿、获胜者公布（新加坡）	官网 ImportantDates
2023-05-11	挑战总结论文 v1（arXiv:2305.07152）	arXiv
2023-05-01	SurgToolLoc 2023 上线（同训练数据）	官网 Home News
2025-01-16	SurgVU24 数据集论文 v1（arXiv:2501.09209）	arXiv
2026-05-16	总结论文 v4：2022-2025 四年合编	arXiv

附录 N：下载与校验命令实操（GCS）

# 1. 确认对象存在与当前 generation（无需认证）
curl -s "https://storage.googleapis.com/storage/v1/b/isi-surgtoolloc-2022/o?maxResults=10"

# 2a. 官方 CLI 下载（推荐，自带断点续传）
gcloud storage cp gs://isi-surgtoolloc-2022/surgtoolloc2022_dataset.zip .

# 2b. 无 gcloud 时：取 generation 拼媒体直链后用 aria2c
GEN=$(curl -s "https://storage.googleapis.com/storage/v1/b/isi-surgtoolloc-2022/o/surgtoolloc2022_dataset.zip" | python3 -c "import json,sys;print(json.load(sys.stdin)['generation'])")
aria2c -x8 -c "https://storage.googleapis.com/download/storage/v1/b/isi-surgtoolloc-2022/o/surgtoolloc2022_dataset.zip?generation=${GEN}&alt=media"

# 3. 校验：字节数应等于 116,579,111,799
stat -c %s surgtoolloc2022_dataset.zip

# 4. 校验 zip 完整性（列出即可，不解压全量）
unzip -t surgtoolloc2022_dataset.zip | tail -1

# 5. 解压并统计片段数
unzip -q surgtoolloc2022_dataset.zip -d surgtoolloc2022/
find surgtoolloc2022 -name "*.mp4" | wc -l   # 期望 24,695

三步校验的含义：字节数防下载截断，unzip -t 防 CRC 损坏，片段计数防部分解压——三者全过再跑 2.8 的 30 分钟自检。

附录 O：弱标签消费的分层策略速查

按「你有多少预训练预算」给三档消费策略：

档位	前提	管线	预期 Cat2 mAP 量级
零额外预算	只有 2022 包	视频级标签逐帧复制 + 通用检测器	<0.1（榜单后段水平）
中等预算	+ EndoVis17/公开分割数据	分割预训练热启动 + 标签净化 + 检测微调	0.3-0.4（榜单前三水平）
高预算	+ 自标注人力	伪标签流水线 + 人力在环校订 + 集成	0.4+（冠军水平；2025 引真值框后 0.5+）

这张表是 §4-§5 榜单证据的操作化摘要：预算应该花在标注侧，不是骨干侧——三档之间的主要差异变量是监督信号质量，而非模型结构。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• surgvu-2026 — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 目标检测 / 挑战赛数据集
• phakir — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 目标检测 / 挑战赛数据集
• cad-cap — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 目标检测
• miccai-surgt — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 挑战赛数据集
• sun-database — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 目标检测
• lapgyn4 — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 目标检测
• cholectrack20 — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 目标检测
• renji-esd — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 目标检测
• ead2019 — 共享标签：医学影像 / 内窥镜影像 / 目标检测 / 挑战赛数据集
• cholectriplet2021 — 共享标签：医学影像 / 手术视频 / 内窥镜影像 / 挑战赛数据集

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。