SurgVU 2026 手术视觉理解挑战赛

SurgVU 2026（Surgical Visual Understanding 2026）是 Intuitive Surgical 在 MICCAI 2026 EndoVis 挑战赛下主办的手术视觉理解赛道，会议在法国斯特拉斯堡举行。训练集为 280 段 da Vinci 机器人手术培训长视频，取自 155 场培训 session，单通道内窥镜拍摄，1280×720、60 fps，官方称为超过 840 小时、超过 1800 万帧。官方给了 12 类器械的在位标签和 8 类互斥的手术任务分段标签，测试集按 1 Hz 采样。

它要解决的是标注成本问题。手术视频的逐帧标注必须由懂器械、懂术式的人完成，而外科医师的时间恰恰是最稀缺的资源。机器人系统日志能自动记下器械装卸的时间戳，把这些时间戳对齐视频，就得到一份不花人力却能覆盖全部帧的弱标签。赛道一要求用这种弱标签训练器械定位模型，赛道二要求对 30 秒片段回答开放式问题，检验模型能否把视觉内容与文本描述对上。

准备上手的话，先确认拿到的标签文件与视频分片能对齐——较长的 session 被切成多段，标签里专门有分片号列，忽略它会直接把标签贴错视频。其次要清楚这批数据是培训练习录像而非真实手术，泛化结论必须谨慎。最后，许可不是常见的开放协议，而是一份挑战期协议，用于发表之前要读完整条款。

§1 它是什么

1.1 一句话定义

SurgVU 2026 是一套以机器人手术培训录像为主体的手术视觉理解基准，同时是一场有截止日期、有奖池、有排行榜的 MICCAI 挑战赛。数据集本体由 Intuitive Surgical（直觉外科，da Vinci 手术机器人制造商）制作并托管，挑战赛由同一团队组织，作为 EndoVis 的子赛道在 MICCAI 2026 现场公布结果。

理解这一点对使用方式影响很大：它既不是一份可以直接下载后任意使用的开放数据集，也不是一个只有指标没有数据的纯竞赛任务。训练侧的资料有公开的云存储直链，测试侧的注释与榜单则在挑战赛体系内。

1.2 赛道构成

本届设两个赛道（官方称 Category）：

赛道	官方名称要点	输入	输出	训练标签形态
Category 1	器械定位与关键点，用器械在位数据作弱标签	视频帧	每帧器械类别与边界框（及关键点）	器械在位（哪把器械装着）
Category 2	对短片段生成问题答案（手术视觉问答）	30 秒片段 + 问题	自然语言答案	在位标签 + 任务分段 + 任务文本描述

两个赛道的共同点在于：训练标签都不是逐帧人工标注的完整监督，而是从系统日志与专家分段中派生出来的。赛道一考验模型能否从「装着什么」反推「在哪里」，赛道二考验模型能否把视觉证据与语言表述联系起来。

1.3 命名与谱系

「SurgVU」是 Surgical Visual Understanding 的缩写，2026 届的官方站点写作 SurgVU26，社区也常写成 SurgVU 2026。它隶属于一条更长的系列：2022 年与 2023 年的 SurgToolLoc（Surgical Tool Localization，手术器械定位），2024 年与 2025 年的 SurgVU，到 2026 年继续沿用 SurgVU 之名并扩展了任务标签。官方首页的原话是这条系列「organized over the last four years, from 2022-2025」，即到 2025 年为止已有四届，2026 是第五年。

命名上容易出错的地方在于「SurgToolLoc」与「SurgVU」不是两个平行的数据集，而是同一条线的前后两个名字。2022、2023 两届用 SurgToolLoc，2024 年起改称 SurgVU 并加入视觉理解任务。下载链接里至今保留着 surgvu24 这样的文件名，正是这段改名历史的残留。

1.4 论文格局：数据论文与结果论文分开

这条系列有两篇不同性质的论文，混引是常见错误。

• 数据集论文：Surgical Visual Understanding (SurgVU) Dataset，arXiv:2501.09209。v1 于 2025 年 1 月 16 日提交，v2 于 2026 年 5 月 8 日修订——与官网宣布「Challenge is live」是同一天。论文描述数据的采集方式、属性与若干示例问题，并给出公开下载入口。
• 结果综述论文：Intuitive Surgical SurgToolLoc and SurgVU Challenges Results: 2022-2025，arXiv:2305.07152。v1 于 2023 年 5 月 11 日提交，v4 于 2026 年 5 月 16 日修订。摘要明确说明其内容是记录各届挑战赛的结果，并指出配套公开数据集的细节「在另一篇论文中」（即 2501.09209）。

本届的情况需要说清楚：未找到 2026 届专属的数据论文或结果论文。官网首页把 2305.07152 标为「our SurgVU Challenge paper」，但它覆盖的是 2022–2025 五届，不含本届结果。因此凡涉及 2026 届数据结构与划分的描述，应以官方站点的数据说明页为准；凡涉及系列沿革与历届成绩，才引 2305.07152。

1.5 时间线

官方重要日期页给出的 2026 赛季日程如下：

节点	日期
注册开放、训练数据发布	2026-05-08
预测试阶段开始	2026-07-20
新注册截止	2026-08-15
最终测试阶段开始	2026-08-21
预测试阶段结束	2026-09-02
最终测试阶段结束	2026-09-06
方法论报告（含全部提交要求）截止	2026-09-13
Challenge Day，于 MICCAI 2026 公布获奖者	2026-09-27

预测试与最终测试之间存在约二十天的间隔，参赛队在这段时间里可以看到预测试反馈并调整方法，这是挑战赛常见的两阶段设计。获奖名单按官方页面的表述是在 Challenge Day 现场公布，官网文本中未见结构化列出的名次表。

§2 数据构成

2.1 规模硬数字

指标	官方口径	说明	字段可靠性
长视频数	280 段	训练集	官方数据说明页原文
培训 session 数	155 场	一场培训可能切出多段视频	官方数据说明页原文
累计时长	over 840 hours	官方用「超过」	官方数据说明页原文
累计帧数	over 18 million frames	与 840 小时按 60 fps 换算不自洽，见 4.3	官方原文，口径存疑
帧率	60 fps	训练集采集帧率	官方数据说明页原文
分辨率	720p（1280×720）	单通道内窥镜	官方数据说明页原文
测试集采样	1 Hz	测试视频逐秒取帧	官方数据说明页原文
器械候选类	12 类	另有少量罕见器械仅见于训练集	官方数据说明页原文
每段器械数	最多 3 把	四臂通常从左到右安装	官方数据说明页原文
任务标签类	8 类	互斥分段，含 Other 兜底	官方数据说明页原文
奖池	最高 8,500 美元	两赛道现金奖合计	官方首页与奖项页

表中没有出现的数字一律不应补写。参赛队伍数、获奖队伍、各队成绩、手术阶段的具体数量在官方公开页面中均未给出。

2.2 采集场景

视频来自外科受训者在 da Vinci 系统上完成的标准化培训练习。官方列举的操作包括分离组织、缝合、闭合血管等；任务描述里出现的解剖对象来自猪模型，例如子宫角、子宫阔韧带、直肠血管。训练场景采用四位机械臂，通常从左到右安装 USM1 至 USM4，术野内一般有三把器械，但部分片段中器械会被遮挡或暂时移出视野。

这一背景决定了数据的适用范围。培训练习的动作被标准化、重复化，同一动作会在不同场次反复出现，标注一致性因此较高；代价是解剖多样性、病理形态与真实术中的突发情况覆盖有限。把它当作方法验证的基准是合适的，把它当作临床部署前的最后一道检验则不合适。

2.3 标签文件结构

训练标签按 session 组织，每个 session 两个 CSV：

文件	内容	关键列	字段可靠性
tools.csv	每次器械安装到拆卸的起止时间	groundtruth_toolname、commercial_toolname、install_case_part、uninstall_case_part	起止时间由系统日志抽取；分片列易被忽略
tasks.csv	每个手术任务的起止时间	groundtruth_taskname、matched_description、start_part、stop_part	分段由标注流程产生；描述列供赛道二使用

两个文件都带分片列。原因是较长的 session 被切分成两个或更多视频文件，一条标签只对其中某一段有效。只按时间戳对齐而不按分片号分组，会把后半段的标签贴到前半段视频上，这类错误在时间轴上表现为整体漂移或局部错位。

groundtruth_toolname 与 commercial_toolname 的关系需要特别说明。前者是按工具用途归并后的主标签，后者是器械的商业名，同一主标签下可能对应多个商业名——外观略有差异但用途相同的器械被归到一起。官方明确测试标签只基于主标签，商业名列仅作上下文。用商业名训练、按主标签评测，是常见的一类失败。

2.4 十二类器械与八类任务

官方列出 12 类可选器械，并说明训练集中还有少量罕见器械，但这些器械不出现在测试集，参赛者可以自由决定是否利用。器械的具体清单与示意图在数据说明页给出，正文不在此重复编排——因为页面未以文本表格形式全部列出，逐条转写有引入错译的风险，需要类名时以官方页图示为准。

任务标签共 8 类，官方对每一类给出了一段说明：

任务	官方说明要点
Suturing（缝合）	用机器人系统完成缝合，含基本技能与临床场景的一般应用
Uterine Horn（子宫角）	练习对组织施加恰当的牵拉张力，配合单极弯剪分离猪模型子宫角结缔组织，对比剪切与能量凝切
Suspensory Ligaments（悬韧带）	腹腔不同深度的软组织钝性分离，重点是分离过程中的镜头移动与变焦
Rectal Artery/Vein（直肠动静脉）	从较大器官结构上仔细游离血管，演示高级器械与成像功能的使用
Skills Application（技能应用）	较长时间的综合性环节，把已学技能用于接近临床的场景，动作相对无结构、变异性大
Range of Motion（活动范围）	在内镜与器械在体腔内移动时不发生碰撞，体现视野与工作空间、穿刺器布置
Retraction and Collision Avoidance（牵拉与避碰）	器械在固定视野内移动并避免碰撞，按象限循环移动
Other（其他）	结构化训练之外的活动

官方特别提示：视频中未标注的部分一律按 Other 处理。这意味着 Other 不是一个「待归类」的垃圾桶，而是一个有明确定义的兜底类，在计算分段准确率时必须计入分母，否则指标会虚高。

2.5 测试集形态与防作弊设计

测试集同样来自 da Vinci 培训练习，但视频长度可变，采样率为 1 Hz，即每秒取一帧。官方给出的理由是评测效率与判分口径统一，副作用是模型在训练时见到的是 60 fps 的连续帧，在测试时面对的是跳帧序列，运动线索的密度被大幅压缩。

两处专门设计的防作弊措施值得注意：

1. 界面打码。官方禁止利用画面中用户界面（UI）提供的信息做预测，测试集画面中的 UI 被模糊处理。真实系统界面上可能显示器械名称与状态，若不屏蔽，模型可以直接「读答案」。
2. 注释来源分层。测试集的器械边界框由有经验的众包注释者生成，手术步骤由多名具备领域知识的专家标注。两类注释的可信度不同，引用时应分别说明。

边界框的语义也有细节：框住的不是整把器械，而是 clevis——器械钳口转轴的近似位置。有五类器械的框额外包含尖端：单极弯剪、尖头上翘开窗抓钳、吻合器、抓取牵开器、吸引冲洗器。其中吸引冲洗器不进测试集，只在训练集提供。边界框语义在训练集与社区复现之间不一致，是比较分数时最容易忽略的变量。

2.6 标签是怎么派生出来的

理解标签的生成方式，比记住标签的数量更重要，因为生成方式决定了标签能表达什么、不能表达什么。

器械在位标签来自系统日志。 机器人系统在器械安装到机械臂与拆下时各记一条时间戳，团队把这些时间戳对齐视频时间轴，就得到「某时段内某臂装着某器械」的记录。这条链路里没有任何人工判读，因此标签覆盖全部帧、零额外成本，但也因此只记录系统知道的事实——器械是否在视野内、是否被组织包住，日志一无所知。

任务分段来自标注流程。 视频按互斥的任务切段，标注者判断每段的总体目标。这一层需要人工，但粒度是段级而非帧级，成本远低于逐帧画框。官方说明未标注的部分归 Other，说明标注者只在能明确判断时才落笔，其余留空。这种「宁缺勿滥」的策略提高了分段的精度，代价是覆盖率。

文本描述来自任务定义。 Category 2 所需的 matched_description 是对任务类别的详细文字说明，覆盖解剖要素、术者行为与在位器械。它是类别级而非实例级的：同一任务的所有片段共享同一段描述，因此不能当作对具体片段的叙述。这一点对视觉问答的训练方式影响很大——模型学到的是类别语义与视觉模式的对应，而不是逐段生成描述。

测试集注释是另一条产线。 边界框由有经验的众包注释者逐帧生成，手术步骤由多名领域专家标注。两条产线的可靠性不同，且与训练标签的产线也不同。训练与测试的标签来自不同来源，是这套数据的一个固有属性，评估时不能假设两者噪声特性一致。

§3 怎么拿到

3.1 两条获取路径

此数据有两条并存的入口，性质不同，不能混为一谈。

路径一：挑战赛注册制。 官方下载页只对已加入挑战的成员开放。流程大致是先在 Grand Challenge 平台加入该挑战，填写成员申请，由队长签署数据使用协议并邮件提交给组织方，获批后组队、再下载。这条路径拿到的是本届训练集与测试阶段的完整材料，代价是受协议约束。

路径二：数据论文给出的云存储直链。 数据集论文在摘要中就列出了四个公开地址，指向 Google Cloud Storage 上的打包文件：

内容	文件名
视频	surgvu24_videos_only.zip
标签	surgvu24_labels_updated_v2.zip
Category 1 器械检测验证集	cat1_test_set_public.zip
Category 2 问答样例集	SURGVU25_cat_2_sample_set_public.zip

这四个文件名本身就是一条需要读懂的信息：论文发表于 2025 年、2026 年修订，给出的却是 2024 与 2025 命名的压缩包。官方在 Category 2 说明页里对最后一个链接注明「可下载 10 段视频样例，格式与评测一致」，说明样例集是评测格式的示范而非完整测试集。

由此产生一个使用上的实际问题：走公开直链拿到的基座，与走注册制拿到的本届训练集，是否完全同一批文件，公开页面无法确证。若要复现某篇论文的数字，或要与榜单成绩对比，报名注册是唯一能保证口径一致的做法。

3.2 许可状态

许可这一项是全条目里最需要谨慎的地方，因为存在三种容易被合并成一句的说法。

其一，数据本体没有具名许可。 官方页面与论文都没有给出 CC、ODC 或任何 OSI 认可的许可名。约束来自挑战规则本身，属于「注册 + 协议」的受限用途模式。因此任何把该数据集标注为「CC BY 4.0」的引用都是错的——那是论文的许可，不是数据的许可。

其二，挑战规则中的关键限制。 官方规则页给出的要点包括：

• 数据仅用于本挑战赛范围内，在数据公开发布前不得转交第三方，不得用于发表或商业用途；
• 预训练可用任意公开数据集；若使用私有数据预训练，须披露，并在提交时公开释放该数据；
• 提交须包含最终报告、代码仓库与方法演讲视频，仅完整提交具备获奖资格；
• 参赛者同意结果纳入方法对比，前三名队伍须至少一名成员现场参会并演讲；
• 主办方内部团队不具备获奖资格；
• 数据须待挑战结果提交发表后方可用于发表。

最后一条对学术使用的节奏影响最大：即便只是在方法部分使用这批数据，也要等到挑战赛自己的结果论文发表之后。

其三，论文与数据是两套许可。 arXiv:2501.09209 与 arXiv:2305.07152 作为预印本按 arXiv 的常规许可分发，可以正常引用、可以转载图表；这不代表数据本身可以按同一许可使用。把论文许可当成数据许可，是这条线上最高频的合规误判。

3.3 版本链与命名残留

系列的数据形态经历过多次调整，理解版本链才能理解文件名为什么这么乱。

阶段	形态	命名痕迹
2022 / 2023 SurgToolLoc	短视频片段，器械类别较少	库内前身条目记录的口径为两万余段片段
2024 SurgVU	视频与标签重新打包	surgvu24_videos_only.zip、surgvu24_labels_updated_v2.zip
2025 SurgVU	新增视觉问答样例	SURGVU25_cat_2_sample_set_public.zip
2026 SurgVU	训练数据与标签在 2022/3 基础上扩展，新增任务标签	官方未给出新的打包文件名

官方数据说明页对 2026 与前辈关系的原话是：本届使用 2022/3 年 SurgToolLoc 挑战数据与标签的扩展版，主要新增是供 Category 2 使用的任务标签；测试集同样是两届 SurgToolLoc 测试集的扩展版。这句话是判断「某篇论文用了哪一届数据」的唯一依据，值得逐字记住。

3.4 下载后的第一小时

拿到视频与 CSV 之后，建议先做四件事，避免在训练阶段才发现数据层问题。

• 核对 session 数与视频数的关系：155 场培训对应 280 段视频，说明平均每场约 1.8 段，可直接用来检查是否有 session 缺文件。
• 按分片列分组后再对齐时间戳：以 install_case_part、start_part 为键，先确定标签归属哪段视频，再做时间换算。
• 抽样统计在位器械数与画面可见器械数：两者之差就是在位标签噪声的直接量化。官方已声明存在「标注三把、只见两把或更少」的情形，但未给出比例，需要自己统计。
• 检查 Other 段落的占比：未标注段落一律归 Other，若占比异常高，说明该 session 的分段质量偏低，训练时应降权或剔除。

§4 质量与已知问题

4.1 帧数与时长的换算不自洽

官方在数据说明页连用了两个「超过」：超过 840 小时的手术任务，由此产生超过 1800 万帧。若按官方给出的 60 fps 直接换算，840 小时等于 60 × 3600 × 840 ≈ 1.81 亿帧，比 1800 万帧高出一个数量级。

这不是可以靠「四舍五入」抹平的差异。可能的原因有三种：其一，帧数一项为笔误，漏写一位；其二，帧数是按某个降采样率统计的，例如把 60 fps 降为 6 fps 左右；其三，时长与帧数分别来自不同口径的统计，例如时长含未入库片段。官方页未作说明，论文摘要亦未展开。

对使用者的实际影响是容量估算。若按 1.81 亿帧、每帧 1280×720 的 JPEG 压缩估算，存储需求会比按 1800 万帧估算高一个数量级。规划下载与解压空间时应以实际文件大小为准，而不是以上述任何一方数字推算。

4.2 在位标签的噪声来源

器械在位标签并非人工判读，而是从机器人系统直接抽取：器械装上机械臂，日志记一笔；拆下，再记一笔。由此得到的标签回答的是「装着什么」，而检测任务需要回答的是「在哪」。

两者的偏差有两个方向。一是器械装着但被移出视野，标签说有三把、画面只见两把或更少；二是器械短暂遮挡或进出视野，标签仍记为在位，画面中却找不到可靠边界框。官方对前者给了明确说明，对后者只以「可能被遮挡或暂时不可见」一笔带过。

这类噪声不会让任务变得无解——恰恰相反，它是弱监督设定下的预期困难——但它改变了指标的含义。模型学到的不是「看到器械所以判断存在」，而是「结合时序与上下文推断此刻最可能装着哪把」，两者的错误模式不同，在临床解释上的可信度也不同。

4.3 培训数据与临床数据的距离

数据来自培训练习，这带来几处系统性差异：

• 解剖对象以猪模型为主，人体解剖的多样性、粘连程度、既往手术史带来的变异均未覆盖。
• 动作被标准化，同一任务在不同场次重复出现，模型可能记住的是流程模板而非视觉证据。
• 术野由受训者与带教者共同控制，镜头运动相对规整，真实术中紧急情况下的镜头抖动、快速移动未被充分采样。

因此，在这批数据上取得的器械定位精度，不能直接换算为临床场景的可用性。把它作为预训练或方法初筛是合理的，把它作为临床前验证的最后一步则越界。

4.4 假设—支持—反对表

对几个无法从公开页面直接确认、但影响使用决策的问题，按证据强度列出三种立场。

待判问题	支持方证据	反对方证据	结论强度
公开直链的文件与本届训练集完全一致	论文由组织方撰写，v2 修订日与挑战开放日同天，暗示链接已更新	文件名仍为 surgvu24 / SURGVU25，官方未声明与本届训练集等价	C（单一来源，未确证）
1800 万帧是笔误	按 60 fps 换算差约十倍，符合漏位特征	官方在两处文档沿用同一数字，未见更正	C
测试集 1 Hz 采样不会显著影响检测指标	器械存在具有强时序持续性，逐秒一帧仍可判读	快速更换器械的瞬间可能被跳过，边界框语义又依赖可见性	D（推断）
在位标签噪声在可接受范围内	官方主动披露噪声，说明已评估其影响；往届参赛队在该设定下取得有效结果	官方未给出噪声比例，无法量化其对指标上限的压制	C

4.5 结论强度分级说明

• A 级（≥3 条独立证据线）：规模数字 280 段、155 场、60 fps、720p、12 类器械、8 类任务、1 Hz 测试采样——均可在官方数据说明页原文核对，且与数据集论文一致。
• B 级（2 条）：时间线各节点，官方重要日期页与首页新闻互相印证。
• C 级（单一来源）：许可条款细节，仅官方规则页一处；奖项金额，首页与奖项页同源。
• D 级（推断）：测试采样对指标的影响、公开直链与本届训练集的等价性、帧数笔误的具体成因。

3.5 算力与存储的规划口径

按官方给出的规格做粗略推算，可以避免下载到一半才发现空间不足。单帧 1280×720 的 RGB 图像未压缩约 2.7 MB，60 fps 下每秒约 166 MB，一小时约 600 GB。即便采用压缩比数十倍的编码，840 小时的全量也要落在数 TB 量级。这说明两件事：第一，公开直链的 zip 体积必然远小于原始帧序列，解压后才是真实占用；第二，绝大多数团队不会持有全量解码后的帧，而是按任务需要抽帧并缓存。

抽帧策略因此成为实际工程的一部分。检测任务通常按固定间隔抽帧并做时序聚合，间隔过大则丢掉器械更换的瞬间，过小则存储爆炸；视觉问答任务以 30 秒为片段单位，天然只需关键帧。无论哪种，都建议在抽帧时同步生成分片索引，而不是在训练脚本里临时拼接路径。

3.6 团队与合规的几个实务点

挑战赛的提交不是只交一个榜单结果。官方要求包含最终报告、代码仓库与方法演讲视频，仅完整提交具备获奖资格。这条规则的实际含义是：排名靠前但未提交代码的团队拿不到奖。准备参赛时应把「可复现」当作与精度同等重要的交付物，提前整理训练脚本、推理脚本与依赖版本。

另外三条与个人相关的约束值得提前告知团队成员：前三名队伍须至少一名成员现场参会并演讲；主办方内部团队不具备获奖资格；使用私有数据预训练须披露，并在提交时公开释放该数据。第三条对工业界团队影响最大——若预训练依赖不可公开的内部数据，要么换用公开数据，要么放弃该部分预训练。

4.6 标签质量审查清单

在信任任何基于这套标签的结论之前，建议做一轮可复现的标签审查。以下四项都可只用手头的 CSV 与少量抽帧完成。

其一，在位时段的重叠检查。 同一机械臂的安装与拆卸时间应首尾相接、不重叠。若出现同一臂的连续两段安装时间重叠，说明日志抽取存在错配，该 session 应标记为可疑。

其二，在位器械数的分布检查。 官方说明术野内一般有三把器械，四臂从左到右安装。统计每帧的在位器械数分布，若某 session 长期出现四把或一把，需人工抽查——前者可能是商业名与主标签映射错误导致重复计数，后者可能是日志缺失。

其三，任务分段的覆盖率检查。 每个任务段应有明确的起止，未标注部分归 Other。统计 Other 占比，若某 session 的 Other 超过一半，说明该 session 的分段基本失效，训练时应剔除或降权。

其四，视觉抽样验证。 在每个任务类别中随机抽十帧，人工核对画面活动与任务标签是否一致。这一步无法自动化，但十帧的成本极低，能发现系统性错位——例如整段标签整体偏移一个分片时长。

审查结果应记录为一张 session 级的质量表，训练时作为样本权重或过滤条件使用。这比事后解释「为什么指标上不去」更有价值。

§5 能做什么

5.1 为什么手术视频需要专门的方法

标准视频理解方法在手术视频上失效，原因不在模型容量，而在成像条件本身的偏离。

相机在动。 内窥镜由机械臂或助手持握，随术者意图推拉、旋转、调整视角。背景不是静止的，全局运动估计会把镜头运动与器械运动混在一起，光流类方法的先验假设不再成立。悬韧带任务里「镜头移动与变焦」被单独列为训练要点，正说明镜头操作本身就是需要学习的技能。

组织在变形。 软组织被牵拉、切割、凝切时持续改变形状与拓扑。没有刚体假设可用，基于模板匹配或刚体配准的跟踪会在几秒内漂移。子宫角任务里对同一结构施加不同能量方式，形变模式在整个片段内连续变化。

遮挡来自镜头之内。 烟雾、血渍、组织碎屑、器械自身都会遮挡视野。烟雾是电凝的副产物，会在关键操作瞬间弥漫；血渍会改变整个画面的色彩基准。这些遮挡与自然视频中的遮挡不同：它们不是随机出现的物体，而是与操作动作强相关的，模型若把遮挡当作噪声抹掉，也一并抹掉了动作的因果线索。

光照随术野变化。 内窥镜光源距离组织越近，中心越亮、边缘越暗；深腔与浅表的曝光差异极大。器械金属表面的镜面反光在帧间跳跃，容易被误判为运动或边界。

没有重拍的机会。 这是手术视频区别于所有其他视频数据的根本一点。影视、体育、监控的视频可以补拍、可以换机位；真实术中每一个瞬间都不可复现，患者不会为了数据质量再上一次手术台。因此手术视频的数据价值与「一次采集即定稿」绑定，标注与采集都必须一次做对，这也解释了为什么这一领域如此依赖弱监督与系统日志派生的标签。

5.2 四个下游任务，临床价值不同

手术视觉理解常被笼统描述为一件事，实际上至少包含四个目标不同、成熟度不同的任务。把它们混为一谈，会导致对数据集能力的误判。

手术阶段识别（phase recognition）。 判断当前处于整个术式的哪个阶段，例如胆囊切除术中的暴露、夹闭、离断、取出。粒度通常是整段术式的若干阶段，需要长时序上下文。临床价值在于流程监控与资源调度：知道手术进行到哪一步，就能预估剩余时间、提示器械准备。

下一步操作预测（next-step prediction）。 在阶段识别的基础上向前看一步，预测接下来将发生什么操作。这里用的是「操作」而非「动作」：前者指有临床意义的一小段操作，后者指刀具级别的具体动作，粒度相差悬殊。临床价值在于预警与协作，但对错误预测的容忍度远低于阶段识别——一个错误的预警会打断术者节奏。

技能评估（skill assessment）。 对操作质量打分或分级，关注的是动作的经济性、器械路径的平滑度、组织损伤的控制。这一任务与前三者的根本区别在于：它评的不是「在做什么」，而是「做得怎么样」，标签极度主观，需要多名专家评分并做一致性检验。SurgVU 的培训场景恰好适合这类任务——受训者的水平差异本就是培训要观察的对象。

手术记录自动生成（report generation）。 把视频转写成结构化或自然语言的手术记录。这一任务的价值在于减轻文书负担，但对事实准确性的要求最高：记录会进入病历，错误会沿着医疗流程传播。它也最依赖语言模型与视觉模型的联合，Category 2 的视觉问答在形式上最接近这一目标。

四个任务的难度排序与临床落地速度并不一致。阶段识别技术相对成熟、已有大量公开基准；技能评估受主观性所限难以标准化；记录生成受监管与责任界定约束，即便技术可行也不会很快替代人工。使用这份数据集时，先确定自己要做哪一个，再决定用哪个赛道、哪些标签。

5.3 弱监督与标注成本

这条线的核心矛盾可以写成一句话：手术视频的标注必须由外科医师做，而外科医师的时间是全流程中最贵的资源。

逐帧边界框标注的成本不是线性的。标注员要先受训识别十余种器械，再对每一帧画框；一段 30 秒 60 fps 的片段就是 1,800 帧。要训练一个鲁棒的检测器，这样的视频需要成千上万段。即便组织方有众包注释队列，测试集注释仍需「有经验的众包者」，训练标签则干脆绕开了人工——改用系统日志。

由此形成三种标注策略的谱系：

策略	做法	成本	典型用途
全监督逐帧标注	每帧人工画框、标类别	最高	小规模验证集、测试集
稀疏标注	仅关键帧或片段首尾标注	中等	事件检测、分段任务
弱监督 / 系统日志派生	用器械装卸时间戳、任务分段作为标签	最低，接近零人工	大规模训练集

SurgVU 的组合是「大规模弱标签训练 + 小规模强标注验证」。这一组合直接限制了可做任务的复杂度：只有那些「能用日志或分段表达」的任务才适合大规模训练，需要帧级精细语义的任务（例如组织类型分割、器械与组织的交互关系）无法用这套标签表达，只能依赖外部数据集。

这也是为什么本届只有两个赛道。增加第三个需要精细帧级标签的赛道，意味着标注成本回到人工时代，与主办方降低标注负担的初衷相悖。

5.4 最小可执行示例

以下流程描述的是「拿到数据后能先跑通什么」，不涉及具体超参。

1. 建立 session 级索引。 遍历训练目录，每场 session 读入两个 CSV，按分片列把标签分配到对应视频文件，输出一张「视频文件 → 标签行」的映射表。这一步做错，后面全部作废。
2. 构造在位矩阵。 把每段视频按固定步长切帧，对每一帧生成 12 维在位向量。训练时以该向量为监督信号，而不是直接回归边界框。
3. 训练路径二选一。 一是多标签分类（只判断哪几把在位），把分类得分作为后续定位的先验；二是伪框生成——用在位标签筛选候选片段，在少量有框的验证集上训练检测头，再反哺无框片段。
4. 在验证集上评。 官方提供的 Category 1 验证集是唯一带边界框的公开子集，所有中间结果都应先在此评估，避免在测试阶段才发现框的语义不对。
5. 对齐框的语义。 确认自己的标注口径与官方一致：框住 clevis 而非整把器械；五类器械额外包含尖端；吸引冲洗器不参与测试。

赛道二的流程在第三步分叉：把任务分段与 matched_description 文本配对，构造「片段 + 问题 → 答案」的训练样本，评测时对每题的五个等价答案做匹配。

5.6 三个容易混淆的粒度

手术视觉里的「识别」有至少三种粒度，混用会让任务定义失焦。

阶段（phase） 是整台手术的大环节，通常个位数到十几种，时长从几分钟到数十分钟。判断阶段需要跨越很长的时间窗，单帧信息往往不够，必须借助累积的上下文。

操作（step / task） 是阶段内部的子过程，对应一件有明确目的的完整动作，例如缝合一个创口、游离一段血管。SurgVU 的 8 类任务标签正处在这一层，粒度介于阶段与动作之间。

动作（action） 是器械级别的细粒度动作，例如「抓取」「剪切」「电凝」，通常在秒级，需要器械与组织的交互细节才能判断。

三者的关系是嵌套的：一台手术由若干阶段组成，一个阶段由若干操作组成，一个操作由若干动作组成。数据集的标签落在哪一层，直接决定了它能支撑哪一类模型。SurgVU 提供的是操作层（任务）与器械在位层（哪把器械装着），没有阶段层的标签，也没有动作层的标签。若要研究阶段识别，必须自行把 8 类任务重新映射到阶段的定义上，而这一映射在本数据集中并无官方依据。

5.5 四项难点的技术后果

上一小节把手术视频的困难列了五项，这里把它们与具体的建模后果对应起来，便于判断哪些难点可以靠数据规模缓解、哪些不能。

镜头运动带来的全局运动估计失效。 自然视频里相机多半静止，背景运动可以归因于物体本身。手术视频没有这个前提，镜头随术者推拉、绕轴旋转、俯仰调整，同一块组织在相邻帧的大位移可能完全来自镜头。光流场里镜头运动与器械运动叠加，若不做相机运动补偿，任何基于残差的异常检测都会把整个画面判为「在动」。可行的做法是先用单应性或稠密配准估计背景运动，再从光流中扣除；但在快速变焦时，单应性本身的估计就不稳。

组织形变带来的跟踪漂移。 软组织没有刚体假设，切割与凝切还会改变拓扑。基于特征点匹配的跟踪在组织被牵拉时会把形变误判为位移，几秒后即漂移。这正是弱监督设定难以直接迁移到分割任务的原因：检测器械尚可借助器械本身的刚性外观，分割组织则需要逐帧的形变一致性。

烟雾与血渍的时机关联性。 烟雾在电凝时出现，血渍在切割时出现，两者都与操作动作强相关。这意味着它们不是独立噪声，而是带有因果信息的信号。若用去雾预处理把它们抹平，模型也失去了「此刻正在凝切」这条线索。相比之下，把烟雾当作可识别的状态特征，反而可能提升任务识别的准确度。

反光与曝光变化对纹理特征的干扰。 金属器械表面的高光在帧间跳跃，会破坏基于纹理的相似度度量；内窥镜光源近距离照射造成的局部过曝会让组织颜色失真，而颜色恰是区分组织类型的主要线索之一。常见的缓解是色彩恒常性归一化，但归一化的强度本身会成为超参，跨数据集迁移时需重新调。

不可复现性对数据划分的要求。 既然每一帧都不可复现，训练集与测试集必须在 session 层面划分，且应尽量保证同一受训者、同一训练日不跨集合。若按帧随机划分，同一段连续视频的相邻帧会同时出现在两侧，构成严重的信息泄漏——模型只需记住画面就能取得高分。官方未在公开页面说明划分粒度，使用公开直链自行划分时，这一点必须由使用者自己保证。

§6 常见误读与引用陷阱

常见说法	实际口径	证据位置
「这是真实手术视频数据集」	培训练习录像，操作对象含猪模型，非人体临床手术	官方数据说明页采集描述
「约 1800 万帧，840 小时，60 fps」三项并列引用	三项数字各有出处，但彼此换算差约十倍，并列引用等于转述一处不自洽	官方数据说明页；本文 4.1
「器械在位标签就是检测标签」	在位表示已安装，不等于可见；官方明示存在标注三把、画面只见两把的噪声	官方数据说明页标签说明
「用 commercial_toolname 训练即可」	测试标签只基于 groundtruth_toolname，商业名仅作上下文	官方数据说明页标签说明
「数据集许可是 CC BY 4.0」	CC BY 4.0 是论文许可；数据本体无具名许可，受挑战协议约束	官方规则页；arXiv 2501.09209
「arXiv 2305.07152 就是本届论文」	该文为 2022–2025 五届结果综述，不含 2026 届	arXiv 2305.07152 标题与摘要
「它与 SurgToolLoc 是两个独立数据集」	同一条线的前后两个名字，2022/3 用 SurgToolLoc，2024 起改称 SurgVU	官方首页系列说明
「测试集也是 60 fps 逐帧」	测试集按 1 Hz 采样，视频长度可变	官方数据说明页测试数据
「12 类器械是全集」	训练集另有少量罕见器械，但不进测试集	官方数据说明页器械说明
「未标注片段可以丢弃」	官方规定未标注部分一律按 Other 处理，需计入分母	官方数据说明页任务说明
「排行榜上第 N 名是官方结果」	官网未见结构化名次表，社区模型卡的自报名次不能当官方成绩	官方站点；本文 6.3

技术性陷阱一：分片列与时间戳的耦合。 分片列不是冗余信息。同一 session 的两段视频各自从 0 开始计时还是延续计时，取决于打包方式；唯一稳妥的做法是以分片列为键分组，再在组内按相对时间对齐。若发现整体偏移恰为一个分片的时长，基本可以判定是这一处出错。

技术性陷阱二：边界框语义的跨版本漂移。 clevis 框与「含尖端的框」是两种不同定义。社区模型在自建标注上训练、在官方测试集上评测时，若不统一语义，mAP 会系统性地偏低或偏高，且难以定位原因。至少应先在验证集上做一次语义校准。

技术性陷阱三：帧率不一致带来的时序特征失效。 训练用 60 fps、测试用 1 Hz，任何依赖帧间位移的特征（光流、时序卷积的邻域）在测试时都失去原有的时间尺度。稳妥做法是在训练时随机降采样，模拟测试条件。

技术性陷阱四：Category 2 的答案匹配方式未知。 官方给出每题五个等价答案，但未公开自动打分细则。若自行实现基于文本相似度的匹配，得到的分数不能与榜单直接比较。跨队比较前应先确认评测脚本来源。

§7 在生态中的位置

7.1 与同域数据集的相对位置

手术视觉领域的数据集大致可按「场景真实度」与「标签精细度」两个维度排布。

数据集	场景	标签重点	与本届的关系
胆囊切除类公开基准（Cholec 系）	真实腹腔镜胆囊切除	阶段、工具、动作三元组	真实度高，但标注成本高、规模小
SurgToolLoc 2022/2023	机器人培训练习	器械在位、片段级类别	直接前身，口径不同
SurgVU 2024/2025	机器人培训练习	器械在位 + 视觉问答起步	前两届，命名残留在下载链接
SurgVU 2026	机器人培训练习	在位 + 任务分段 + 文本描述	本届
内镜器械分割类数据集	真实内镜	像素级器械掩膜	标签更细，规模更小

这张表给出的判断是：SurgVU 的位置在「规模大、标签弱、场景受控」这一角。它不适合替代真实手术数据做临床验证，适合做大模型预训练、弱监督方法验证与多模态对齐研究。

7.2 与 EndoVis 的关系

SurgVU 2026 是 EndoVis 在 MICCAI 2026 的多个子赛道之一，与同期其他内镜视觉赛道并列。EndoVis 是一个跨年度、跨机构的挑战赛集群，各子赛道的数据来源、许可与评测口径互不相同。检索时若只写「EndoVis 2026」，容易把其他赛道的规模与指标误植到本届，引用时应写到子赛道一级。

7.3 相邻条目

同库内可直接对照的条目包括内镜器械分割、腹腔镜阶段识别、白内障手术视频等方向的数据集。它们与本届的共同点是都把手术视频作为一等公民，不同点在于标注精细度与场景真实度。跨条目比较时，最值得对齐的三个变量是：是否真实手术、标签是人工还是派生、测试采样率。

7.4 与通用视频理解基准的区别

把 SurgVU 与通用视频理解基准放在一起比较，容易得出「规模小、任务简单」的结论，这个结论忽略了评测意图的差异。通用基准追求覆盖尽可能多的语义类别与场景，评测的是模型的知识广度；SurgVU 追求的是在标签稀缺的条件下还原专业判断，评测的是模型在弱监督设定下的归纳能力。

这一差异体现在三处。其一是类别体系：通用基准的类别由标注规范定义，边界的模糊处用投票解决；手术器械的类别由临床用途定义，同一用途的不同型号被刻意归并。其二是错误代价：通用基准错分类的后果是分数下降，手术任务错判的后果是流程被打断或记录失真，两者对假阳性的容忍度不同。其三是数据获取：通用基准可以从互联网规模采集，手术视频只能来自手术室内，采集成本本身就是瓶颈，这也是为什么这批数据来自培训场景而不是真实台次。

§8 使用建议

8.1 三类使用者的第一步

做方法研究的使用者。 先在前述公开验证集上跑通一条最简单的基线：只用在位标签做多标签分类，不碰边界框，用所得的分类得分评估数据与流程是否正常。这一步的意义在于把「数据读取、分片对齐、评测脚本」三个环节的问题与「模型设计」的问题分开。

做临床 AI 应用的使用者。 先确认自己要做的是四个下游任务中的哪一个。若是阶段识别，本数据集没有阶段标签，只能把任务分段当作近似，须另找带阶段标注的真实手术数据；若是记录生成，本数据集不提供手术记录文本，matched_description 是类别级说明而非逐例记录。

做数据工程的使用者。 重点关注标签产线的差异：训练标签零人工、测试注释人工分层。这种不对称是评估偏差的常见来源，值得单独做一次训练集与验证集标签分布的对比。

8.2 与榜单比较的前提

若要使自己的结果与他人可比，至少需对齐四件事：测试集版本、采样方式（是否为 1 Hz）、边界框语义（clevis 还是含尖端）、评测脚本来源。四项中任何一项不一致，分数差异都无法归因。社区模型卡上自报的排名与分数未经官方文本佐证，只能作为方法参考，不宜作为「当前最好成绩」引用。

8.3 什么时候不该用这份数据

当研究问题依赖真实人体解剖、病理形态或术中突发事件时，培训数据无法代表；当研究问题需要像素级器械分割或组织类型分割时，本数据集不提供对应标签；当项目要求明确的开源许可可商用授权时，本数据集不满足。这三条界线之外，它在弱监督手术视频理解方向上仍是一个规模与结构都足够的方法验证平台。

§9 核对与遗留

9.1 双口径冲突清单

冲突项	口径甲	口径乙	处置
帧数	官方页 over 18 million frames	按时长与帧率换算约 1.81 亿帧	引用官方原文并注明不自洽
器械类别数	官方页 12 possible tools	社区模型卡出现过更多类别	以官方为准，额外类仅训练集有
论文归属	官网把 2305.07152 标为挑战论文	该文覆盖 2022–2025，不含 2026	标注为系列总纲，本届无专属论文
数据许可	论文 CC BY 4.0	数据本体受挑战协议约束、无具名许可	分别表述，不合并
训练集与公开直链	公开 zip 名为 surgvu24 / SURGVU25	本届声称在 2022/3 基础上扩展	未确证等价，提示以注册下载为准
测试集性质	官方说与训练集相似	采样率为 1 Hz、长度可变	同属官方表述，说明两者并存

9.2 遗留疑点

• 2026 届获奖名单与各队成绩未见官方结构化公布，无法核实名次与分数。
• Category 2 的自动打分细则未在公开页面展开，具体指标名称与匹配方式待查。
• 各 session 的在位标签噪声比例官方未给出，需自行统计。
• 公开直链文件与本届训练集是否完全同一批，官方未声明。
• 12 类器械的完整名称表未以文本形式转写，需按官方页面图示核对。

9.3 下次复核建议

复核时优先确认三处：官方数据说明页的规模数字是否被更正（尤其是帧数），重要日期页是否补充获奖信息，以及是否出现了 2026 届专属的结果论文。前两处直接改变正文的硬数字，第三处改变论文归属的表述。

§10 数据评估与速查

10.1 DAIMS 式数据评估

按数据可用性与完整性的常用维度做一次自评，便于判断投入产出。

维度	评估	依据
数据量与覆盖	强	280 段、155 场、官方称超过 840 小时
场景真实性	弱	培训练习，含猪模型，非人体临床手术
标签完整性	中	在位标签覆盖全帧但噪声未知；任务分段有 Other 兜底
标签精细度	弱到中	无逐帧框（训练侧）、无动作级标签、无阶段标签
标签来源透明度	强	官方明确说明在位标签由系统数据抽取、并主动披露噪声
可获取性	中	公开直链可得基座；完整本届材料需注册
许可清晰度	弱	无具名许可，条款分散在规则页
文档自洽性	弱	帧数与时长换算存在十倍量级差异
可复现性	中	有公开验证集与样例，但评测脚本细节未公开
生态活跃度	强	连续五年办赛，往届方法有公开沉淀

10.2 关键数字速查

项	数值
长视频	280 段
培训 session	155 场
训练集时长	官方称超过 840 小时
训练集帧数	官方称超过 1800 万帧
训练采集	1280×720、60 fps、单通道
测试采样	1 Hz、长度可变
器械	最多 3 把，12 类候选
任务	8 类互斥分段
奖池	最高 8,500 美元
结果公布	2026-09-27，MICCAI 2026

10.3 缩写对照

缩写	全称	中译
SurgVU	Surgical Visual Understanding	手术视觉理解
SurgToolLoc	Surgical Tool Localization	手术器械定位
EndoVis	Endoscopic Vision Challenge	内镜视觉挑战赛
VQA	Visual Question Answering	视觉问答
clevis	—	器械钳口转轴
DAIMS	—	数据可用性与完整性评估框架

10.4 引用模板

引用数据时建议写为：SurgVU 2026 挑战赛，Intuitive Surgical 主办，MICCAI 2026 EndoVis 子赛道，官方站点 surgvu26.grand-challenge.org；数据描述参见 arXiv:2501.09209；系列历届结果参见 arXiv:2305.07152。不要只引 2305.07152 代替本届数据来源。

编辑说明

• 核验时间：2026-10-18。
• 核验方式：WebFetch 实抓官方首页、数据说明页、重要日期页；arXiv 摘要页实抓两篇论文（2501.09209、2305.07152），逐字核对标题、版本日期与摘要原文；数据库查重命中 rid=971（surgvu-2026，在架），故本条为原位按 v4 体例重写，不新建记录。
• 双口径冲突：见 9.1 表，六项逐条列出。
• 未覆盖内容：12 类器械的完整文本清单、Category 2 自动打分细则、2026 届获奖名单、在位标签噪声比例、公开直链与本届训练集的等价性——均因公开页面未披露而未写入正文。
• 版本日志：2026-10-09 初稿（v1-v3 体例）；2026-10-18 按 WRITING_SPEC_V4 整体重写，改为三段导语 + §1–§10 骨架，补 FAQPage 节点，删去重复层。
• 下次复核：重点看官方页帧数是否更正、是否出现 2026 届专属结果论文。