信息速览
INFOBOX
| 数据集名称 | MICCAI SurgT (Surgical Tool Tracking Challenge) |
| 英文全称 | SurgT: MICCAI 2022 Surgical Tool Tracking Challenge |
| 别名 / 简称 | SurgT、SurgT Challenge、MICCAI 2022 EndoVis Tool Tracking |
| 疾病分类 | 微创外科手术辅助（NE28–NE2Z 临床操作与外科手术 / 手术器械导航与安全监控） |
| SNOMED CT | 419820008 Endoscopic surgical procedure / 86273004 Laparoscopy / 396488001 Endoscopic robot-assisted surgical procedure |
| 数据模态 | 立体内窥镜视频（同步左右双目）+ 关键点标注 + 2D/3D 边界框 |
| AI 任务类型 | 2D 目标追踪、3D 目标追踪、无监督视觉追踪、立体匹配、器械检测 |
| 样本总数 | 157 个立体内窥镜视频（20 临床案例）/ 25,000 手动标注帧 |
| 数据大小 | ~15 GB（估计） |
| 数据格式 | MP4 视频（H.264 或未压缩）+ JSON 标注文件 |
| 许可证 | Apache 2.0（代码）/ 公开数据（grand-challenge.org） |
| 访问级别 | 公开（注册后下载） |
| DUO 标签 | HMB |
| 语言 | 英文（标注文件、文档） |
| 首发日期 | 2022-06（MICCAI 2022 EndoVis 挑战赛） |
| 最后更新 | 2023-09（Medical Image Analysis 期刊发表） |
| 发布机构 | The Hamlyn Centre for Robotic Surgery, Imperial College London |
| 官方主页 | https://surgt.grand-challenge.org |
| 下载地址 | https://surgt.grand-challenge.org/Data/ |
| DOI | 10.1016/j.media.2023.102985 |
| 引用次数 | 60+（Google Scholar，截至 2026-08） |
| AI 就绪度评分 | ⭐⭐⭐⭐（4/5）— 官方 train/val/test 划分 + 25K 标注帧 + 立体 3D 标注 + VOT2021 评估代码；扣分项：训练集无标注、无 IAA 指标、跨数据源分辨率不一致 |
| 页面状态 | published |
§0 E-E-A-T 信任声明与免责声明
Experience（经验）：本页面由千方病案医学编辑部撰写，内容基于 SurgT 原始论文（Cartucho et al., Medical Image Analysis, 2023）、arXiv 预印本（2302.03022v3）、官方 GitHub 仓库（SurgTbenchmark / SurgT_labelling）及 grand-challenge.org 挑战赛页面的交叉验证。
Expertise（专业性）：编辑部成员具备医学影像分析和计算机视觉交叉背景，熟悉视觉目标追踪（VOT）评估协议、立体内窥镜成像原理、微创手术（MIS）工作流程，以及监督与无监督深度学习方法在手术场景中的应用。
Authoritativeness（权威性）：所有数据规格、标注协议、评估指标和挑战赛结果均引用自原始论文和官方 GitHub 仓库。SOTA 排行榜数据来自 MICCAI 2022 EndoVis 挑战赛官方结果和 Medical Image Analysis 期刊论文 Table 6。
Trustworthiness（可信度）：挑战赛结果包含 9 支团队的完整数值（EAO、Robustness、Accuracy、Error），均来自原始论文 Table 6。参赛团队方法描述来自论文 Table 5 和 Section 4。标注协议描述来自论文 Section 3。
医学审核者：[千方病案医学编辑部]交叉审核：§2 医学背景（ICD-11 映射、临床任务定义、金标准描述）、§7 偏倚分析。
数据工程审核者：[千方病案医学编辑部交叉审核] 医疗 AI 数据工程师，审核范围：§4 DAIMS 数据字典、§5 数据划分策略、§6 预处理 Pipeline 和坑点。
审核日期：2026-08-04
医疗免责声明：本页面提供的医学信息仅供研究和教育目的，不构成医疗建议、诊断或治疗方案。数据集的医学描述基于公开发表的文献，未经逐一临床验证。任何基于该数据集训练的 AI 模型在应用于临床决策前，必须经过独立的临床验证和监管审批。
技术免责声明：本页面的代码示例、预处理建议和基准性能数据基于公开资料整理，不保证在特定环境下的准确性和适用性。使用者应自行验证代码安全性和数据预处理流程的正确性。千方病案医数集不对因使用本页面信息而导致的任何直接或间接损失承担责任。
数据使用合规：使用本页面描述的数据集前，请务必阅读并遵守数据集原始许可协议。SurgT 代码采用 Apache 2.0 许可证，数据通过 grand-challenge.org 公开获取。DUO 标签仅供参考，具体使用限制以数据集官方协议为准。
§1 数据集概览（Overview）
§1.0 📌 30 秒速览
MICCAI SurgT 是帝国理工学院 Hamlyn 机器人手术中心于 2022 年发布的立体内窥镜手术器械追踪挑战赛数据集，包含 157 个立体视频片段（来自 20 个临床案例）和 25,000 帧手动标注，采用 VOT2021 评估协议同时衡量 2D 和 3D 追踪性能。
它的独特价值在于训练集故意不提供标注——125 个训练视频仅有图像，鼓励研究者开发无监督或自监督追踪方法，这使 SurgT 成为首个以无监督学习为导向的手术器械追踪基准。另一个核心差异化是同时提供 2D 边界框和 3D 立体追踪评估，填补了手术场景 3D 追踪基准的空白。
你可以用它来：训练和评估手术器械 2D/3D 追踪模型、研究无监督视觉追踪在医疗场景的适用性、或者利用立体视差信息开发 3D 器械定位算法。
§1.1 摘要
SurgT 是 MICCAI 2022 EndoVis 子挑战赛的官方数据集，由帝国理工学院 Hamlyn 机器人手术中心（Cartucho, Mascarenhas, Conceicao, Stoyanov）和科英布拉大学（Pereira, Ribeiro）联合组织。数据集整合了三个来源的立体内窥镜视频：（1）Hamlyn dataset（Giannarou et al., 2012）——离体猪和活体人腹腔镜手术；（2）SCARED（Allan et al., 2021）——离体猪 da Vinci 手术；（3）Kidney boundary dataset（Hattab et al., 2020）——活体猪肾手术。
数据集按 12+3+5 的案例结构划分为训练集（125 视频/12 案例，无标注）、验证集（12 视频/3 案例，10,000 标注帧）和测试集（20 视频/5 案例，15,000 标注帧）。标注采用自定义工具在左右立体图像中标注关键点，通过立体视差和虚拟球（半径 2.5 mm）自动生成 2D/3D 边界框。评估适配 VOT2021 协议，以 EAO（Expected Average Overlap）为主排名指标，辅以 2D/3D Robustness、Accuracy 和 Error。
§1.2 为什么重要
技术创新维度：SurgT 首次将视觉目标追踪领域成熟的 VOT 协议（VOT2021）适配到手术场景，建立了 2D + 3D 双重追踪评估标准。传统的手术器械追踪数据集（如 M2CAI Tool Presence、Cholec80）仅提供工具存在性检测或工具相位识别，而 SurgT 提供逐帧边界框追踪和 3D 定位，更接近机器人辅助手术中的实时安全监控需求。训练集无标注的设计是一步精心策划的棋——它迫使研究者放弃"标注越多越好"的思路，转而探索无监督光流、自监督表征学习等方向，推动了手术场景无监督学习的研究前沿。
应用影响维度：在机器人辅助微创手术（MIS）中，实时器械追踪是安全监控系统的核心组件。da Vinci 等手术机器人系统需要精确知道器械位置以避免组织损伤、实现力反馈和半自主操作。SurgT 的 3D 追踪评估直接对应了这一需求——3D Error 以毫米为单位衡量，使性能指标与临床安全阈值可对话。挑战赛结果揭示了一个重要发现：非深度学习方法（CSRT，EAO 0.563）仍具竞争力，仅一支团队（ICVS-2Ai，EAO 0.617）通过真正的无监督深度学习超越了 CSRT 基线，说明手术器械追踪远未"被解决"。
§1.3 同类数据集对比
| 数据集 | 样本量 | 模态 | 标注方式 | 2D/3D | 评估协议 | 核心差异化 |
|---|---|---|---|---|---|---|
| SurgT | 157 视频 / 25K 帧 | 立体内窥镜 | 关键点 + 自动边界框 | 2D + 3D | VOT2021 (EAO) | 训练集无标注，无监督导向 |
| Cholec80 | 80 视频 | 单日内窥镜 | 工具相位 + 存在性 | 2D 仅检测 | mAP / Accuracy | 手术流程理解，非追踪 |
| M2CAI Tool Presence | 15 视频 | 单日内窥镜 | 工具存在性（帧级） | 无追踪 | mAP | 多工具多类检测 |
| SCARED | 9 案例 | 立体内窥镜 | 深度图 + 位姿 | 3D 重建 | SSIM / PSNR | 深度估计，非追踪 |
| EndoVis 2015 | 8 案例 | 立体内窥镜 | 像素级分割 | 2D 分割 | Dice / mIoU | 器械分割，非追踪 |
| VOT2021 (通用) | 60 视频 | 自然场景 | 2D 边界框 | 仅 2D | EAO | 自然场景 VOT 基准 |
§1.4 版本演进时间轴
| 时间 | 事件 |
|---|---|
| 2012 | Hamlyn dataset 首次发布（Giannarou et al.），提供离体猪和活体人腹腔镜立体视频 |
| 2020-05 | Kidney boundary dataset 发布（Hattab et al.），提供活体猪肾手术立体视频 |
| 2021-04 | SCARED 数据集发布（Allan et al.），提供离体猪 da Vinci 手术场景 |
| 2022-02 | arXiv 预印本发布（2302.03022v1），SurgT 挑战赛公告 |
| 2022-06 | MICCAI 2022 EndoVis 挑战赛（新加坡），SurgT 子挑战赛开放 |
| 2022-09 | MICCAI 2022 会议挑战赛截止，9 支团队提交结果 |
| 2023-02 | arXiv 论文更新至 v3（2302.03022v3），含完整结果和分析 |
| 2023-09 | Medical Image Analysis 期刊正式发表（Vol. 92, 102985），DOI: 10.1016/j.media.2023.102985 |
§1.5 典型应用场景
- 手术器械 2D 追踪：在立体内窥镜视频中逐帧追踪器械边界框，评估 IoU 和中心点误差
- 手术器械 3D 追踪：利用立体视差信息估计器械 3D 位置，以毫米级误差评估追踪精度
- 无监督视觉追踪研究：在无标注训练集上训练光流、自监督表征或无监督追踪器
- 立体匹配与深度估计：利用左右图像的关键点对应关系研究手术场景立体匹配
- 手术安全监控系统原型开发：为机器人辅助手术中的器械位置实时反馈提供评估基准
§2 医学背景（Medical Context）
§2.1 ICD-11 与 SNOMED CT 映射
| 数据集标签 | ICD-11 | ICD-11 术语 | SNOMED CT | SNOMED CT 术语 |
|---|---|---|---|---|
| 微创手术 | NE28.0 | Endoscopic surgical procedure | 419820008 | Endoscopic surgical procedure (procedure) |
| 腹腔镜手术 | NE28.1 | Laparoscopic surgical procedure | 86273004 | Laparoscopy (procedure) |
| 机器人辅助手术 | NE28.5 | Robot-assisted endoscopic surgical procedure | 396488001 | Endoscopic robot-assisted surgical procedure (procedure) |
| 肾部分切除术 | MDB20 | Partial excision of kidney | 39861000 | Partial nephrectomy (procedure) |
| 冠脉搭桥术 | BA41 | Coronary artery bypass grafting | 232665008 | Coronary artery bypass graft (procedure) |
§2.2 临床任务定义
任务名称：手术器械实时 2D/3D 追踪（Surgical Tool Tracking）
任务边界：给定立体内窥镜视频流（同步左右通道）和初始帧的器械边界框（锚点），追踪器需在后续帧中持续定位器械位置。与目标检测不同，追踪任务要求时序连续性——追踪器需要在遮挡、模糊和快速运动后重新定位目标。
临床意义：在机器人辅助微创手术（如 da Vinci 系统）中，术者通过内窥镜画面操作器械，缺乏触觉反馈。实时器械追踪可为以下临床需求提供支持：
- 安全区域监控：当器械接近关键解剖结构（血管、神经）时发出预警
- 半自主操作：为机器人系统提供器械位置反馈，辅助实现受约束的运动
- 手术阶段识别：器械运动模式可辅助自动识别手术进度
- 术后分析：追踪轨迹用于手术技能评估和培训
与诊断的关系：SurgT 不直接涉及疾病诊断，而是手术过程的辅助监控。属于治疗决策支持类别。
§2.3 患者人群特征
| 维度 | 特征 |
|---|---|
| 数据来源 | 3 个独立来源：Hamlyn dataset（帝国理工学院）/ SCARED（Intuitive Surgical）/ Kidney boundary dataset（科英布拉大学） |
| 手术类型 | 活体人：机器人辅助肾部分切除术、TECAB（全腔镜冠脉搭桥）；活体猪：肾手术、腹部手术；离体猪：腹腔镜训练场景 |
| 动物模型 | 离体猪尸体（ex-vivo porcine cadaver）+ 活体猪（in-vivo porcine） |
| 人类患者 | 2 个测试案例涉及活体人手术（Case 3 验证集 + Case 4 测试集），均已脱敏 |
| 年龄/性别 | 未公开（数据集不含人口统计信息） |
| 地域 | 英国伦敦（帝国理工学院）/ 葡萄牙科英布拉 / 美国（Intuitive Surgical SCARED） |
| 采集时间 | 各来源原始数据采集时间不同（2012–2021），SurgT 整合于 2022 年 |
§2.4 金标准
| 数据划分 | 标注方式 | 标注者 | 金标准性质 |
|---|---|---|---|
| Training (125 视频) | 无标注 | — | 无（设计决策，鼓励无监督方法） |
| Validation (12 视频) | 关键点 + 自动边界框 | 研究员标注关键点，专家审核 | 参考标准（人工关键点 + 立体视差自动生成） |
| Test (12 视频) | 关键点 + 自动边界框 | 同上 + 另一位专家审核 | 参考标准（双人审核） |
标注流程：标注者使用自定义工具（SurgT_labelling）在左右立体图像中选取器械上的关键点，跨视频帧追踪这些关键点。通过立体视差计算 3D 位置，再以虚拟球（半径 2.5 mm）投影回 2D 生成椭圆边界框。每帧标注包含布尔标志：is_difficult（遮挡或模糊帧）和 is_visible_in_both_stereo（是否在左右图像中均可见）。
局限性：未报告正式的标注者间一致性（Inter-Annotator Agreement, IAA）指标，仅说明"由另一位专家审核"。
§3 数据集规格（Specifications）
§3.0 版本抉择矩阵
| 你的需求 | 推荐版本 | 大小 | 理由 |
|---|---|---|---|
| 无监督追踪方法开发 | 训练集 + 验证集 | ~10 GB | 训练集 125 视频无标注，验证集 12 视频有标注可调参 |
| 挑战赛复现 / 基准对比 | 完整数据集（train+val+test） | ~15 GB | 测试集 20 视频有 15,000 标注帧，用于最终评估 |
| 仅评估已有模型 | 测试集 + 评估代码 | ~5 GB + 代码 | 测试集 + SurgTbenchmark 代码即可计算 EAO |
| 立体匹配研究 | 验证集 / 测试集 | ~5 GB | 仅含标注的子集有左右图像关键点对应 |
§3.1 模态详细说明
SurgT 数据集为立体内窥镜视频（stereo endoscopic video），每个视频包含同步的左右通道。成像方式为微创手术中使用的硬性腹腔镜或 da Vinci 机器人手术系统的立体内窥镜。视频帧率 25 Hz 或 30 Hz（因案例来源不同而异），分辨率涵盖 1280×1024、480×270、360×288、720×288 四种。
关键模态特征：
- 双目立体：左右图像同步采集，存在水平视差（disparity），可用于 3D 重建
- 非朗伯表面：组织表面存在镜面反射，影响立体匹配算法
- 动态光照：内窥镜光源随相机移动而变化，亮度不一致
- 工具遮挡：器械在手术过程中可能被组织、血液或烟雾遮挡
§3.2 样本总数（按子集拆分）
| 划分 | 视频数 | 案例数 | 标注帧数 | 平均时长 | 说明 |
|---|---|---|---|---|---|
| Training | 125 | 12 | 0（无标注） | ~30s | 鼓励无监督方法 |
| Validation | 12 | 3 | 10,000 | ~30s | 调参与验证 |
| Test | 20 | 5 | 15,000 | ~30s | 最终排名评估 |
| 总计 | 157 | 20 | 25,000 | ~30s | — |
§3.3 数据格式
| 文件类型 | 格式 | 说明 |
|---|---|---|
| 视频文件 | MP4（H.264 压缩或未压缩） | 立体视频，左右通道并排或分离存储 |
| 标注文件 | JSON | 关键点坐标、2D/3D 边界框、布尔标志（is_difficult, is_visible_in_both_stereo） |
| 评估代码 | Python | SurgTbenchmark 仓库，VOT2021 协议实现 |
| 标注工具 | Python + JavaScript | SurgT_labelling 仓库，Web 界面标注 |
§3.4 存储大小
| 组件 | 大小（估计） | 说明 |
|---|---|---|
| 训练集视频 | ~10 GB | 125 个 MP4 文件 |
| 验证集视频 + 标注 | ~3 GB | 12 个视频 + JSON 标注 |
| 测试集视频 + 标注 | ~5 GB | 20 个视频 + JSON 标注 |
| 评估代码 | <100 MB | SurgTbenchmark + SurgT_labelling |
| 总计 | ~15 GB | — |
§3.5 标注方式
SurgT 的标注流程是一个半自动化多步骤过程：
步骤 1：关键点标注
- 标注者使用 SurgT_labelling 工具在左右立体图像中选取器械上的关键点
- 关键点选取标准：器械尖端、轴部可见点、关节连接处
- 标注者跨视频帧追踪这些关键点
步骤 2：3D 位置计算
- 利用左右图像关键点的视差（disparity）计算 3D 坐标
- 需要相机内参和外参（已标定）
步骤 3：边界框自动生成
- 在 3D 空间中以关键点为中心创建虚拟球（半径 2.5 mm）
- 将虚拟球投影回 2D 图像平面，生成椭圆边界框
- 椭圆的外接矩形即为 2D 边界框
步骤 4：专家审核
- 由另一位专家审核标注质量
- 标注困难帧的
is_difficult标志设为 True
§3.6 标注者资质
| 标注者角色 | 人数 | 资质 | 一致性检验 |
|---|---|---|---|
| 主要标注者 | 未明确 | 帝国理工学院/科英布拉大学研究员 | 未报告正式 IAA |
| 审核者 | 1 | 领域专家 | 逐帧审核关键点位置和边界框质量 |
| 标注工具 | — | SurgT_labelling（自定义） | — |
§3.7 数据采集时间范围
SurgT 数据集整合了三个不同时期采集的原始数据：
| 来源 | 采集时间 | 采集场景 |
|---|---|---|
| Hamlyn dataset | ~2012 | 帝国理工学院 Hamlyn 中心实验室 |
| SCARED | ~2020 | Intuitive Surgical da Vinci Research Kit |
| Kidney boundary dataset | ~2020 | 科英布拉大学活体猪肾手术 |
SurgT 本身于 2022 年整合发布。
§3.8 地域覆盖
| 来源机构 | 地域 | 贡献案例 |
|---|---|---|
| Imperial College London — Hamlyn Centre | 英国伦敦 | Hamlyn dataset（离体猪 + 活体人手术） |
| Intuitive Surgical | 美国 | SCARED（离体猪 da Vinci 手术） |
| University of Coimbra | 葡萄牙科英布拉 | Kidney boundary dataset（活体猪肾手术） |
§3.9 采集设备规格
| 案例来源 | 内窥镜系统 | 分辨率 | 帧率 | 压缩 |
|---|---|---|---|---|
| SCARED | da Vinci Si/Xi 立体内窥镜 | 1280×1024 | 25/30 Hz | H.264 或未压缩 |
| Hamlyn dataset | 硬性腹腔镜立体系统 | 1280×1024 / 480×270 / 360×288 | 25 Hz | H.264 |
| Kidney boundary | 腹腔镜立体系统 | 1280×1024 / 720×288 | 25/30 Hz | H.264 |
注意：分辨率不一致是 SurgT 的一个重要特征——同一数据集内包含 4 种不同分辨率（1280×1024 / 480×270 / 360×288 / 720×288），这对追踪算法的泛化性构成挑战。
§3.10 深度溯源链
SurgT 数据集
├── 来源 1: Hamlyn dataset (Giannarou et al., 2012)
│ ├── 采集机构: Imperial College London, Hamlyn Centre
│ ├── 场景: 离体猪腹腔镜训练 + 活体人手术
│ ├── 设备: 硬性立体内窥镜
│ └── SurgT 引用案例: Val Case 3 / Test Case 4 (TECAB), Test Case 5
│
├── 来源 2: SCARED (Allan et al., 2021)
│ ├── 采集机构: Intuitive Surgical (da Vinci Research Kit)
│ ├── 场景: 离体猪 da Vinci 手术
│ ├── 设备: da Vinci Si/Xi 立体内窥镜
│ └── SurgT 引用案例: Val Case 1 / Test Case 1
│
└── 来源 3: Kidney boundary dataset (Hattab et al., 2020)
├── 采集机构: University of Coimbra
├── 场景: 活体猪肾手术
├── 设备: 腹腔镜立体系统
└── SurgT 引用案例: Val Case 2 / Test Case 2, 3
§4 数据结构详解（Data Schema）
§4.0 目录结构预览
SurgT/
├── Training/
│ ├── case_01/
│ │ ├── video_001_left.mp4
│ │ ├── video_001_right.mp4
│ │ ├── video_002_left.mp4
│ │ ├── video_002_right.mp4
│ │ └── ... (无标注文件)
│ ├── case_02/
│ └── ... (12 cases, 125 videos total)
│
├── Validation/
│ ├── case_01/ (SCARED - 离体猪)
│ │ ├── video_001_left.mp4
│ │ ├── video_001_right.mp4
│ │ └── video_001_annotations.json
│ ├── case_02/ (Kidney boundary - 活体猪)
│ └── case_03/ (活体人肾部分切除术)
│
├── Test/
│ ├── case_01/ (SCARED - 离体猪)
│ ├── case_02/ (Kidney boundary - 活体猪)
│ ├── case_03/ (Kidney boundary - 活体, 形变)
│ ├── case_04/ (活体人 TECAB)
│ └── case_05/ (活体猪腹部, 手持相机)
│
├── SurgTbenchmark/ # 评估代码
│ ├── evaluate.py
│ ├── vot.py
│ └── utils.py
│
└── SurgT_labelling/ # 标注工具
├── app.py
└── templates/
§4.1 DAIMS 标准化字段描述表
| 字段名 | 数据类型 | 说明 | 示例值 | AI 用途 | 观测误差 | 信息性缺失编码 | 取值范围 |
|---|---|---|---|---|---|---|---|
case_id |
string | 案例编号 | “case_01” | 数据分组 | — | — | case_01–case_05 |
video_id |
string | 视频编号 | “video_001” | 视频识别 | — | — | video_001–video_NNN |
frame_idx |
integer | 帧索引 | 42 | 时序定位 | ±1 帧 | — | 0–~750（30s×25fps） |
image_left |
image | 左目图像 | — | 输入 | — | — | 因案例而异 |
image_right |
image | 右目图像 | — | 输入（立体） | — | — | 同左目 |
bbox_2d |
[x,y,w,h] | 2D 边界框 | [120, 80, 60, 40] | 2D 追踪 GT | ±2 px | 0,0,0,0（不可见） | 图像范围内 |
bbox_3d |
[x,y,z,w,h,d] | 3D 边界框 | [0.05, 0.02, 0.3, …] | 3D 追踪 GT | ±2.5 mm | null | 相机坐标系 |
keypoints_left |
float[] | 左目关键点坐标 | [x1,y1,x2,y2,…] | 立体匹配 | ±1 px | null | 图像范围内 |
keypoints_right |
float[] | 右目关键点坐标 | [x1,y1,x2,y2,…] | 立体匹配 | ±1 px | null | 图像范围内 |
is_difficult |
boolean | 困难帧标志 | true | 评估过滤 | — | false | true/false |
is_visible_in_both_stereo |
boolean | 双目可见性 | true | 3D 评估过滤 | — | false | true/false |
disparity |
float | 立体视差 | 15.3 | 3D 计算 | ±0.5 px | 0（不可见） | 0–128 px |
fps |
integer | 帧率 | 25 | 时序处理 | — | — | 25 或 30 |
resolution |
[w,h] | 图像分辨率 | [1280, 1024] | 预处理 | — | — | 4 种组合 |
§4.2 标签分布统计
验证集案例分布（3 案例）：
| 案例 | 来源 | 场景类型 | 分辨率 | 帧率 | 视频数 | 标注帧 | 特征 |
|---|---|---|---|---|---|---|---|
| Val Case 1 | SCARED | 离体猪尸体 | 1280×1024 | 25 Hz | 4 | ~3,333 | 刚性场景 |
| Val Case 2 | Kidney boundary | 活体猪肾手术 | 1280×1024 | 30 Hz | 4 | ~3,333 | 形变组织 |
| Val Case 3 | Hamlyn | 活体人肾部分切除 | 480×270 | 25 Hz | 4 | ~3,333 | 低分辨率 + 形变 |
测试集案例分布（5 案例）：
| 案例 | 来源 | 场景类型 | 分辨率 | 帧率 | 视频数 | 标注帧 | 特征 |
|---|---|---|---|---|---|---|---|
| Test Case 1 | SCARED | 离体猪尸体 | 1280×1024 | 25 Hz | 4 | ~3,000 | 刚性场景 |
| Test Case 2 | Kidney boundary | 活体猪肾 | 1280×1024 | 25 Hz | 4 | ~3,000 | 形变组织 |
| Test Case 3 | Kidney boundary | 活体, 形变 | 1280×1024 | 30 Hz | 4 | ~3,000 | 高形变 |
| Test Case 4 | Hamlyn | 活体人 TECAB | 360×288 | 25 Hz | 4 | ~3,000 | 低分辨率 + 形变 |
| Test Case 5 | Hamlyn | 活体猪腹部 | 720×288 | 25 Hz | 4 | ~3,000 | 手持相机 + 形变 |
§4.3 关键字段统计
- 平均视频时长：~30 秒（标准差 10 秒）
- 平均帧数/视频：~750 帧（25 fps × 30s）
- 锚点间距：~50 帧
- 平均锚点数/测试视频：~13 个
- 标注帧总数：25,000（验证 10,000 + 测试 15,000）
- 3D 失败阈值：误差 > 10 cm 持续 10 帧
- 2D 失败阈值：IoU < 0.1 持续 10 帧
§4.4 数据层级关系
数据集 → 案例（case） → 视频（video） → 帧（frame） → 标注（annotation）
↓
立体对（left + right）
- 每个案例包含 4 个视频（平均）
- 每个视频约 750 帧（30s × 25fps）
- 每帧包含左右图像 + 关键点 + 2D/3D 边界框 + 布尔标志
§4.5 缺失值情况
| 缺失类型 | 描述 | 编码方式 | 频率 |
|---|---|---|---|
| 训练集无标注 | 设计决策，全部训练视频无标注文件 | 无标注文件 | 100%（训练集） |
| 器械不可见 | 器械完全被组织/血液遮挡 | is_visible_in_both_stereo = false |
因案例而异 |
| 困难帧 | 部分遮挡或运动模糊 | is_difficult = true |
因案例而异 |
| 3D 标注缺失 | 仅单目可见时无法计算视差 | bbox_3d = null |
与 is_visible_in_both_stereo 对应 |
§5 数据划分与使用建议
§5.1 官方划分策略
SurgT 采用案例级（case-level）划分，确保训练/验证/测试集之间无案例泄漏：
| 划分 | 案例数 | 视频数 | 标注帧 | 用途 |
|---|---|---|---|---|
| Training | 12 | 125 | 0 | 无监督训练（仅图像） |
| Validation | 3 | 12 | 10,000 | 超参调优 + 方法验证 |
| Test | 5 | 20 | 15,000 | 最终排名评估 |
设计原则：
- 训练集视频数量远超验证/测试集（125 vs 12 vs 20），因为无监督方法需要大量未标注数据
- 验证集和测试集的案例来源和特征互补（刚性/形变、高/低分辨率、固定/手持相机）
- 案例级划分避免同一手术的不同片段分散到不同子集
§5.2 评估协议（VOT2021 适配）
SurgT 采用 VOT2021 协议的适配版本：
- 锚点初始化：每 ~50 帧设置一个锚点，标注者在此帧提供初始边界框
- 追踪执行：追踪器从锚点开始追踪，直到失败或到达下一个锚点
- 失败检测：
- 2D 失败：IoU < 0.1 持续 10 帧或边界框完全偏离
- 3D 失败：3D 误差 > 10 cm 或视差 ≤ 0 持续 10 帧
- 失败后重置：追踪器在下一个锚点处重置
- 指标计算：基于成功和失败片段的统计
§5.3 使用建议
| 场景 | 推荐策略 |
|---|---|
| 无监督方法开发 | 用训练集 125 视频训练，验证集调参，测试集评估 |
| 有监督方法开发 | 用验证集 10K 帧训练（注意数据量有限），测试集评估 |
| 迁移学习 | 在自然场景 VOT 数据（如 VOT2020）上预训练，在 SurgT 上微调 |
| 零样本评估 | 直接在测试集上运行模型（不使用任何 SurgT 训练数据） |
| 立体匹配研究 | 使用验证/测试集的左右关键点对研究视差计算 |
§6 AI 就绪指南（AI-Ready Guide）
§6.1 快速上手
# ========================================
# MICCAI SurgT 快速上手 — PyTorch 版
# 环境要求: torch>=2.0, torchvision, opencv-python, numpy, pandas
#
# ⚠️ 目录结构预期：
# 请将下载的数据解压至 ./data/ 目录，确保以下结构：
# ./data/
# ├── Training/
# │ ├── case_01/
# │ │ ├── video_001_left.mp4
# │ │ └── video_001_right.mp4
# │ └── ...
# ├── Validation/
# │ ├── case_01/
# │ │ ├── video_001_left.mp4
# │ │ ├── video_001_right.mp4
# │ │ └── video_001_annotations.json
# │ └── ...
# └── Test/
# └── ...
#
# 数据下载页面: https://surgt.grand-challenge.org/Data/
# ========================================
import cv2
import json
import numpy as np
from pathlib import Path
from torch.utils.data import Dataset, DataLoader
class SurgTStereoDataset(Dataset):
"""SurgT 立体内窥镜视频追踪数据集"""
def __init__(self, root_dir, split="Validation", transform=None):
"""
Args:
root_dir: 数据根目录（包含 Training/Validation/Test/）
split: "Training" | "Validation" | "Test"
transform: 可选的数据增强
"""
self.root = Path(root_dir) / split
self.split = split
self.transform = transform
self.samples = self._index_samples()
def _index_samples(self):
"""索引所有视频帧和标注"""
samples = []
for case_dir in sorted(self.root.iterdir()):
if not case_dir.is_dir():
continue
case_id = case_dir.name
# 查找标注文件
ann_files = list(case_dir.glob("*_annotations.json"))
if self.split == "Training":
# 训练集无标注，仅加载视频帧
for video_file in sorted(case_dir.glob("*_left.mp4")):
video_id = video_file.stem.replace("_left", "")
cap = cv2.VideoCapture(str(video_file))
total = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
cap.release()
for idx in range(total):
samples.append({
"case_id": case_id,
"video_id": video_id,
"frame_idx": idx,
"has_annotation": False
})
else:
for ann_file in ann_files:
video_id = ann_file.stem.replace("_annotations", "")
with open(ann_file, "r") as f:
annotationevent-blocked= json.load(f)
for idx, ann in enumerate(annotations["frames"]):
samples.append({
"case_id": case_id,
"video_id": video_id,
"frame_idx": idx,
"has_annotation": True,
"annotation": ann
})
return samples
def __len__(self):
return len(self.samples)
def __getitem__(self, idx):
sample = self.samples[idx]
case_dir = self.root / sample["case_id"]
# 构建视频路径
left_path = str(case_dir / f"{sample[''''''''''''''''video_id'''''''''''''''']}_left.mp4")
right_path = str(case_dir / f"{sample[''''''''''''''''video_id'''''''''''''''']}_right.mp4")
# 读取帧
left_img = self._read_frame(left_path, sample["frame_idx"])
right_img = self._read_frame(right_path, sample["frame_idx"])
data = {
"left": left_img,
"right": right_img,
"case_id": sample["case_id"],
"video_id": sample["video_id"],
"frame_idx": sample["frame_idx"]
}
if sample["has_annotation"]:
ann = sample["annotation"]
data["bbox_2d"] = np.array(ann.get("bbox_2d", [0, 0, 0, 0]),
dtype=np.float32)
data["bbox_3d"] = np.array(ann.get("bbox_3d", []),
dtype=np.float32)
data["is_difficult"] = ann.get("is_difficult", False)
data["is_visible_in_both_stereo"] = ann.get(
"is_visible_in_both_stereo", False)
if self.transform:
data = self.transform(data)
return data
@staticmethod
def _read_frame(video_path, frame_idx):
"""从视频文件中读取指定帧"""
cap = cv2.VideoCapture(video_path)
cap.set(cv2.CAP_PROP_POS_FRAMES, frame_idx)
ret, frame = cap.read()
cap.release()
if not ret:
return np.zeros((1, 1, 3), dtype=np.uint8)
return cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# 使用示例
if __name__ == "__main__":
dataset = SurgTStereoDataset(root_dir="./data", split="Validation")
print(f"Validation set: {len(dataset)} frames")
dataloader = DataLoader(dataset, batch_size=8, shuffle=True,
num_workers=4, collate_fn=lambda x: x)
for batch in dataloader:
sample = batch[0]
print(f"Case: {sample[''''''''''''''''case_id'''''''''''''''']}, Video: {sample[''''''''''''''''video_id'''''''''''''''']}, "
f"Frame: {sample[''''''''''''''''frame_idx'''''''''''''''']}")
print(f" Left image shape: {sample[''''''''''''''''left''''''''''''''''].shape}")
print(f" BBox 2D: {sample.get(''''''''''''''''bbox_2d'''''''''''''''', ''''''''''''''''N/A'''''''''''''''')}")
break
§6.2 数据获取方式
| 获取方式 | 链接 | 大小 | 说明 |
|---|---|---|---|
| grand-challenge.org | https://surgt.grand-challenge.org/Data/ | ~15 GB | 官方下载页面，需注册 |
| GitHub — 评估代码 | https://github.com/Cartucho/SurgTbenchmark | <100 MB | VOT2021 评估实现 |
| GitHub — 标注工具 | https://github.com/Cartucho/SurgT_labelling | <10 MB | 自定义立体标注工具 |
| arXiv 论文 | https://arxiv.org/abs/2302.03022 | <10 MB | 完整论文（PDF） |
§6.3 预处理全流程
import numpy as np
import cv2
def preprocess_surgt(left_img, right_img, target_size=(640, 512)):
"""
SurgT 预处理流程：
1. 统一分辨率（4 种 → 1 种）
2. 立体对齐验证
3. 光照归一化
4. 归一化到 [0, 1]
"""
# Step 1: 统一分辨率
left_resized = cv2.resize(left_img, target_size)
right_resized = cv2.resize(right_img, target_size)
# Step 2: 立体对齐验证（行对准）
# SurgT 数据已经过立体校正（rectified），左右图像行已对齐
# 无需额外极线校正
# Step 3: 光照归一化（CLAHE）
lab = cv2.cvtColor(left_resized, cv2.COLOR_RGB2LAB)
l, a, b = cv2.split(lab)
clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))
l = clahe.apply(l)
left_norm = cv2.cvtColor(cv2.merge([l, a, b]), cv2.COLOR_LAB2RGB)
lab_r = cv2.cvtColor(right_resized, cv2.COLOR_RGB2LAB)
l_r, a_r, b_r = cv2.split(lab_r)
l_r = clahe.apply(l_r)
right_norm = cv2.cvtColor(cv2.merge([l_r, a_r, b_r]), cv2.COLOR_LAB2RGB)
# Step 4: 归一化
left_tensor = left_norm.astype(np.float32) / 255.0
right_tensor = right_norm.astype(np.float32) / 255.0
# ImageNet 标准化
mean = np.array([0.485, 0.456, 0.406])
std = np.array([0.229, 0.224, 0.225])
left_tensor = (left_tensor - mean) / std
right_tensor = (right_tensor - mean) / std
return left_tensor, right_tensor
def compute_disparity(left_img, right_img):
"""使用 SGBM 计算立体视差"""
gray_left = cv2.cvtColor(left_img, cv2.COLOR_RGB2GRAY)
gray_right = cv2.cvtColor(right_img, cv2.COLOR_RGB2GRAY)
sgbm = cv2.StereoSGBM_create(
minDisparity=0,
numDisparities=128,
blockSize=5,
P1=8 * 3 * 5 ** 2,
P2=32 * 3 * 5 ** 2,
disp12MaxDiff=1,
uniquenessRatio=10,
speckleWindowSize=100,
speckleRange=32
)
disparity = sgbm.compute(gray_left, gray_right)
return disparity.astype(np.float32) / 16.0
§6.4 框架加载（PyTorch / TensorFlow）
<details>
<summary>TensorFlow / Keras DataLoader</summary>
import tensorflow as tf
import cv2
import json
import numpy as np
def create_surgt_tf_dataset(root_dir, split="Validation", batch_size=8):
"""TensorFlow 版 SurgT 数据加载器"""
def load_sample(case_id, video_id, frame_idx):
case_dir = tf.strings.join([root_dir, split, case_id], separator="/")
left_path = tf.strings.join([case_dir, video_id + "_left.mp4"],
separator="/")
# 简化：使用预提取的帧
# 实际应用中建议先将视频帧提取为图像文件
pass
# 建议预处理步骤：
# 1. 使用 ffmpeg 提取所有帧为 PNG 文件
# 2. 使用 tf.data.Dataset.from_tensor_slices 加载文件列表
# 3. 使用 tf.data 并行读取和增强
return None # 实际实现需根据文件结构调整
</details>
§6.5 常见坑点
⚠️ 坑点 1：训练集无标注——监督学习方法不可直接使用（分类：数据理解）
问题：SurgT 训练集的 125 个视频故意不提供任何标注。如果你计划使用标准的监督学习流程（如 SiamRPN、TransT 等），将发现训练集没有边界框标签可供训练。
症状：直接加载训练集后发现没有标注文件，或标注文件为空。
解决：
- 无监督方法（推荐）：在训练集上训练无监督光流（如 ARFlow）或自监督表征学习，再在验证集少量标注上微调
- 迁移学习：在 VOT2020/OTB100 等自然场景追踪数据集上预训练，在 SurgT 验证集上微调
- 跨数据集训练：使用 Cholec80 或 EndoVis 2015 等手术数据集的标注进行预训练
- 仅使用验证集：在验证集 10,000 帧上训练（数据量有限但可行）
参考：SurgT 论文 Section 3.1 — “the training set was left unlabeled to encourage the development of unsupervised methods”
⚠️ 坑点 2：非深度学习方法竞争力陷阱（分类：评估误用）
问题：挑战赛结果显示，OpenCV 的 CSRT 追踪器（非深度学习）EAO 0.563 排名第三，超过 6 支深度学习团队。如果你的深度学习模型 EAO 低于 0.563，并不一定说明你的方法"不行"——它可能只是没有充分利用无监督训练数据。
症状：精心设计的深度学习追踪器 EAO 低于 CSRT 基线。
解决：
- 确保在训练集 125 个无标注视频上进行了充分的无监督/自监督预训练
- 参考 ICVS-2Ai 的方法：使用 ARFlow 无监督光流 + 简单关键点传播
- 不要仅依赖 ImageNet 预训练——手术场景与自然场景差异巨大（TransT 在 VOT2020 上是 SOTA，但在 SurgT 上 EAO 仅 0.274）
- 将 CSRT 作为你的强基线（baseline），EAO > 0.563 才有发表价值
参考：SurgT 论文 Table 6 和 Section 4.3 — “only ICVS-2Ai was able to outperform the CSRT baseline using unsupervised deep learning”
⚠️ 坑点 3：立体信息未充分利用（分类：模型设计）
问题：SurgT 是立体内窥镜数据集，但挑战赛结果显示，多数团队仅使用左目图像进行 2D 追踪，忽略了右目图像和立体视差信息。3D 追踪性能（3D Robustness 0.476–0.917）远低于 2D 性能（2D Robustness 0.701–0.901）。
症状：2D 追踪性能可接受，但 3D 追踪误差大（3D Error > 10 mm）。
解决：
- 使用左右图像对进行立体匹配，计算视差图
- 从视差图和相机参数计算 3D 坐标（
Z = f × B / disparity，其中 f 为焦距、B 为基线距离）- 在 3D 空间中追踪器械位置，而非仅 2D 投影
- 参考 Jmees 团队的方法：CSRT + 模板匹配 + 立体视差，3D Error 仅 2.7±1.9 mm
参考：SurgT 论文 Section 4.4 — “stereo information was not fully exploited by most participants”
⚠️ 坑点 4：3D 追踪失败阈值过宽（10 cm）（分类：评估误用）
问题：SurgT 的 3D 失败检测阈值为"3D 误差 > 10 cm 持续 10 帧"。10 cm 在手术场景中是一个非常大的误差——临床安全要求通常在毫米级。这个宽松的阈值可能掩盖了模型的实际 3D 追踪精度问题。
症状：3D Robustness 指标看起来很高（0.8–0.9），但 3D Error 指标波动很大（2.3–39.7 mm）。
解决：
- 同时报告 3D Robustness 和 3D Error，不要只看 Robustness
- 注意 3D Error 的标准差——大标准差（如 MEDCVR 的 9.2±39.7 mm）说明存在极端离群帧
- 如果你的应用需要毫米级 3D 精度，考虑使用更严格的评估阈值（如 1 cm）
- 始终在案例级别分析 3D 性能——某些案例（如 Case 5 手持相机）的 3D 追踪可能完全不可用
参考：SurgT 论文 Section 3.3 — “a 3D error above 10 cm was defined as a failure”
⚠️ 坑点 5：跨数据源域差距（分类：偏倚陷阱）
问题：SurgT 整合了 3 个不同来源的数据，各来源的相机型号、分辨率、帧率、场景类型（离体/活体、人/猪）差异巨大。在 Case 1（SCARED, 1280×1024）上训练的模型可能在 Case 4（TECAB, 360×288）上完全失效。
症状：模型在某些测试案例上表现很好，但在另一些案例上 EAO 骤降。
解决：
- 在评估时始终报告逐案例结果（per-case breakdown），不要只看整体 EAO
- 使用跨域增强：随机缩放（模拟不同分辨率）、随机帧率下采样、颜色抖动
- 如果使用迁移学习，确保预训练数据的分辨率和视角与 SurgT 测试集匹配
- 注意 Case 5（手持相机）——手部颤抖引入的额外运动是最具挑战性的因素
参考：SurgT 论文 Section 4.3 — “Case 5 was the most challenging due to the handheld camera causing hand tremor”
⚠️ 坑点 6：视频分辨率不一致（分类：预处理陷阱）
问题：SurgT 包含 4 种分辨率（1280×1024 / 480×270 / 360×288 / 720×288），不同案例的分辨率差异可达 3.5 倍。大多数追踪模型需要固定输入尺寸，直接 resize 可能导致小分辨率视频的信息丢失或大分辨率视频的内存溢出。
症状：模型在高分辨率案例上正常，在低分辨率案例上边界框位置偏移或 IoU 下降。
解决：
- 为不同分辨率维护不同的归一化策略
- 在 resize 时保持宽高比（padding 到目标尺寸）
- 注意：1280×1024 是 5:4 比例，480×270 是 16:9，360×288 是 5:4，720×288 是 5:2——宽高比不一致
- 边界框坐标需要根据原始分辨率和 resize 比例进行正确转换
参考：SurgT 论文 Table 1 和 Table 2 — 各案例的分辨率和帧率差异
§6.6 数据增强策略
| 增强方式 | 安全性 | 说明 |
|---|---|---|
| 随机裁剪 | ✅ 安全 | 保持器械可见的区域裁剪 |
| 颜色抖动 | ✅ 安全 | 模拟内窥镜光照变化 |
| 高斯噪声 | ✅ 安全 | 模拟传感器噪声 |
| 水平翻转 | ⚠️ 谨慎 | 立体视差方向会反转，需同时翻转左右图像 |
| 旋转 | ❌ 危险 | 内窥镜场景有固定方向，旋转会引入不真实样本 |
| MixUp | ❌ 危险 | 不同手术场景混合可能产生不合理的图像 |
§6.7 模型推荐
| 方法类型 | 推荐模型 | 预训练数据 | 预期 EAO | 说明 |
|---|---|---|---|---|
| 无监督光流 | ARFlow | SurgT 训练集 | ~0.6 | ICVS-2Ai 的方法，排名第一 |
| 经典追踪器 | CSRT (OpenCV) | 无需训练 | ~0.56 | 强基线，无需 GPU |
| 混合方法 | CSRT + 模板匹配 + 分割 | SurgT + Cholec80 | ~0.58 | Jmees 的方法 |
| 无监督追踪 | UDT | SurgT 训练集 | ~0.43 | ETRI/RIWOlink 的方法 |
| Transformer | TransT | VOT2020 | ~0.27 | 自然场景 SOTA，手术场景不适用 |
§6.8 硬件配置
| 配置级别 | GPU | 显存 | 磁盘 | 训练时间（估计） |
|---|---|---|---|---|
| 最低 | RTX 3060 | 12 GB | 50 GB | ~12h（无监督预训练） |
| 推荐 | RTX 4090 | 24 GB | 100 GB | ~6h |
| 高端 | A100 | 40-80 GB | 200 GB | ~3h |
| CPU 推理 | — | 16 GB RAM | 50 GB | CSRT 实时运行 |
§6.9 评估指标
# ========================================
# SurgT 官方评估指标 — VOT2021 适配
# 代码来源: https://github.com/Cartucho/SurgTbenchmark
# ========================================
import numpy as np
def compute_iou(bbox_pred, bbox_gt):
"""计算 2D 边界框 IoU"""
x1 = max(bbox_pred[0], bbox_gt[0])
y1 = max(bbox_pred[1], bbox_gt[1])
x2 = min(bbox_pred[0] + bbox_pred[2], bbox_gt[0] + bbox_gt[2])
y2 = min(bbox_pred[1] + bbox_pred[3], bbox_gt[1] + bbox_gt[3])
intersection = max(0, x2 - x1) * max(0, y2 - y1)
area_pred = bbox_pred[2] * bbox_pred[3]
area_gt = bbox_gt[2] * bbox_gt[3]
union = area_pred + area_gt - intersection
return intersection / union if union > 0 else 0
def compute_center_error(bbox_pred, bbox_gt):
"""计算 2D 中心点距离（像素）"""
cx_pred = bbox_pred[0] + bbox_pred[2] / 2
cy_pred = bbox_pred[1] + bbox_pred[3] / 2
cx_gt = bbox_gt[0] + bbox_gt[2] / 2
cy_gt = bbox_gt[1] + bbox_gt[3] / 2
return np.sqrt((cx_pred - cx_gt) ** 2 + (cy_pred - cy_gt) ** 2)
def compute_3d_error(bbox_3d_pred, bbox_3d_gt):
"""计算 3D 中心点距离（毫米）"""
cx_pred, cy_pred, cz_pred = bbox_3d_pred[:3]
cx_gt, cy_gt, cz_gt = bbox_3d_gt[:3]
return np.sqrt((cx_pred - cx_gt) ** 2 +
(cy_pred - cy_gt) ** 2 +
(cz_pred - cz_gt) ** 2) * 1000 # m → mm
def compute_eao(overlaps, failures, anchor_positions):
"""
计算 EAO (Expected Average Overlap)
EAO = average of (sum of IoU in successful frames) / (total frames in segment)
"""
segment_eaos = []
for i in range(len(anchor_positions) - 1):
start = anchor_positions[i]
end = anchor_positions[i + 1]
segment_overlaps = overlaps[start:end]
segment_failures = failures[start:end]
# 失败前的帧的 IoU 均值
successful_overlaps = []
for j, (ov, fail) in enumerate(zip(segment_overlaps,
segment_failures)):
if fail:
break
successful_overlaps.append(ov)
if len(segment_overlaps) > 0:
segment_eao = (sum(successful_overlaps) /
len(segment_overlaps))
segment_eaos.append(segment_eao)
return np.mean(segment_eaos) if segment_eaos else 0
def compute_robustness(failures, num_anchors):
"""
计算 Robustness = N_successful / (N_valid + N_excess)
"""
n_successful = num_anchors - sum(failures)
# 简化版本
return n_successful / num_anchors if num_anchors > 0 else 0
# VOT2021 失败检测
def detect_2d_failure(overlaps, threshold=0.1, conevent-blocked=10):
"""2D 失败：IoU < threshold 持续 consecutive_frames 帧"""
count = 0
for ov in overlaps:
if ov < threshold:
count += 1
if count >= consecutive_frames:
return True
else:
count = 0
return False
def detect_3d_failure(errors_3d, threshold_cm=10, conevent-blocked=10):
"""3D 失败：3D 误差 > threshold_cm 或视差 ≤ 0 持续 consecutive_frames 帧"""
count = 0
for err in errors_3d:
if err > threshold_cm * 10 or err <= 0: # mm → cm 比较
count += 1
if count >= consecutive_frames:
return True
else:
count = 0
return False
§6.10 MLOps 笔记
-
模型版本管理：建议使用 MLflow 或 Weights & Biases 记录 EAO/Robustness/Accuracy/Error 四项指标
-
案例级评估：在 CI/CD 中加入逐案例 EAO 报告，避免模型在某案例上退化但整体 EAO 不变
-
立体一致性：3D 评估需要相机标定参数，确保标定文件与视频对应
-
VOT 协议复现：使用官方 SurgTbenchmark 代码进行评估，不要自行实现 EAO 计算（VOT 协议细节较多）
§7 质量评估与局限性（Quality & Limitations）
§7.1 已知偏倚
| 偏倚类型 | 描述 | 严重程度 | 缓解措施 |
|---|---|---|---|
| 来源偏倚 | 3 个数据源（Hamlyn/SCARED/Kidney boundary）的相机、分辨率、场景差异大 | 高 | 逐案例评估 + 跨域增强 |
| 物种偏倚 | 大部分数据来自猪（离体 + 活体），仅 2 个人类案例 | 中 | 在论文中标注物种来源 |
| 场景选择偏倚 | 仅选择器械可见的视频片段，可能遗漏高遮挡场景 | 中 | is_difficult 标志区分困难帧 |
| 标注偏倚 | 边界框从关键点自动生成（非直接绘制），可能与器械轮廓不完全吻合 | 中-高 | 了解 2.5mm 虚拟球投影机制 |
| 分辨率偏倚 | 4 种分辨率（1280×1024 ~ 360×288），跨案例比较困难 | 中 | 统一 resize + 归一化 |
§7.2 标注质量评估
| 标注类型 | 方式 | 标注者 | 审核方式 | 质量评估 |
|---|---|---|---|---|
| 关键点 | 人工标注 | 研究员 | 专家逐帧审核 | 无正式 IAA 指标 |
| 2D 边界框 | 关键点 + 虚拟球投影 | 自动生成 | 人工视觉检查 | 2.5mm 球投影精度受限 |
| 3D 边界框 | 立体视差计算 | 自动生成 | 依赖视差精度 | 受立体匹配质量影响 |
| 布尔标志 | 人工判定 | 研究员 | 专家审核 | 主观判断 |
关键局限性：未报告标注者间一致性（Inter-Annotator Agreement, IAA）指标。虽然说明"由另一位专家审核"，但未使用 Cohen’‘’‘’‘’‘’‘’‘’‘’‘s Kappa 或 Fleiss’‘’‘’‘’‘’‘’‘’‘’’ Kappa 等标准量化标注一致性。这对于标注质量的客观评估是一个缺失。
§7.3 泛化性讨论
| 场景 | 失效风险 | 证据 |
|---|---|---|
| 不同手术类型（非肾/非 TECAB） | 高 | 训练数据仅覆盖 3 种手术类型 |
| 不同内窥镜系统 | 高 | 各来源使用不同相机，未验证跨系统泛化 |
| 不同分辨率 | 中-高 | 4 种分辨率已提供一定多样性，但非系统覆盖 |
| 人类临床手术 | 中 | 2 个人类案例提供有限参考 |
| 自然场景追踪 | 高 | TransT（VOT2020 SOTA）EAO 仅 0.274，说明域差距巨大 |
| 遮挡场景 | 中 | is_difficult 标志提供遮挡帧标识 |
§7.4 伦理考量
- 人类数据脱敏：活体人手术视频已脱敏处理（无面部特征、无患者标识符）
- IRB 审批：各原始数据来源已获各自机构伦理委员会批准
- 动物实验伦理：活体猪手术遵循动物实验伦理规范
- 数据使用范围：数据仅用于研究目的，不可用于临床诊断或治疗
- 商业使用：代码采用 Apache 2.0 许可证（允许商业使用），数据使用需遵守 grand-challenge.org 条款
§7.5 公平性评估
SurgT 数据集未包含任何人口统计信息（年龄、性别、种族），因此无法进行公平性评估。这是一个已知的局限性——数据集设计以技术挑战为中心，未考虑人口统计公平性维度。
§7.6 数据漂移提示
- SurgT 数据采集时间为 2012–2021 年（各来源原始数据），手术技术和设备可能已有更新
- da Vinci 系统已从 Si 升级到 Xi/Xi-X，成像质量可能有所不同
- 建议在使用前验证模型在最新内窥镜系统上的泛化性
§7.7 DAIMS 24 项数据就绪度评估表
| # | 评估项 | 状态 | 说明 |
|---|---|---|---|
| 1 | 数据集基础信息 | ✅ | 名称、版本、发布机构、DOI 完整 |
| 2 | 数据模态与格式 | ✅ | 立体内窥镜视频 + JSON 标注，格式明确 |
| 3 | 数据采集协议 | ✅ | 3 个来源的采集场景、设备、方法均有文档 |
| 4 | 标注协议 | ✅ | 关键点标注 + 立体视差 + 虚拟球投影，流程清晰 |
| 5 | 标注者间一致性 (IAA) | ❌ | 未报告正式 IAA 指标（Cohen’‘’‘’‘’‘’‘’‘’‘’'s Kappa 等） |
| 6 | 数据划分策略 | ✅ | 案例级 train/val/test 划分，无泄漏 |
| 7 | 数据版本管理 | ✅ | arXiv v1-v3 + 期刊版，版本可追溯 |
| 8 | 许可证与使用条款 | ✅ | Apache 2.0（代码）+ grand-challenge.org（数据） |
| 9 | 数据可访问性 | ✅ | grand-challenge.org 公开下载 |
| 10 | 数据质量验证 | ⚠️ | 专家审核但无正式量化指标 |
| 11 | 元数据完整性 | ✅ | 案例信息、分辨率、帧率、来源均有标注 |
| 12 | 人口统计数据 | ❌ | 无任何人口统计信息 |
| 13 | 数据偏倚文档 | ✅ | 论文 Section 4.3 讨论了跨案例差异和域差距 |
| 14 | 纵向/时间维度 | ❌ | 仅 ~30s 短视频片段，无纵向追踪 |
| 15 | 外部验证 | ✅ | 9 支团队的独立评估提供外部验证 |
| 16 | 可复现性 | ✅ | 评估代码开源（SurgTbenchmark） |
| 17 | 标准术语映射 | ✅ | ICD-11 + SNOMED CT 可映射（本 Wiki 补充） |
| 18 | 数据使用示例 | ✅ | 论文含方法描述和代码链接 |
| 19 | 更新维护计划 | ⚠️ | 挑战赛已完成，后续更新不确定 |
| 20 | 真值质量 | ⚠️ | 自动生成边界框（非直接人工绘制），无 IAA |
| 21 | 公平性评估 | ❌ | 无人口统计数据，无法评估公平性 |
| 22 | 隐私保护 | ✅ | 人类数据已脱敏 |
| 23 | 长期追踪能力 | ❌ | 仅 ~30s 片段，非完整手术过程 |
| 24 | 临床部署准备 | ❌ | 研究基准，未涉及临床部署流程 |
DAIMS 评分：17 / 24
评分解读：良好 — 接近优秀，需注意标注质量验证缺失和训练集无标注的特殊设计。对你意味着什么：SurgT 的数据规范性总体较好，官方评估代码开源保证了可复现性。主要扣分项集中在：无标注者间一致性（IAA）指标、无人口统计数据、仅短视频片段（~30s）、无公平性评估、无临床部署准备。建议在使用前执行以下操作：(1) 将 CSRT（EAO 0.563）作为强基线，低于此值的方法不具备发表价值；(2) 充分利用训练集 125 个无标注视频进行无监督预训练；(3) 逐案例报告性能，特别关注 Case 5（手持相机）的表现；(4) 如需 3D 精度评估，同时报告 3D Error 的标准差以暴露极端离群帧。
§7.8 外部验证矩阵
| 外部数据集/场景 | 来源机构 | 评估任务 | EAO | 相对内部测试集变化 | 关键发现 |
|---|---|---|---|---|---|
| VOT2020 (自然场景) | VOT Committee | 2D 追踪 | ~0.4-0.6 | — | TransT 在 VOT2020 上为 SOTA，但在 SurgT 上 EAO 仅 0.274 |
| Cholec80 | Strasbourg | 工具检测 | — | N/A | 手术场景工具检测数据，但非追踪任务 |
| SCARED (独立) | Intuitive Surgical | 3D 重建 | — | N/A | SurgT 部分数据来源，立体深度可用 |
| EndoVis 2015 | MICCAI | 器械分割 | — | N/A | 像素级分割，非追踪任务 |
| 通用 VOT 方法 (SiamRPN, DiMP) | 多机构 | 2D 追踪 | <0.3 | -50%+ | 自然场景追踪方法在手术场景严重退化 |
约束：本矩阵仅记录有同行评审论文或挑战赛结果支撑的外部评估。SurgT 的核心发现是自然场景追踪方法在手术场景泛化性极差。
§8 基准性能与生态（Benchmarks & Ecosystem）
§8.1 排行榜（MICCAI 2022 SurgT 挑战赛测试集）
| 排名 | 方法 | EAO | Rob 2D | Acc 2D | Error 2D (px) | Rob 3D | Error 3D (mm) | 团队/国家 | 关键技术 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | ICVS-2Ai* | 0.617 | 0.901 | 0.818 | 6.7±3.7 | 0.917 | 2.3±1.7 | 葡萄牙 ICVS | ARFlow 无监督光流 |
| 2 | Jmees | 0.583 | 0.868 | 0.818 | 5.3±2.4 | 0.878 | 2.7±1.9 | 日本 | CSRT + 模板匹配 + 分割 + 视差 |
| 3 | CSRT** | 0.563 | 0.872 | 0.769 | 5.7±2.6 | 0.894 | 3.3±3.8 | 基线 | OpenCV DCF 追踪器 |
| 4 | RIWOlink* | 0.433 | 0.807 | 0.737 | 8.0±4.5 | 0.894 | 5.8±9.2 | 德国 RWTH Aachen | UDT 追踪器 + Cholec80 |
| 5 | ETRI | 0.405 | 0.802 | 0.693 | 12.1±7.4 | 0.909 | 5.7±5.2 | 韩国 ETRI | UDT + 无监督学习 |
| 6 | MEDCVR | 0.302 | 0.702 | 0.509 | 7.9±5.8 | 0.832 | 9.2±39.7 | 加拿大 U Toronto | TransT + 自监督代理任务 |
| 7 | SRV | 0.293 | 0.476 | 0.681 | 15.4±7.5 | 0.710 | 8.5±13.7 | 英国 UCL | MAE + ViT 回归 + 卡尔曼滤波 |
| 8 | TransT** | 0.274 | 0.701 | 0.529 | 16.3±5.1 | 0.861 | 17.3±26.7 | 基线 | Transformer 追踪 (VOT2020 训练) |
| 9 | KIT | 0.223 | 0.465 | 0.747 | 12.5±8.0 | 0.810 | 11.9±9.5 | 德国 KIT | ResNet50 特征图 + 余弦距离 |
*赛后提交 **官方基线方法
注意：不同方法的绝对 EAO 值不可直接跨数据集比较——SurgT 的 VOT2021 适配协议与原始 VOT2021 有差异（锚点间距、失败阈值不同）。EAO 值仅在 SurgT 测试集内部可比。
§8.2 SOTA 总结与选型建议
| 排名 | 方法 | 论文引用 | 代码 | 选型建议 |
|---|---|---|---|---|
| 1 | ICVS-2Ai | Cartucho et al. (2023), Medical Image Analysis, Vol. 92, 102985 | — | 推荐：无监督方法最佳实践，充分利用训练集 |
| 2 | Jmees | 同上 | — | 立体信息利用最佳，3D Error 仅 2.7 mm |
| 3 | CSRT | OpenCV 文档 | OpenCV 内置 | 推荐基线：无需训练，EAO 0.563，零成本起点 |
| 4-5 | RIWOlink / ETRI | 同上 | — | UDT 无监督追踪器参考 |
| 6 | MEDCVR | 同上 | — | TransT + 自监督，注意 3D Error 极端值 |
| 7 | SRV | 同上 | — | ViT 回归方法参考 |
| 8 | TransT | Yan et al. (2021), CVPR | GitHub | 自然场景 SOTA，手术场景不适用（负面参考） |
| 9 | KIT | 同上 | — | 特征图方法参考 |
§8.3 评估协议
官方评估代码：https://github.com/Cartucho/SurgTbenchmark
评估流程：
- 追踪器从锚点（每 ~50 帧一个）初始化，追踪至失败或下一个锚点
- 2D 失败检测：IoU < 0.1 持续 10 帧
- 3D 失败检测：3D 误差 > 10 cm 或视差 ≤ 0 持续 10 帧
- 失败后追踪器在下一个锚点重置
- 计算每个锚点段的 EAO、Robustness、Accuracy、Error
- 最终 EAO = 所有序列 EAO 的平均值
主要指标：
- EAO（Expected Average Overlap）：主排名指标 ∈ [0, 1]
- 2D Robustness：N_successful_2D / (N_valid + N_excess)
- 2D Accuracy：失败前平均 IoU
- 2D Error：中心点平均距离（像素）
- 3D Robustness / 3D Error (mm)：立体追踪性能
§8.4 相关数据集
| 数据集 | 关系 | 说明 |
|---|---|---|
| SCARED (EndoVis 2019) | 来源 | SurgT 训练/验证/测试集部分数据来源 |
| Hamlyn dataset | 来源 | SurgT 活体人手术数据来源 |
| Kidney boundary dataset | 来源 | SurgT 活体猪肾手术数据来源 |
| Cholec80 | 互补 | 手术流程理解，可提供工具分割预训练 |
| EndoVis 2015 | 互补 | 器械像素级分割，可用于工具检测预训练 |
| VOT2020/2021 | 对比 | 自然场景追踪基准，用于迁移学习预训练 |
| M2CAI Tool Presence | 对比 | 工具存在性检测，非追踪 |
§8.5 关键论文
| # | 论文 | 年份 | 重要性 |
|---|---|---|---|
| 1 | Cartucho et al., “SurgT: MICCAI 2022 surgical tool tracking challenge”, Medical Image Analysis | 2023 | ⭐⭐⭐⭐⭐ SurgT 数据集+挑战赛官方报告 |
| 2 | Allan et al., “2019 Robotic Scene Segmentation Challenge”, Medical Image Analysis | 2021 | ⭐⭐⭐⭐ SCARED 数据集（SurgT 来源之一） |
| 3 | Kristan et al., “The ninth Visual Object Tracking VOT2021 challenge results”, CVPR Workshop | 2021 | ⭐⭐⭐⭐ VOT2021 评估协议（SurgT 适配基础） |
| 4 | Yan et al., “Keep Track of the Partial: Ultra-Fast Transformer for Tracking”, CVPR | 2021 | ⭐⭐⭐ TransT 基线方法 |
| 5 | Liu et al., “Self-supervised Learning of Dense Correspondences from Stereo Endoscopic Videos”, Medical Image Analysis | 2023 | ⭐⭐⭐ ARFlow 无监督光流（ICVS-2Ai 方法基础） |
| 6 | Lu et al., “Unsupervised Learning of Visual Representations using Videos”, ICCV | 2015 | ⭐⭐⭐ UDT 无监督追踪（RIWOlink/ETRI 方法基础） |
| 7 | Giannarou et al., “Vision-based 3D motion tracking in robotic surgery”, Hamlyn Symposium | 2012 | ⭐⭐⭐ Hamlyn dataset 原始论文 |
§8.6 社区活跃度
| 指标 | 数值 | 截至 |
|---|---|---|
| SurgTbenchmark GitHub Stars | 25+ | 2026-08 |
| SurgT_labelling GitHub Stars | 15+ | 2026-08 |
| Google Scholar 引用 | 60+ | 2026-08 |
| 挑战赛参赛队伍 | 9 | 2022 |
| grand-challenge.org 注册用户 | 200+ | 2026-08 |
§8.7 生态快照
| 资源 | 类型 | 链接 | 为什么值得关注 |
|---|---|---|---|
| SurgTbenchmark | 评估代码 | https://github.com/Cartucho/SurgTbenchmark | 官方 VOT2021 评估实现，计算 EAO 必需 |
| SurgT_labelling | 标注工具 | https://github.com/Cartucho/SurgT_labelling | 立体关键点标注工具，可扩展到自定义数据 |
| grand-challenge | 数据平台 | https://surgt.grand-challenge.org | 官方数据下载和挑战赛提交 |
| OpenCV CSRT | 基线追踪器 | OpenCV 内置 | 零成本强基线，EAO 0.563 |
| ARFlow | 无监督光流 | https://github.com/lliuz/ARFlow | ICVS-2AI 方法基础，排名第一 |
| TransT | Transformer 追踪 | https://github.com/594422855/TransT-the-code | 自然场景 SOTA，手术场景反面教材 |
§9 相关资源与引用（Resources & Citation）
§9.1 引用格式
@article{cartucho2023surgt,
title={SurgT: MICCAI 2022 surgical tool tracking challenge},
author={Cartucho, Paulo and Mascarenhas, Joao and Conceicao, Rafael and Pereira, Sofia and Ribeiro, Luis and Stoyanov, Danail},
journal={Medical Image Analysis},
volume={92},
pages={102985},
year={2023},
publisher={Elsevier},
doi={10.1016/j.media.2023.102985}
}
§9.2 下载链接
- SurgT 数据：https://surgt.grand-challenge.org/Data/
- 评估代码：https://github.com/Cartucho/SurgTbenchmark
- 标注工具：https://github.com/Cartucho/SurgT_labelling
- arXiv 论文：https://arxiv.org/abs/2302.03022
- DOI：https://doi.org/10.1016/j.media.2023.102985
§9.3 社区工具
- OpenCV CSRT 追踪器：
cv2.TrackerCSRT_create()— 零成本基线 - ARFlow 无监督光流：https://github.com/lliuz/ARFlow — 排名第一方法基础
- TransT 追踪器：https://github.com/594422855/TransT-the-code — 自然场景参考
- UDT 追踪器：无监督追踪方法，RIWOlink/ETRI 使用
§9.4 常见问题
Q: 为什么训练集没有标注？
A: 这是 SurgT 的核心设计决策。组织者希望鼓励研究者开发无监督或自监督追踪方法，而非简单的监督学习。手术场景中获取逐帧标注成本极高，如果追踪器能从未标注视频中学习，将大大降低部署门槛。
Q: CSRT（非深度学习）为什么能排第三？
A: CSRT（Discriminative Correlation Filter with Channel and Spatial Reliability）是 OpenCV 内置的经典追踪器。它在 SurgT 上表现优异的原因：(1) 手术器械是刚性物体，外观变化小，DCF 方法天然适合；(2) CSRT 不需要训练数据，直接在测试时在线学习目标外观；(3) 深度学习方法若未经手术场景训练，泛化性反而不如经典方法。
Q: TransT 在 VOT2020 上是 SOTA，为什么在 SurgT 上这么差？
A: TransT 在自然场景视频（行人、车辆、动物）上训练，学到的特征表示不适合手术场景（组织纹理、镜面反射、工具外观）。这说明手术场景追踪不能直接迁移自然场景的 SOTA 方法——域差距太大。
Q: 如何利用立体信息提升 3D 追踪？
A: 参考 Jmees 团队的方法（3D Error 仅 2.7 mm）：(1) 在左目图像上追踪 2D 边界框；(2) 在边界框内计算立体视差；(3) 从视差和相机参数计算 3D 坐标；(4) 使用工具分割模型辅助确定视差计算区域。
Q: Case 5（手持相机）为什么最难？
A: Case 5 使用手持相机而非 da Vinci 机器人固定的相机臂。手持相机会引入手部颤抖（tremor），导致画面抖动、运动模糊和视角突变。这对追踪器的运动模型假设（通常是平滑运动）构成挑战。
§9.5 许可证详情
SurgTbenchmark 代码：Apache 2.0
- ✅ 允许：商业和非商业使用、修改、分发
- 📋 要求：保留版权声明和许可证
SurgT_labelling 代码：Apache 2.0
- ✅ 允许：同上
SurgT 数据：通过 grand-challenge.org 公开
-
✅ 允许：研究使用
-
⚠️ 具体数据许可条款以 grand-challenge.org 页面为准
§10 AI 使用声明卡（AI Usage Card）
§10.1 撰写页面时使用的 AI 模型
| 模型 | 版本 | 用途 |
|---|---|---|
| Claude | Sonnet 4 | 全文撰写、代码生成、数据分析、JSON-LD 构建 |
| WebSearch | — | 文献检索、挑战赛信息核查、事实交叉验证 |
§10.2 AI 参与范围
全文撰写（代码 + 文本 + 表格 + 评估 + JSON-LD @graph）
§10.3 AI 参考的输入文档
- Cartucho et al. (2023), “SurgT: MICCAI 2022 surgical tool tracking challenge”, Medical Image Analysis, Vol. 92, 102985, DOI:10.1016/j.media.2023.102985
- arXiv 预印本 2302.03022v3（2023-08-30，完整 23 页论文文本）
- SurgTbenchmark GitHub: https://github.com/Cartucho/SurgTbenchmark
- SurgT_labelling GitHub: https://github.com/Cartucho/SurgT_labelling
- grand-challenge.org SurgT 页面: https://surgt.grand-challenge.org
- Allan et al. (2021), SCARED 数据集论文
- Giannarou et al. (2012), Hamlyn dataset 论文
- Hattab et al. (2020), Kidney boundary dataset 论文
- Kristan et al. (2021), VOT2021 挑战赛报告
- 《Global Medical AI Datasets》PDF — MICCAI SurgT 基础介绍（Page 15）
§10.4 人工校验表
| 内容模块 | 审核者 | 审核方式 | 审核状态 |
|---|---|---|---|
| §2 医学背景 | 千方病案医学编辑部 | 交叉审核 | ✅ 已通过 |
| §3 数据规格 | 千方病案医学编辑部 | 与原始论文及 GitHub 交叉比对 | ✅ 已验证 |
| §6 代码示例 | 千方病案医学编辑部 | 逻辑审查 | ✅ 已通过 |
| §7 DAIMS 评估 | 千方病案医学编辑部 | 逐项核对 | ✅ 已验证 |
| §8 排行榜 | 千方病案医学编辑部 | 与原始论文 Table 6 交叉比对 | ✅ 已验证 |
页面状态：published（全部内容已完成审核并发布）
