信息速览
INFOBOX — ACL27 / ArthroPhase 一屏速览
维度 内容 本质 首个公开的关节镜手术视频阶段识别数据集(前交叉韧带 ACL 重建),非腹腔镜、非挑战赛 团队 苏黎世大学 Balgrist 大学医院 ROCS 组 + 骨科系(9 作者,通讯 Ali Bahari Malayeri) 论文 Computer Assisted Surgery (2025),doi:10.1080/24699322.2025.2508144;arXiv:2502.07431;PMID 40449528 规模 27 段视频 / 18.4 GB / 约 13 小时(单段 6-48 分钟),2022-01 至 2023-06 采集 设备 Karl Storz 腹腔镜(arthroscope) 标注 逐秒 1 标签,五阶段:Preparation / Diagnosis / Femoral Tunnel Creation / Tibial Tunnel Creation / ACL Reconstruction 阶段缺失 非每段含全阶段(Preparation 19/27、ACL Reko 16/27)——SPI 基线仅用 12 段全阶段视频 模型 ResNet-50 特征 + 2-head Transformer 精炼 + SFE/TCE 时空编码 + 80 秒序列 Transformer;双输出(阶段分类 + SPI 回归),λ=0.5 核心结果 ACL27:ACC 72.91% / Precision 72.86% / Jaccard 57.39%;消融全开 76.71±2.44%;Cholec80 ACC 92.4% 创新点 手术进度指数 SPI(Surgical Progress Index):连续量化手术进程,ACL27 SPI 误差 10.6% 许可 CC BY 4.0(Zenodo,access=open,公开直链无门禁) 获取 Zenodo record 10.5281/zenodo.14288900(55 文件逐文件带 md5) 库内互链 Cholec80(rid 78)、Cataract-101(rid 263)、CholecT50(rid 223)、CholecTrack20(rid 886)
ACL27 是一个"把手术阶段识别这门手艺第一次带进关节镜领域"的数据集。在它之前,手术阶段识别(surgical phase recognition)的主战场一直是腹腔镜胆囊切除——Cholec80、Cholec120、M2CAI16 撑起了几乎所有基准,而关节镜(arthroscopy)虽然骨科里最常见,却因为视野窄、器械遮挡重、冲洗液导致反光折射而长期没有公开数据。ACL27 用 27 段前交叉韧带重建手术的全程录像,配上一秒一个阶段标签,把这个空白补上;同篇论文还提出了手术进度指数(Surgical Progress Index, SPI),让模型不只会说"现在处于哪一阶段",还能说"整台手术做完了百分之几"。
导语读法三则:
- 只想下数据:直奔 §6——CC BY 4.0、Zenodo 公开直链、18.4 GB,没有注册墙也没有请求制,是本库中获取门槛最低的一档。
- 关心模型与指标:直奔 §4(数据集本体)与 §5(方法与结果)——ACC 72.91%、消融 76.71±2.44%、SPI 误差 10.6% 三个数字连读,并注意准确率方差的单双口径存照(坑 2)。
- 做跨库对标或文献综述:直奔 §7 与 §9——Cholec80/CholecT50/CholecTrack20/Cataract-101 的谱系与可互链关系已列全,可直接引用。
§0 导读:这个数据集解决什么问题
自动化手术工作流分析(surgical workflow analysis)的价值链条很清晰:识别出手术进行到哪一步,就能自动记录、优化排程、检测并发症、生成手术报告,甚至支撑实时手术辅助与术中决策。而这条链条的起点,是手术阶段识别——把一段连续的手术视频切分成若干个有临床意义的阶段。
问题是,这条链条在腹腔镜领域跑得很顺,在关节镜领域却几乎空白。Cholec80(胆囊切除)、Cataract-101(白内障)等数据集让腹腔镜与眼科有了公开基准,但关节镜手术——骨科里最常见的术式之一——长期没有公开的阶段标注数据。论文原文的判断是:comprehensive surgical workflow recognition for arthroscopic procedures remains largely unexplored(关节镜的完整手术工作流识别基本未被探索)。此前唯一的关节镜视频工作,是 Lux 等人 2010 年做的关键帧视频摘要(keyframe-based video summarization),那只是"挑重点帧",谈不上阶段识别。
关节镜为什么难?论文列出了这份"难点清单",每一条都是腹腔镜里不那么尖锐的挑战:
- 视野更小更局促(limited and confined field of view):镜头贴着术区,能看到的范围有限;
- 冲洗液导致反光与折射(light reflection and refraction):关节腔要持续灌洗,液面反光、折射造成视觉失真;
- 器械遮挡概率高(instrument occlusions):窄空间里器械活动频繁,遮挡镜头;
- 镜头频繁调整:贴近术区意味着要不停挪动机位;
- 血液与碎屑遮蔽:出血与组织碎屑会迅速糊住画面;
- 光照多变:反光与阴影交替;
- 组织纹理相似:关节结构的视觉纹理接近,组织区分困难;
- 运动致视频失真:任何移动都可能造成显著画面抖动。
ACL27 的回答非常直接:把 27 段标准 ACL 重建手术的视频整段拿来,和临床专家一起把每段切成五个阶段、每秒打一个标签,再配套一套能扛住上述难点的模型(ResNet-50 + Transformer 时空特征),最后公开数据与模型。论文的核心数字是:在 ACL27 上准确率 72.91%、Jaccard 指数 57.39%,显著高于同数据集上重训的 Trans-SVNet(66.75%)、MTRCNet(60.68%)、TeCNO(58.31%)。
§0 读法三则:
- 这个条目是"数据集 + 方法论文"二合一:本体是 27 段带标签视频(CC BY 4.0 公开),论文给出在 ACL27 和 Cholec80 上的基准结果——两者许可分离(数据 CC BY 4.0,论文按期刊平台条款)。
- 全文数字均出自论文正文、Table 1-5 与 Zenodo 元数据;唯一的方差异口径(72.91% vs 72.91±11.76%)已在坑 2 存照。
- 检索时若把"ArthroPhase"当作纯数据集名,会与论文名混淆——ArthroPhase 是论文/方法名,ACL27 是数据集本体名(坑 1)。
§1 数据集速览:十五问十五答
Q1:ACL27 是什么?名字怎么来的?
ACL27 是论文发布的前交叉韧带(Anterior Cruciate Ligament, ACL)重建手术视频数据集,名字 = 术式缩写(ACL)+ 视频段数(27)。论文标题里的"ArthroPhase"是方法/论文名(arthroscopy + phase),不是数据集本体的独立名称;Zenodo 上数据集以论文名"ArthroPhase: A Novel Dataset and Method…"发布,正文数据集称 ACL27(坑 1)。
Q2:规模多大?
27 段全流程 ACL 重建手术视频,总文件量 18.4 GB,总时长约 13 小时(论文 §3.1:「totaling approximately 13 hours of surgical footage」)。单段视频时长 6 至 48 分钟不等。文件构成 = 27 个 videoNN.mp4 + 27 个 videoNN-phase.txt + 1 个 Dataset_Status.txt,共 55 个文件。
Q3:视频在哪拍的?用什么设备?
苏黎世大学 Balgrist 大学医院,用 **Karl Storz 腹腔镜(Laparoscope)**采集,采集时段 2022 年 1 月至 2023 年 6 月(论文 §3.1)。
Q4:纳入标准是什么?
筛出 27 段"仅含标准 ACL 步骤、且没有并发其他需要额外手术干预的病变"的病例录像(论文 §3.1)。这样做是为了保证阶段序列的干净——混杂病例会打乱五阶段的时间结构。
Q5:标注了什么?标了几类?
五个手术阶段,每秒 1 个标签(one label per second):
- Preparation(准备)
- Diagnosis(诊断)
- Femoral Tunnel Creation(股骨隧道建立)
- Tibial Tunnel Creation(胫骨隧道建立)
- ACL Reconstruction(ACL 重建)
标签由研究者与临床专家紧密合作完成(论文 §3.1)。
Q6:每段视频都包含全部五个阶段吗?
不包含。这是一个关键事实(Table 1):Preparation 只出现在 19/27 段视频里,ACL Reconstruction 只出现在 16/27 段里(另外三个阶段在 25-26 段中出现)。"阶段缺失"直接影响了 SPI 的计算策略(§5.3)。
Q7:许可是什么?能商用吗?
CC BY 4.0(Zenodo API metadata.license.id = cc-by-4.0),access = open(公开无门禁)。CC BY 4.0 允许自由使用、修改、再分发,只需署名——是本库中许可最宽松的一档。
Q8:怎么获取?
Zenodo 记录 10.5281/zenodo.14288900(https://zenodo.org/records/14288900),55 个文件逐个带 md5 校验值,直接下载,无注册、无审批、无请求制。
Q9:能用它做什么任务?
主要是手术阶段识别(逐秒/逐帧五分类);因为每段视频带连续的阶段序列,也可用于:手术进度回归(SPI)、手术时长预测、阶段转移建模、跨库迁移(把腹腔镜模型迁到关节镜)、视频阶段分割等。
Q10:论文的模型成绩如何?
在 ACL27 上:准确率 72.91%、精确率 72.86%、Jaccard 指数 57.39%(Table 3,非交叉验证口径);5 折交叉验证下时空特征 + SPI 全开时准确率 76.71±2.44%(Table 4)。跨库到 Cholec80 达 92.4% 准确率(Table 5)。
Q11:它和已有的腹腔镜数据集比,难度差多少?
同一模型在 ACL27 上 72.91%、在 Cholec80 上 92.4%——约 19.5 个百分点的落差。这个落差就是关节镜相比腹腔镜的"领域难度税",是 ACL27 最直观的一项贡献。
Q12:SPI 是做什么的?
手术进度指数(Surgical Progress Index),用 0–1 的连续值表示"整台手术完成到百分之几",把离散的阶段分类扩展为连续的进度估计。ACL27 上 SPI 误差 10.6%。
Q13:为什么这个数据集对骨科重要?
关节镜是骨科最常见的术式之一,但此前没有公开的阶段识别数据。ACL27 让骨科手术 AI 从"没有基准"变成"有基准可对标",这是领域基础设施意义上的进步。
Q14:它适合训练大模型吗?
不适合从头训练大模型(27 段太少),但适合做评测基准、微调集、域适应实验台。论文的用法就是"在 ACL27 上验证跨领域迁移能力"。
Q15:数据和代码都公开吗?
数据公开(CC BY 4.0,Zenodo),但代码未提供直链——论文承诺公开却无 URL,属于遗留疑点(坑 4)。
§2 数据构成与规格
2.1 规模与来源总表
ACL27 的"27"直接写在名字里,所有关键规模数字都集中在下面这张表。其中"约 13 小时"与"18.4 GB"分别来自论文正文与 Zenodo 文件清单——一个是时间口径,一个是存储口径,两者并不冲突。
| 属性 | 数值 | 来源 |
|---|---|---|
| 视频段数 | 27 | 全部三源一致 |
| 总存储量 | 18.4 GB | Zenodo 页面 Files 总量 |
| 总时长 | 约 13 小时 | 论文 §3.1 |
| 单段时长 | 6–48 分钟 | 论文 §3.1 |
| 文件总数 | 55(27 mp4 + 27 phase.txt + 1 Dataset_Status.txt) | Zenodo 文件清单 |
| 最大单文件 | video1.mp4(1.1 GB) | Zenodo |
| 最小视频文件 | video5.mp4(161.4 MB) | Zenodo |
| 标签文件大小 | 313.3 kB–2.2 MB | Zenodo |
| 采集机构 | 苏黎世大学 Balgrist 大学医院 | 论文/Zenodo |
| 采集设备 | Karl Storz 腹腔镜(Laparoscope) | 论文 §3.1 |
| 采集时段 | 2022-01 至 2023-06 | 论文 §3.1 |
| 标注频率 | 每秒 1 标签 | 论文 §3.1 |
口径提醒:论文正文说"27 段视频约 13 小时",Zenodo 显示"18.4 GB"。这两个数字不能简单相除去反推码率——因为 18.4 GB 包含视频压缩后的实际体积,而 13 小时是手术录像时长;不同段视频的压缩率、帧率、分辨率可能不一致,反推无意义(坑 5)。
2.2 文件命名与目录结构
Zenodo 记录的 55 个文件采用"视频 + 标签"成对结构,但视频与标签的零填充口径不一致,这是检索者最容易踩的坑之一:
| 文件类型 | 命名示例 | 零填充 | 数量 |
|---|---|---|---|
| 视频文件 | video1.mp4 … video9.mp4、video10.mp4 … video27.mp4 |
不补零 | 27 |
| 标签文件 | video01-phase.txt … video27-phase.txt |
补零到两位 | 27 |
| 状态文件 | Dataset_Status.txt |
— | 1 |
也就是说,第 1 段的视频叫 video1.mp4,但它的标签叫 video01-phase.txt;第 10 段两者恰好都是两位数,看不出差别;第 1–9 段则视频名与标签名"位数对不上"。写脚本配对时务必用编号(数字)而非文件名字符串直接拼接,否则会漏配前 9 段(坑 6)。
2.3 视频与标注规格
| 项 | 规格 | 备注 |
|---|---|---|
| 视频容器/编码 | MP4 | Zenodo 文件后缀 .mp4 |
| 模型输入尺寸 | 240×240×3 | 论文 §3.2,ResNet-50 输入 |
| 特征维度 | 2048 维/帧 | 论文 §3.2,ResNet-50 输出 |
| 处理帧率 | 1 fps | SPI 计算按 1 frame per second(论文 §3.3) |
| 标签粒度 | 每帧/每秒一个阶段标签 | 论文 §3.1 |
| 阶段数 | 5 | 见 §2.4 |
| 原始分辨率 | 未在论文正文明示(遗留疑点) | 仅知预处理输入 240×240 |
关于帧率:论文在 SPI 部分写明"considering that the video is recorded at a rate of 1 frame per second"(论文 §3.3),说明后续处理管线把视频抽成 1 fps 再逐帧喂给模型。原始录像的帧率没有单独披露,但对外发布/建模口径是 1 fps + 每秒 1 标签,这使标签与帧一一对应,是一个干净的设计。
2.4 五阶段定义
ACL 重建手术被切成五个阶段。下表给出每个阶段的英文名(首现标英文)、中文译名与一句话临床含义。
| # | 阶段(英文) | 中文 | 临床含义(简要) |
|---|---|---|---|
| 1 | Preparation | 准备 | 建立入路、器械就位、清理关节腔视野等术前准备动作 |
| 2 | Diagnosis | 诊断 | 关节镜下探查关节内结构、确认损伤范围 |
| 3 | Femoral Tunnel Creation | 股骨隧道建立 | 在股骨侧钻取移植韧带所需骨隧道 |
| 4 | Tibial Tunnel Creation | 胫骨隧道建立 | 在胫骨侧钻取骨隧道,与股骨隧道对齐 |
| 5 | ACL Reconstruction | ACL 重建 | 穿入并固定移植物,完成韧带重建 |
阶段顺序即为上表顺序,且与论文 Table 2 的 SPI 转换点一一对应(§5.3)。注意第 3、4 阶段(两条隧道)虽然工序上相关,但被刻意拆成两个独立阶段,因为它们合计占 ACL 手术最长的操作时间(见 §2.5)。
2.5 阶段时长与覆盖分布(Table 1 全文)
论文 Table 1 给出的阶段统计是理解这个数据集"不均衡性"的关键。请注意"含该阶段视频数"一列——它揭示了并非每段视频都完整包含五阶段。
| 阶段 | 总时长 | 含该阶段视频数(/27) | 平均阶段时长 |
|---|---|---|---|
| Preparation | 50′40″ | 19 | 2′40″ |
| Diagnosis | 208′32″ | 25 | 8′20″ |
| Femoral Tunnel Creation | 265′54″ | 26 | 10′14″ |
| Tibial Tunnel Creation | 214′02″ | 25 | 8′34″ |
| ACL Reconstruction | 54′38″ | 16 | 3′25″ |
读表三则:
- 两条隧道阶段是最长的操作:Femoral Tunnel Creation 平均 10′14″,Tibial Tunnel Creation 平均 8′34″,两者合计约占单台手术主体时间——这解释了为什么模型在区分这两个阶段上难度大(视觉相似)。
- Preparation 与 ACL Reconstruction 最短且不普遍:Preparation 平均仅 2′40″(19 段有),ACL Reconstruction 仅 3′25″(16 段有)。短阶段 + 覆盖率低 = 模型对这两类的样本支撑弱,是分类误差的集中区。
- 阶段时长严重不均衡:最长阶段(Femoral Tunnel)平均时长约为最短阶段(Preparation)的 3.8 倍。这正是论文在评估里额外强调"average Precision/Recall/Jaccard"(对阶段一视同仁,而非按时长加权)的原因(§5.5)。
2.6 阶段缺失的现实与处理
阶段缺失不是偶然的偶发事件,而是这份数据的结构特征:27 段里没有一段一定包含全部五阶段,只有 19–26 段包含各阶段,且仅 12 段包含全部五阶段(论文 §3.3 用于 SPI 基线计算的视频数)。这让"如何处理缺失阶段"变成一个绕不开的方法论问题(详见 §5.3)。
| 缺失情形 | 影响 | 论文的处理 |
|---|---|---|
| 视频缺开头阶段(如第一段器械未录到 Preparation) | SPI 起点不为 0 | 用全阶段视频的该阶段平均 SPI 修正 |
| 视频缺结尾阶段(如未录到 ACL Reconstruction) | SPI 终点不为 1 | 同上,用均值补齐 |
| 视频缺中间阶段 | 阶段序列出现跳变 | 论文未单列,统按缺失阶段均值处理 |
2.7 与相关数据集的规模对照
把 ACL27 放进手术视频数据集的谱系里看,它的"小而专"特征非常明显:段数远少于成熟腹腔镜基准,但它是关节镜领域第一个公开数据集。
| 数据集 | 领域 | 视频数 | 阶段标注 | 公开性 |
|---|---|---|---|---|
| ACL27 | 关节镜(ACL 重建) | 27 | 5 阶段逐秒 | CC BY 4.0 公开 |
| Cholec80 | 腹腔镜(胆囊切除) | 80 | 7 阶段 | 公开(注册) |
| Cataract-101 | 眼科(白内障) | 101 | 阶段标注 | 公开 |
| CholecT50 | 腹腔镜(胆囊切除) | 50 | 动作三元组 | 公开 |
| CholecTrack20 | 腹腔镜(胆囊切除) | 20 | 器械追踪 | 公开 |
为什么关节镜数据集这么少? 论文的隐含答案是采集难度:关节镜视野窄、成像条件差(反光/折射/遮挡),要让临床专家配合逐秒标注五阶段,成本高、门槛高。ACL27 的 27 段已经是"从 0 到 1"。
§3 标注体系:五阶段与逐秒协议
3.1 标注协议设计
ACL27 的标注有一条清晰的时间线:采集(2022-01 至 2023-06)→ 专家协作分阶段 → 逐秒打标签 → 发布(Zenodo 2024-12)。论文 §3.1 对标注过程的描述很简洁:与临床专家紧密合作完成阶段标签,目的是保证临床有效性与高数据质量(clinical validity and high data quality)。
| 标注要素 | 内容 |
|---|---|
| 标注对象 | 27 段 ACL 重建手术视频 |
| 标注单位 | 时间轴逐秒(每秒 1 标签) |
| 类别体系 | 5 类互斥阶段 |
| 标注者 | 研究者 + 临床专家(骨科系合作者) |
| 协作设计 | 与临床专家紧密协作(close collaboration) |
| 质控目标 | 临床有效性 + 高数据质量 |
3.2 为什么是"逐秒"而不是"逐帧"
逐秒标注(one label per second)是一个务实的折中:
- 手术阶段是慢变量:一个阶段通常持续数分钟(Table 1 显示平均阶段时长在 2′40″–10′14″之间),比起"每帧都标"的密集标注,逐秒足以刻画阶段边界,同时把标注成本降到可承受范围。
- 与 1 fps 处理管线对齐:模型处理管线把视频抽成 1 fps(论文 §3.3),因此"1 秒 1 标签"与"1 帧 1 标签"在数值上等价,标签可以直接和输入帧一一对应。
- 专家时间成本可控:若不抽帧、逐原始帧标注,27 段约 13 小时的素材会产生海量帧,专家无法承受。逐秒把标注工作量压到"约 13 小时 × 3600 = 约 4.7 万个时间点"量级。
3.3 五阶段的边界与顺序约束
五个阶段在临床流程上是顺序发生的(Preparation → Diagnosis → Femoral Tunnel → Tibial Tunnel → ACL Reconstruction),这带来两条重要约束:
- 阶段转移单调:在包含全部阶段的视频里,阶段序号只增不减,不会出现"回到 Preparation"。
- SPI 与阶段一一绑定:论文 Table 2 用六个转换点锚定五个阶段在标准化时间轴上的位置(§5.3),正是因为阶段顺序固定,SPI 才能用"平均阶段进度"来插值。
3.4 标注的局限与偏差来源
论文在 Discussion(§5)中主动列出了标注相关的局限,这些直接进入本条目 §9 的 rai:dataLimitations:
| 局限 | 论文原述要点 | 对使用者的含义 |
|---|---|---|
| 人为主观误差 | 精确标注需要大量专业知识、劳动密集,可能引入人为错误与变异 | 阶段边界可能存在标注噪声 |
| 阶段缺失 | 部分视频缺失阶段会误导预测与 SPI | 训练时需处理缺失,评测时需注意 |
| 缺乏半自动工具 | 论文建议开发自动/半自动标注工具 | 标注流程难以低成本复现 |
| 单一机构 | 全部素材来自同一医院 | 跨机构泛化未验证 |
3.5 标注产物格式
每个视频对应一个同编号的 videoNN-phase.txt 标签文件(如 video01-phase.txt)。论文未逐行给出标签文件的内部格式规范,但从"每秒 1 标签 + 五阶段"的设计可以推断:标签文件是按秒组织、每行(或每行一个时间点)对应一个阶段类别的时间序列文件。文件大小从 313.3 kB 到 2.2 MB 不等,与视频时长大致正相关(长视频 → 更多秒 → 更大标签文件)。
实践建议:下载后先读 Dataset_Status.txt(61 字节)确认版本状态,再抽查一个 -phase.txt 的实际格式(类别名 or 类别编号),不要假设格式——因为论文没有给出正式的格式规范文档(遗留疑点)。
3.6 标注质量的外部校验机制
ACL27 的标注质量有两条外部保障,值得在数据可信度评估时纳入考虑:
- 临床专家深度参与:论文明确标注是"in close collaboration with clinical experts"(与临床专家紧密协作)完成的,骨科系的三位合作者(Vlachopoulos、Fucentese、Hodel)本身就是术者,他们对阶段边界的判断来自实际手术经验,而非事后逐帧辨认。
- 纳入标准的前置过滤:27 段视频全部满足"仅含标准 ACL 步骤 + 无并发需干预病变",这等于在标注之前就把"阶段序列会失真"的病例排除掉了。换句话说,ACL27 的标注质量一部分是选样质量换来的。
反过来看:这两条保障也意味着 ACL27 无法回答"非标准 ACL 病例怎么办"的问题——它的干净恰恰来自它对复杂性的回避。做真实临床部署的团队需注意这一边界。
3.7 与"手术步骤/动作"标注的层级区分
理解 ACL27 的标注粒度,需要区分手术视频标注的三个层级:
| 层级 | 粒度 | 示例数据集 | 一个标记代表 |
|---|---|---|---|
| 阶段(phase) | 粗(分钟级) | ACL27、Cholec80、Cataract-101 | 一段有临床意义的操作 |
| 步骤/动作(step/action) | 中(秒级) | CholecT50(动作三元组) | 一个具体操作动作(如"钳夹组织") |
| 器械/工具(tool) | 细(帧级) | CholecTrack20、SurgToolLoc | 某一器械的存在/位置 |
ACL27 处在最粗的阶段层——这是它作为"首个关节镜数据集"的合理起点(先立标杆、后细化)。若研究者需要更细的关节镜动作标注,目前公开数据尚不覆盖(这也是下一阶段的机会,见 §8.4)。
3.8 标注时间轴的对齐保证
“每秒 1 标签"的设计带来一个隐性但重要的性质:标签与处理管线天然对齐。论文 SPI 部分写明"the video is recorded at a rate of 1 frame per second”(§3.3),说明后续管线采用 1 fps。当"标签频率 = 帧率 = 1 Hz"时:
- 标签序列的第 i 个元素直接对应处理后的第 i 帧,无需插值或重采样;
- SPI 公式
t/T_k中的 t(已流逝帧数)与标签索引天然一致,简化了实现; - 但也意味着亚秒级的阶段边界无法被表示——若某阶段实际只持续 0.5 秒,在 1 Hz 标签下会被归入相邻秒。
对使用者的实际影响:做"阶段转移检测"研究时,时间精度上限就是 1 秒;做"阶段时长分布"统计时,最短可分辨单位也是 1 秒。
2.8 存储与计算需求的实用估算
下载 ACL27 之前,先估算一下资源需求,避免中途卡壳:
| 资源 | 需求 | 说明 |
|---|---|---|
| 磁盘空间 | ≥ 18.4 GB(下载)+ 解压/抽帧余量 | 单文件最大 1.1 GB |
| 下载时间 | 取决于带宽 | 18.4 GB 在 100 Mbps 下约 25 分钟 |
| 抽帧后存储 | 1 fps × 13 小时 ≈ 4.68 万帧 | 若按 240×240 存 JPEG,量级约 GB 级 |
| 训练显存 | 论文用 RTX-A6000(48 GB) | 80 帧序列 + ResNet-50 特征,显存需求中等 |
| 训练时间 | 30 epoch × 5 折 | 论文未给出具体时长 |
为什么磁盘需求要留余量? 因为实际工作流通常是"下载 → 抽帧 → 提取特征 → 存特征序列",每一步都会产生中间文件。尤其特征提取后的 2048 维向量序列(按 1 fps),13 小时 ≈ 4.68 万 × 2048 × 4 字节 ≈ 383 MB/全库(float32)——不算大,但加上原始视频,总量仍需预留 30 GB 以上。
2.9 变量与字段清单(供数据建模参考)
把 ACL27 抽象成结构化变量,方便纳入数据管道:
| 变量层级 | 字段 | 类型 | 示例/取值 |
|---|---|---|---|
| 视频级 | video_id | 整数 | 1–27 |
| 视频级 | duration_sec | 整数 | 约 360–2880(6–48 分钟) |
| 视频级 | n_phases_present | 整数 | 1–5(实测 16–26 段含各阶段) |
| 时间点级 | timestamp_sec | 整数 | 0, 1, 2, … |
| 时间点级 | phase_label | 类别 | Preparation / Diagnosis / Femoral / Tibial / ACL Reko |
| 时间点级 | spi | 浮点 | 0.0–1.0(需据 Table 2 计算) |
| 派生 | phase_transition_idx | 整数 | 阶段边界的时间点 |
注意:上表的 spi 与 phase_transition_idx 是派生字段,Zenodo 数据本身只提供视频 + 逐秒阶段标签,SPI 需要用论文的转换点(§5.3)或按 t/T_k 自行计算。
2.10 数据质量自检清单
拿到数据后,建议按以下清单快速体检:
| 检查项 | 方法 | 预期结果 |
|---|---|---|
| 文件完整性 | 核对 55 个文件是否齐全 | 27 mp4 + 27 txt + 1 status |
| md5 校验 | 逐文件比对 Zenodo checksum | 全部一致 |
| 视频可播放 | 用 ffprobe 抽查几段 | 正常解码 |
| 标签可解析 | 打开一个 -phase.txt | 可读、类别合理 |
| 标签长度 | 标签行数 ≈ 视频秒数 | 大致吻合(允许偏差) |
| 编号配对 | 检查 video1 ↔ video01 | 用数字编号匹配(坑 6) |
| 阶段覆盖 | 统计各阶段出现段数 | 与 Table 1(19/25/26/25/16)对应 |
§4 任务定义与数据集挑战
4.1 任务定义:手术阶段识别
ACL27 服务的主任务叫手术阶段识别(surgical phase recognition):给定一段手术视频(或其 1 fps 帧序列),为每个时间点预测它属于五个阶段中的哪一个。学术上这是视频时间序列分类 / 时序分割问题,但带有强烈的领域特殊性:
| 维度 | 一般视频分类 | 手术阶段识别(ACL27) |
|---|---|---|
| 输入 | 整段短视频 | 长视频(6–48 分钟),序列极长 |
| 输出 | 单标签 | 逐时间点标签(序列) |
| 关键依赖 | 空间特征 | 空间 + 时间(阶段由动作序列构成) |
| 类别均衡 | 通常较均衡 | 严重不均衡(阶段时长差 3.8 倍) |
| 边界 | 通常清晰 | 关节镜下阶段过渡视觉相似、难分辨 |
论文对任务动机的表述是:自动化阶段识别能支撑并发症检测、临床流程优化、手术记录与自动报告生成,是"高级计算机辅助手术系统的基础任务"(论文 §1)。
4.2 副任务:手术进度指数 SPI
除了分类,论文引入了一个回归型副任务——手术进度指数(Surgical Progress Index, SPI)。传统阶段识别只输出离散类别,对"手术完成到哪一步"没有连续量化;SPI 用 0 到 1 的连续值刻画整台手术的完成百分比,隐含整合了全局时间上下文。
SPI 的定义很简洁(论文 §3.3):对第 k 台手术,设 t 为当前序列最后一帧对应的已流逝时间(帧索引,1 fps),T_k 为该手术总时长(总帧数),则
SPI(t, k) = t / T_k
这本质上就是"已用时间占总时间的比例"。但直接这么算会遇到"阶段缺失"问题(缺头缺尾的视频进度失真),于是论文做了修正:只用包含全部五阶段的视频作基线(ACL27 中 12 段、Cholec80 中 65 段),计算出各阶段的平均 SPI 位置;对缺阶段的视频,用这些平均值来补齐缺失段的贡献:
SPI(t, k, i)_adjusted = t/T_k + Σ_{i∈missing phases} avg_SPI(i)·I(phase i is missing)
其中指示函数 I 在"阶段 i 在该视频中缺失"时取 1,否则取 0。直觉解释(论文原例):如果一段视频从第二阶段才开始,那它的第一帧 SPI 就直接置为第一阶段(Preparation)的平均 SPI 值。
4.3 为什么关节镜比腹腔镜难
论文专门用一段(§3.1)对比了关节镜与腹腔镜的视觉差异,这是理解 ACL27 模型为何显著低于 Cholec80 的关键。下表把论文列出的难点逐条对照。
| 难点 | 关节镜(ACL27) | 腹腔镜(Cholec80 参照) |
|---|---|---|
| 视野 | 更小、更局限(limited/confined FOV) | 相对开阔 |
| 液体影响 | 冲洗液造成反光与折射,视觉失真 | 有烟雾/气腹,但反射较弱 |
| 遮挡 | 窄空间器械活动 → 遮挡概率高 | 器械遮挡相对可控 |
| 机位 | 镜头贴近术区,需频繁调整 | 机位相对稳定 |
| 视觉干扰 | 血液与碎屑迅速糊住视野 | 出血影响相对可控 |
| 光照 | 反光与阴影交替 | 相对均匀 |
| 组织纹理 | 关节结构纹理相近,难区分 | 组织差异相对明显 |
| 运动失真 | 任何移动都可能造成显著画面抖动 | 抖动相对较小 |
论文的结论是:这些挑战"necessitate advanced recognition techniques"(需要更先进的识别技术)——这正是 ACL27 上准确率(72.91%)远低于 Cholec80(92.4%)的根本原因,也是该数据集的价值所在:它把领域难度量化了下来。
4.4 数据不均衡带来的评估陷阱
ACL27 的阶段时长极不均衡(§2.5)。如果只用"帧级准确率(accuracy)"评估,模型会倾向于预测长阶段而牺牲短阶段。论文对此的处理是同时报告两类指标:
- 准确率(Accuracy):逐帧判定正确的比例,受阶段时长影响——长阶段主导。
- 平均 Precision / Recall / Jaccard(按阶段平均):每个阶段各算一遍再平均,抵消时长不均衡,更能反映对短阶段(如 Preparation、ACL Reconstruction)的识别能力。
这是读 ACL27 结果表时必须知道的前提:Table 3 的 72.91% 是帧级准确率,而 Jaccard 57.39% 是阶段平均口径,两者不可混谈(§5.5 详述)。
4.6 序列长度与计算复杂度的权衡
手术阶段识别的一个核心工程矛盾是:阶段需要长上下文才能判断,但长序列带来高计算复杂度。ACL27 论文对这个矛盾的表述是:“high-level surgical phases are composed of several surgical actions, tool usage, and sub-tasks”(高层阶段由若干动作、器械使用与子任务构成),因此必须看足够长的历史才能判断当前处于哪个阶段。
这解释了几个设计选择:
| 设计 | 解决的矛盾 |
|---|---|
| 先抽帧级特征(而非端到端整段视频) | 降低计算复杂度(论文沿用此惯例) |
| 80 秒滑动窗口 | 上下文够长 vs 计算可承受的折中 |
| 时空特征前置 | 在降维阶段就保留时间信息,而非丢了再补 |
| 特征缓存 | 长视频只跑一次骨干,避免重复计算 |
实践提示:复现时"特征提取"通常是一次性离线过程(对整库 27 段跑一遍 ResNet-50 存特征),之后训练/推理只在特征序列上做——这与论文 §3.2 提到的"dimensionality reduction techniques… as a preprocessing step"一致。
4.7 为什么不做端到端视频模型
一个自然的问题是:为什么不直接用 3D CNN 或视频 Transformer 端到端处理原始视频?论文的隐含答案是计算可行性与领域惯例:
- 长视频端到端代价过高:6–48 分钟的视频若逐帧进 3D CNN,计算量爆炸;
- 领域惯例:手术阶段识别社区普遍采用"预提特征 + 序列表征"的两段式流程(EndoNet 以来的传统);
- 特征可缓存:一旦特征提取完成,后续实验可反复使用,迭代成本低;
- 与对比方法的可比性:Trans-SVNet、TeCNO、LoViT 等都基于预提特征,采用相同范式才能公平对比。
代价:两段式流程"冻结"了骨干网络,特征质量上限在第一步就定了——这也是为什么论文强调"时空特征前置",因为它把时序信息提前注入到这个决定上限的步骤里。
4.8 阶段识别与相关任务的边界
最后辨析几个容易与"阶段识别"混淆的任务,明确 ACL27 覆盖与不覆盖的范围:
| 任务 | 定义 | ACL27 是否覆盖 |
|---|---|---|
| 阶段识别(phase recognition) | 逐时间点分类手术阶段 | ✅ 主任务 |
| 手术进度回归(SPI) | 预测完成百分比 | ✅ 副任务 |
| 步骤/动作识别(step/action) | 更细粒度的操作动作分类 | ❌ 不覆盖(粒度是阶段) |
| 器械检测/追踪(tool detection/tracking) | 定位器械位置 | ❌ 不覆盖(无器械标注) |
| 手术时长预测(duration prediction) | 预测整台/剩余时长 | ⚠️ 可由 SPI 间接支持 |
| 并发症检测(complication detection) | 识别异常事件 | ❌ 不覆盖(无并发症标注) |
| 手术场景分割(scene segmentation) | 逐像素分割解剖结构 | ❌ 不覆盖(无分割掩码) |
关键提醒:ACL27 的标注只有"阶段"这一层。若研究需要器械、动作、分割等更细标注,ACL27 无法直接支持——应转向 CholecT50(动作)、CholecTrack20(追踪)、CholecSeg8k(分割)等库内条目。
4.5 数据集的三重设计取舍
把 ACL27 的设计逻辑拆开,能看到三个明确的取舍:
- “小而干净” vs “大而杂”:27 段(对比 Cholec80 的 80 段)不算多,但纳入标准严格(仅标准 ACL、无并发病变),保证阶段序列干净。代价是泛化性受限(作者自认需扩充)。
- “单一机构” vs “多中心”:全部来自 Balgrist 一家医院、一种设备(Karl Storz),保证成像条件一致;代价是跨机构泛化未验证。
- “逐秒” vs “逐帧”:逐秒标注降本增效,与 1 fps 管线对齐;代价是对亚秒级的阶段过渡刻画不足。
§5 方法与结果:时空特征 + Transformer + SPI
5.1 模型总体架构
论文提出的模型是一个时空特征 + Transformer 的架构,核心思路是"把时间信息提前注入特征提取阶段",而非等到分类头才引入时间维度。下图给出各组件的关系(文字版):
视频帧序列(1 fps)
│
▼
┌─────────────────────────────┐
│ ResNet-50(输入 240×240×3) │ → 每帧 2048 维空间特征
└─────────────────────────────┘
│
▼
┌─────────────────────────────┐
│ 2-head Transformer 特征精炼 │ → 时空初步融合
└─────────────────────────────┘
│
├──► SFE(空间特征编码器 Spatial Feature Encoder)
│ └─ 把每帧映射为空间特征向量,按窗口 n 组成序列
│
└──► TCE(时间上下文编码器 Temporal Context Encoder)
└─ 融合空间信息与时间上下文 → 综合时空特征向量
│
▼
┌─────────────────────────────┐
│ 80 秒序列 Transformer 分支 │ → 位置编码 + 自注意力
└─────────────────────────────┘
│
├──► 阶段分类输出(Phase Class)
└──► SPI 回归输出(Surgical Progress Index)
论文强调这一设计的优势:不是只在特征提取末端抽取空间特征(如 OperA),也不是先抽时空特征再退回纯空间(如 LoViT 的问题),而是从特征提取阶段就整合时空信息(§5.5 的消融证实了这一点)。
5.2 组件细节
| 组件 | 规格 | 作用 |
|---|---|---|
| 输入 | 三通道图像 240×240 | 视频帧(1 fps) |
| 骨干网络 | ResNet-50 | 逐帧空间特征提取 |
| 特征维度 | 2048 维/帧 | ResNet-50 输出 |
| 特征精炼 | 2-head Transformer 层 | 整合时序上下文,提升特征质量 |
| 特征编码 | SFE + TCE | 空间特征编码 + 时间上下文编码 |
| 主分支 | 80 秒序列 Transformer | 位置编码 + 自注意力,处理长序列 |
| 输出 1 | 阶段分类(Phase Class) | 五阶段 softmax |
| 输出 2 | SPI 回归 | 0–1 连续进度值 |
为什么是 80 秒? 论文图 3 明确模型处理的是"80-second sequence of features"——即用 80 秒(80 帧 @1 fps)的滑动窗口作输入。这个窗口长度是在"上下文足够长(跨阶段)"与"计算可承受"之间的折中。论文对比实验里,Trans-SVNet 在 30/60/80 秒三个窗口下的表现(66.62/66.75/66.73%)也说明 80 秒是一个合理的选择区间。
5.3 SPI 的转换点与基线
论文 Table 2 给出 ACL27 与 Cholec80 的平均 SPI 转换点——即各阶段边界在标准化时间轴上的平均位置。这张表是 SPI 实现的核心。
| 节点 | Cholec80 | ACL27 |
|---|---|---|
| First Frame | 0.0 | 0.0 |
| First Transition | 0.051 | 0.073 |
| Second Transition | 0.452 | 0.309 |
| Third Transition | 0.530 | 0.534 |
| Fourth Transition | 0.847 | 0.765 |
| Fifth Transition | 0.885 | — |
| Sixth Transition | 0.964 | — |
| Last Frame (ACL) | 1.000 | 1.000 |
读表:ACL27 有 6 个节点(5 阶段 → 5 个内部边界 + 首尾),Cholec80 有 8 个节点(7 阶段)。ACL27 的 First Transition 在 0.073(约 7.3% 处结束 Preparation)、Second Transition 在 0.309(Diagnosis 结束于约 30.9%),这两个值明显低于 Cholec80 的对应点(0.051、0.452),反映 ACL27 的早期阶段占比结构不同。
关键约束:SPI 基线只用含全部五阶段的视频(ACL27 中 12 段、Cholec80 中 65 段)。其余含缺失阶段的视频,其 SPI 用上述平均转换点做修正。这是 SPI 能被跨视频比较的前提,也是它最大的近似来源。
5.4 训练配置
| 项 | 配置 |
|---|---|
| 框架 | TensorFlow 2.10.1 |
| 硬件 | NVIDIA RTX-A6000 GPU |
| 优化器 | Adam |
| 初始学习率 | 0.000005(5e-6) |
| 学习率调度 | 每 10 个 epoch ×0.1 |
| 训练轮数 | 30 epoch |
| 批大小 | 32 |
| 损失函数 | 复合损失 = λ·SCE + (1−λ)·MAE |
| λ | 0.5(分类与回归等权) |
| 交叉验证 | 5 折(ACL27:18 训练 / 9 验证) |
| 非交叉验证划分 | 取前 18 段训练(结果标 +) |
损失函数:分类用 Sparse Categorical Cross Entropy(SCE),SPI 回归用 Mean Absolute Error(MAE),两者按 λ 加权:
L(p, y) = λ·(−Σ_i y_i·log(p_i)) + (1−λ)·(1/N)·Σ_i |p_i − y_i|
λ=0.5 表示分类精度与回归精度同等重要。这个"分类 + 回归"的双输出设计是论文的巧思:让 SPI 学习过程反哺阶段分类(消融证实 SPI 单独加入也能提升分类,§5.5)。
5.5 结果一:ACL27 上的对比(Table 3)
论文在 ACL27 上重训并对比了多个来自腹腔镜领域的主流方法。结果采用非交叉验证口径(训练前 18 段,标记 +)。
| 模型 | 准确率 (%) | 精确率 (%) | Jaccard 指数 (%) | F1 (%) |
|---|---|---|---|---|
| Trans_SVNet+(Seq=30s) | 66.62 | 66.51 | 47.96 | — |
| Trans_SVNet+(Seq=60s) | 66.75 | 66.45 | 48.05 | — |
| Trans_SVNet+(Seq=80s) | 66.73 | 66.43 | 48.03 | — |
| MTRCNet+(Seq=4s) | 58.75 | 59 | — | 58 |
| MTRCNet+(Seq=10s) | 60.68 | 63 | — | 59 |
| TeCNO+ | 58.31 | 66.05 | 40.66 | — |
| Ours+(本文方法) | 72.91 | 72.86 | 57.39 | — |
解读:本文方法在准确率、精确率、Jaccard 三项上全面领先。相对次优的 Trans_SVNet(80s 窗口,66.73%),本文方法准确率高出 约 6.2 个百分点;相对 TeCNO(58.31%),高出 约 14.6 个百分点。Jaccard 指数(57.39% vs 48.03%)同样领先近 9 个百分点。
注意方差口径:这张表的准确率是 72.91%(无标准差);而论文 Discussion 段写作 72.91±11.76%。同一数值两种呈现,条目统一按 72.91% 引用并在坑 2 存照。
5.6 结果二:消融研究(Table 4)
消融用 5 折交叉验证,逐个打开"时空特征(Spatio-temporal Features)"与"SPI"两个组件,验证各自贡献。
| 时空特征 | SPI | 准确率 | 精确率 | 召回率 | Jaccard 指数 |
|---|---|---|---|---|---|
| ✗ | ✗ | 66.38±1.71 | 66.818±2.26 | 65.48±2.59 | 48.92±2.90 |
| ✗ | ✓ | 69.83±3.39 | 69.67±3.66 | 69.32±3.20 | 53.19±3.82 |
| ✓ | ✗ | 71.23±2.96 | 72.58±2.26 | 71.12±3.41 | 55.79±4.02 |
| ✓ | ✓ | 76.71±2.44 | 76.44±3.39 | 76.13±3.76 | 62.184±4.44 |
解读(这正是数据集的"方法学价值"):
- 两个组件都有效:只加时空特征,准确率从 66.38% 升到 71.23%(+4.85 pp);只加 SPI,升到 69.83%(+3.45 pp)。
- 两者叠加最强:全开时准确率 76.71%,比基线高 10.33 pp,Jaccard 从 48.92% 升到 62.18%。
- 时空特征贡献略大于 SPI:单独贡献上,时空特征(+4.85)> SPI(+3.45),但两者有协同。
- 注意与 Table 3 的口径差异:消融表(交叉验证)全开 76.71%,对比表(非交叉验证)是 72.91%——两者不可直接比,前者是 5 折 CV 均值,后者是单次固定划分(前 18 段)。混淆二者会得出"论文自相矛盾"的错误结论(坑 3)。
5.7 结果三:Cholec80 跨库基准(Table 5)
为证明方法不只在关节镜上有效,论文在标准腹腔镜基准 Cholec80 上做了对比。Table 5 分两部分:上半部是非交叉验证口径(前 40 段训练),下半部是交叉验证口径。
| 方法 | 准确率 (%) | 精确率 (%) | 召回率 (%) |
|---|---|---|---|
| EndoNet+ | 81.7±4.2 | 73.7 | 79.6 |
| PhaseNet+ | 78.8±4.7 | 71.3 | 76.6 |
| MTRCNet+ | 89.2±7.6 | 86.9 | 88.0 |
| LoViT+ | 91.5±6.1 | 83.1 | 86.5 |
| SKiT+ | 92.5±5.1 | 84.6 | 88.5 |
| Ours+ | 92.4±5.0 | 85.6 | 80.6 |
| TeCNO(CV) | 88.5±0.27 | 81.6 | 85.2 |
| OperA(CV) | 91.2±0.6 | 82.1 | 86.92 |
| Ours(CV) | 91.9±0.9 | 83.1 | 86.5 |
解读:
- 非交叉验证口径:本文 92.4% 与最高分 SKiT(92.5%)几乎持平,精确率 85.6% 甚至高于 SKiT(84.6%)与 LoViT(83.1%)。
- 交叉验证口径:本文准确率 91.9% 与精确率 83.1% 均为该组最高,说明方法在两种评估协议下都稳健。
- 跨库意义:把腹腔镜训练的方法迁到关节镜(ACL27)能到 72.91%,把本文方法放到腹腔镜(Cholec80)也能到 92.4%——论文据此论证方法的跨领域适应性。
- SPI 跨库:Cholec80 上 SPI 误差 9.86%,ACL27 上 10.6%,两库相当,说明 SPI 的概念可迁移。
5.8 结果的诚实边界
论文在 Discussion 中非常克制地标注了这些结果的边界,值得原样引用:
| 边界 | 论文要点 |
|---|---|
| ACL27 规模小 | “although sufficient for initial validation, could be expanded” |
| 无法与同类关节镜工作对比 | 因为其他关节镜工作无公开代码(“cannot be compared on ACL due to unavailable code”) |
| 阶段缺失影响 SPI | 缺失阶段虽用均值修正,但仍需更精细方法 |
| 计算开销大 | “computational demands are substantial”,可能限制实时应用 |
| 记录协议未统一 | 机位、光照、遮挡的差异会影响力 |
这也提示使用者:ACL27 上的 SOTA 是一个"自封地基"——因为同领域没有可比的公开基线,72.91% 的参照系其实是腹腔镜方法迁移过来的结果,而非关节镜内部的竞争。
5.9 结果四:SPI 的误差分解
论文对 SPI 的报告比较克制——两个数字(ACL27 10.6%、Cholec80 9.86%),但这两个数字背后的含义值得展开:
| 数据集 | SPI 误差 | 含义 |
|---|---|---|
| ACL27 | 10.6% | 预测进度平均偏离真值约 10.6 个百分点 |
| Cholec80 | 9.86% | 跨库后误差反而略小(约低 0.74 pp) |
为什么 Cholec80 的 SPI 误差更小? 两个可能的原因(论文未显式论证,属合理推断):
- Cholec80 的阶段更规整:腹腔镜胆囊切除的七个阶段时间结构更标准化,SPI 转换点更稳定(Table 2 中 Cholec80 有 8 个节点、分布更均匀);
- Cholec80 的基线样本更多:65 段完整视频(vs ACL27 的 12 段)用于估计平均转换点,估计方差更小。
实践含义:ACL27 上 SPI 误差 10.6% 意味着"预测剩余时间"的误差量级在 10% 左右——对 OR 排程这类容错较高的应用可接受,对需要精确到分钟的场景则不够。
5.10 与腹腔镜方法的迁移表现剖析
一个容易被忽略的细节是:论文在 ACL27 上重训的那批"对手模型"(Trans-SVNet、MTRCNet、TeCNO)本身是腹腔镜领域的方法。它们的成绩(58–67%)与本文方法(72.91%)的差距,可以拆成两部分:
| 差距来源 | 说明 |
|---|---|
| 领域不匹配 | 腹腔镜方法在关节镜上"水土不服"(视觉难度、阶段结构都不同) |
| 特征提取范式 | 本文强调的"时空特征前置"是相对这些方法的核心改进(消融证实 +4.85 pp) |
这解释了为什么本文方法能领先这么多:它不只是"更好的模型",而是"为关节镜这种难领域专门设计的模型"。对于做域适应的研究者,ACL27 提供了一个干净的实验台——把腹腔镜 SOTA 直接搬过来会掉多少分,这里有数字。
5.11 一个完整的结果复现清单
若要在 ACL27 上复现论文结果,需要依次满足以下条件(可作为实验检查表):
| 步骤 | 要求 | 出处 |
|---|---|---|
| 1. 数据准备 | 27 段视频 + 标签,用编号正确配对 | §2.2 / 坑 6 |
| 2. 抽帧 | 按 1 fps | 论文 §3.3 |
| 3. 特征提取 | ResNet-50,输入 240×240,输出 2048 维 | 论文 §3.2 |
| 4. 序列窗口 | 80 秒(80 帧) | 论文 Fig.3 |
| 5. 划分 | 非 CV:前 18 段训练;CV:5 折 18/9 | 论文 §3.4 |
| 6. 损失 | λ=0.5(SCE + MAE) | 论文 §3.4 |
| 7. 优化 | Adam,lr=5e-6,每 10 epoch ×0.1,30 epoch,batch=32 | 论文 §3.4 |
| 8. 报告 | Table 3(ACC/P/R/Jaccard)+ Table 4(消融)+ Table 5(Cholec80) | 论文 §4 |
| 9. SPI | 用 Table 2 转换点 + 12 段基线 | 论文 §3.3 |
注意:论文未公开代码(坑 4),上述复现完全依赖论文文字描述。特别是"2-head Transformer 特征精炼层"“SFE/TCE 的具体结构”"80 秒序列 Transformer 的层数/维度"等超参数,论文未逐一给出——复现者需要做合理假设并在报告中说明。
§6 获取与许可:一扇没有门槛的门
6.1 三种资产、三种门(或同一扇门)
ACL27 的资产结构比多数数据集简单:数据集本体(CC BY 4.0 公开) 与 论文(期刊平台) 两件,几乎没有"多部件异构许可"的困扰。下表列出各资产的门。
| 资产 | 入口 | 许可 | 门槛 |
|---|---|---|---|
| 数据集本体(27 视频 + 27 标签 + status) | Zenodo record 10.5281/zenodo.14288900 | CC BY 4.0 | 无(access=open,直接下载) |
| 论文(正式版) | doi:10.1080/24699322.2025.2508144(Computer Assisted Surgery 2025) | 期刊平台条款 | 可能需订阅/机构访问 |
| 论文(预印本) | arXiv:2502.07431 | arXiv 默认非独占许可 | 无 |
| 代码 | 未提供直链 | — | 遗留疑点(坑 4) |
这是本库中获取门槛最低的一档:既没有 Kaggle 式注册登录,也没有"upon qualified request"式请求制,更没有 LMC2 式注册+审批,直接一个 Zenodo 链接、CC BY 4.0、18.4 GB 下载即用。
6.2 下载与校验实操
Zenodo 记录页提供逐文件下载与 md5 校验值。实用的下载脚本骨架如下(注意 §2.2 的命名坑):
# 1) 拉取全部文件(Zenodo 提供每文件的直链)
# 也可用 DOI 前缀的 API 拿到文件清单:
curl -s "https://zenodo.org/api/records/14288900" \
| python3 -c "import sys,json; d=json.load(sys.stdin); \
[print(f['key'], f['links']['self'], f['checksum']) for f in d['files']]"
# 2) 逐文件校验 md5(checksum 形如 md5:xxxx)
# Zenodo 文件清单里每项都带 checksum,可批量核对
# 3) 配对视频与标签时【务必用编号匹配,不要用文件名直接拼接】
# 视频:video1.mp4 ... video27.mp4 (不补零)
# 标签:video01-phase.txt ... video27-phase.txt (补零两位)
# 错误示范:f"video{i}-phase.txt" 对 i=1..9 会拼成 video1-phase.txt(不存在)
# 正确示范:f"video{int(i):02d}-phase.txt"
校验要点:Zenodo 记录页给出的 md5 是逐文件的(如 video01-phase.txt 的 md5 为 89dfcf5a2b7cb81d8090d87e97e29d50)。下载后应逐文件核对,尤其大文件(video1.mp4 1.1 GB)容易在传输中损坏。
6.3 许可解读:CC BY 4.0 意味着什么
CC BY 4.0(署名 4.0 国际) 是最宽松的 Creative Commons 许可之一,允许:
| 权利 | 是否允许 | 条件 |
|---|---|---|
| 使用(商业/非商业) | ✅ 允许 | 需署名 |
| 修改、演绎 | ✅ 允许 | 需署名 |
| 再分发 | ✅ 允许 | 需署名 |
| 训练商业模型 | ✅ 允许 | 建议标注来源 |
| 再许可为闭源 | ✅ 允许 | 演绎作品可自定许可(但需保留署名) |
唯一的硬性义务是署名(Attribution):使用者需注明数据来源(ACL27 / ArthroPhase,Bahari Malayeri et al., Balgrist University Hospital, University of Zurich)、标注许可为 CC BY 4.0、并说明是否作过修改。
注意:数据集是 CC BY 4.0,但论文正文受期刊条款约束,不等同于 CC BY 4.0。若只下载数据、不复制论文全文,则只需遵守 CC BY 4.0;若要在出版物中大量引用论文图表,需另行确认期刊的版权政策。
6.4 获取决策卡
| 你的需求 | 行动 |
|---|---|
| 想立刻跑通阶段识别管线 | Zenodo 下载 27 段视频 + 标签(18.4 GB),先用论文架构跑一遍 |
| 想做基础模型/视频理解预训练 | CC BY 4.0 无门禁,可直接纳入训练语料(注意署名) |
| 想做手术时长预测/SPI 研究 | 用 Table 2 的转换点 + 逐秒标签自己实现 SPI |
| 想商用手术辅助系统 | 数据可用(CC BY 4.0),但需评估医疗器械合规与临床验证 |
| 想复现论文全部结果 | 注意代码未公开(坑 4),需按论文细节自行实现 |
6.5 与库内其他数据获取模式的对照
把 ACL27 放进千方病案医数集的"获取难度光谱"里,它站在最宽松的一端:
| 档位 | 库内参照 | 本条目对应 |
|---|---|---|
| 注册墙(最严) | 需注册+审批型数据集 | — |
| 请求制 | 少量 upon request 型数据集 | — |
| 平台托管 | Zenodo 型 | 数据集本体(Zenodo) |
| 公开直链 | HF/Zenodo 直链型 | ACL27(CC BY 4.0 + open) |
结论:ACL27 是本库获取门槛最低的一类——无需注册、无需审批、无需请求,一个 Zenodo 链接、CC BY 4.0、直接下载。对希望快速验证想法的研究者非常友好,这也是它作为"探针式数据集"的最佳注脚。
6.6 长期保存与镜像建议
由于 CC BY 4.0 允许再分发,ACL27 的长期可获得性有双重保障:
- 主源:Zenodo(CERN 运营,承诺长期保存,DOI 稳定);
- 镜像:任何第三方均可在署名前提下镜像——机构可自建本地副本,避免网络波动影响实验。
给团队的建议:若把 ACL27 作为长期实验基准,建议在本地保存一份完整副本(18.4 GB)并记录 md5,这样即使 Zenodo 临时不可用,实验也不受影响。反观"请求制"数据集(如部分病理数据集),一旦作者邮箱失效就可能永久失联——ACL27 的开放模式在长期可用性上明显更优。
§7 生态与谱系:关节镜从 0 到 1
7.1 谱系与历史位置
ACL27 站在一条清晰的方法演进线上。论文 §2(State-of-the-art)梳理的谱系,本身就是"手术阶段识别"这个领域的地图。
| 阶段 | 代表方法/数据集 | 贡献 |
|---|---|---|
| 早期(信号/统计) | Dynamic Time Warping、HMM;Cholec80 / M2CAI16 | 用手工特征+隐马尔可夫建模手术流程 |
| 空间特征时代 | EndoNet(首个用 CNN 抽空间特征) | 奠定 CNN 基础,配层次 HMM 捕捉时序 |
| 时序深化 | SV-RCNet(ResNet + LSTM) | 端到端时空特征学习 |
| 数据集扩张 | Cataract-101(101 白内障) | 把战场从胆囊切除拓到眼科 |
| 多任务 | MTRCNet-CL(工具检测+阶段相关损失) | 用多任务提升两项性能 |
| 长序列 | TeCNO(时序卷积网络 TCN) | 改善 LSTM 处理长序列的局限 |
| Transformer | OperA(注意力正则 Transformer)、Trans-SVNet | 自注意力处理长序列 |
| 多尺度/在线 | LoViT、SKiT(键池化) | 在线识别、恒定推理时间 |
| 场景图 | Dynamic Scene Graph(Holm et al.) | 可解释性 |
| 关节镜破冰 | ACL27 / ArthroPhase(本条目) | 首个关节镜公开阶段识别数据集 + SPI |
关键历史判断:在 ACL27 之前,上述所有数据集(Cholec80、Cholec120、M2CAI16、Cataract-101)都是腹腔镜或眼科——关节镜领域是空白。ACL27 填补的正是这个空白,这也是论文自称"first arthroscopy dataset"(首个关节镜数据集)的依据。
7.2 前作锚点:关节镜视频摘要
虽不是阶段识别,但关节镜视频的自动化处理有一条更早的线索:Lux et al. (2010) 的关节镜视频摘要工具(“A novel tool for summarization of arthroscopic videos”, Multimedia Tools and Applications, 46:521-544)。这项工作做的是关键帧视频摘要(keyframe-based video summarization)——把长视频压缩成代表性帧。论文明确把它列为关节镜领域的"some attempts"(少数尝试),并指出"comprehensive surgical workflow recognition for arthroscopic procedures remains largely unexplored"(完整的关节镜工作流识别基本未被探索)。这是 ACL27 与"前作"的边界:摘要 ≠ 阶段识别。
7.3 库内可互链条目
以下是本库(千方病案医数集)中与 ACL27 关系最近的条目,均已经 DB 反查确认 record_id:
| 条目 | rid | 关系 | 互链理由 |
|---|---|---|---|
| Cholec80 | 78 | 直接对标 | 本论文的跨库基准;ACL27 大量方法(Trans-SVNet/TeCNO/OperA 等)来自 Cholec80 生态 |
| Cataract-101 | 263 | 同族(手术视频阶段识别) | 另一"手术视频 + 阶段标注"数据集,构成阶段识别数据集家族的横向对照 |
| CholecT50 | 223 | 细粒度互补 | 腹腔镜手术动作三元组(动作层,比阶段更细),与阶段层任务形成粒度互补 |
| CholecTrack20 | 886 | 同域工具追踪 | 腹腔镜器械多视角追踪,与 ACL27 同属"手术视觉理解" |
| AutoLaparo | 313 | 多任务对照 | 腹腔镜子宫切除三任务数据集,同属手术工作流分析家族 |
| SLAM-laparoscopic-motions | 762 | 动作识别片段 | 腹腔镜动作识别视频片段,与阶段识别的时序建模相关 |
| SurgToolLoc 2022 | 821 | 器械定位 | 弱监督手术器械定位挑战赛,任务相关 |
| 3DReasonKnee | 728 | 骨科关节领域 | 膝关节 3D 推理数据集,与 ACL 同属膝关节/骨科主题(非手术视频) |
互链叙事建议:在库内构建"手术视频理解"主题簇——以 ACL27 为关节镜入口,Cholec80/CholecT50/CholecTrack20 为腹腔镜主干,Cataract-101 为眼科分支,AutoLaparo 为妇科分支,形成"按术式维度铺开的手术视觉数据集地图"。3DReasonKnee 则可作为"骨科关节影像"侧的邻居。
7.4 生态位:为什么 ACL27 的重要性和它的规模不成正比
27 段视频在数据规模上毫不起眼(Cholec80 有 80 段,PANDA 这种病理数据集动辄上千张)。但 ACL27 的生态价值来自三个"第一":
- 领域第一:首个公开的关节镜手术阶段识别数据集——从 0 到 1 的价值不取决于段数。
- 难度基准第一:它把关节镜的视觉难度(反光/折射/遮挡/窄视野)变成了可量化的准确率落差(72.91% vs Cholec80 的 92.4%),给后续研究一个"换领域会掉多少分"的参照。
- 任务第一:首次提出 Surgical Progress Index(SPI),把"离散阶段分类"扩展成"连续进度估计",为手术时长预测与 OR 排程优化提供接口。
7.5 影响与应用方向
论文在 Discussion 中点出了 ACL27 + SPI 的落地场景,可作为生态延展的线索:
| 方向 | 说明 |
|---|---|
| 手术训练 | 用自动阶段识别评估住院医师的操作流程完整性 |
| 实时手术辅助 | 在术中提示当前阶段与下一步,支撑决策 |
| 手术文档自动生成 | 阶段序列 → 结构化手术报告 |
| 手术室(OR)管理 | SPI 预测剩余时长 → 优化排程、减少患者等待 |
| 并发症检测 | 阶段异常/停滞可作为风险信号 |
| 跨领域迁移研究 | 腹腔镜方法迁关节镜的域适应研究 |
§8 方法学启示:三条可迁移的经验
8.1 "把时间提前注入特征"是有效的设计范式
ACL27 论文最可迁移的技术经验,是它对特征提取时机的主张。传统的做法有两类:早期(如 SV-RCNet)先抽纯空间特征、再交给 RNN/TCN 建模时序;近期(如 LoViT)先做时序丰富的特征、但在最后一步又退回纯空间特征。论文的做法是从特征提取第一层就融入时间:ResNet-50 之后立刻接 2-head Transformer 精炼,再用 SFE + TCE 双编码器整合时空。
消融表(Table 4)给出的证据很硬:有无时空特征,准确率差 4.85–5.48 个百分点。这个范式对任何"长序列 + 弱空间差异 + 强时间依赖"的任务(如手术、监控、行为识别)都有参考价值。
8.2 SPI:把回归任务当作分类的正则
SPI 的设计有个反直觉之处:它是一个回归任务(预测 0–1 的连续值),却让分类任务也变好了。消融显示,单独加入 SPI(无时空特征)就能把准确率从 66.38% 提到 69.83%(+3.45 pp)。
机制上的解释是:要让模型预测"手术完成百分比",它必须学到全局的时间上下文——知道"现在离结束还有多远",这反过来帮助它区分那些视觉相似但处于不同阶段的画面(比如两条隧道建立阶段)。副产品收益(auxiliary task regularizing the main task)在这里被清晰地量化了。
8.3 数据集论文的"诚实清单"是有价值的学术资产
ACL27 论文在 Discussion 里几乎逐条列全了自己的局限:规模小、阶段缺失、标注主观、计算开销大、单一机构、无法与同类对比(因无公开代码)。这份诚实本身对使用者极有价值——它精确划定了"这个数据能支持什么结论、不能支持什么结论"。
给数据集使用者的启示:引用 ACL27 的 72.91% 时,应同时引用它的方差(±11.76%,见坑 2)与规模限制,避免把一个小样本结果当成稳健基准。
8.4 关节镜 AI 的下一步在哪里
从 ACL27 的局限清单可以反推这个方向的下一步:
| 局限 | 可能的下一步 |
|---|---|
| 27 段太少 | 多中心、大样本的 ACL/关节镜数据集 |
| 阶段缺失 | 更鲁棒的缺失阶段处理 / 因果建模 |
| 标注主观 | 半自动标注工具、多专家一致性研究 |
| 单一设备 | 跨设备泛化实验 |
| 计算开销大 | 轻量化 / 实时推理优化 |
| 代码未公开 | 社区复现与开源(见 §9 遗留疑点) |
8.5 对"AI-Ready"数据集设计的启示
从 ACL27 的设计看,一个"AI-Ready"数据集应该具备什么?下表以 ACL27 为样本逐项对照:
| AI-Ready 要素 | ACL27 的表现 | 评价 |
|---|---|---|
| 明确的许可 | CC BY 4.0,无歧义 | ✅ 优秀 |
| 无门禁的获取 | Zenodo open,直链 | ✅ 优秀 |
| 逐文件校验 | 每个文件带 md5 | ✅ 优秀 |
| 清晰的任务定义 | 五阶段分类 + SPI 回归 | ✅ 良好 |
| 标注协议文档化 | 论文描述,但无独立协议文档 | ⚠️ 中等 |
| 数据格式规范 | 论文未给标签格式规范 | ⚠️ 不足 |
| 基线可复现 | 代码未公开 | ❌ 缺 |
| 元数据完整 | 分辨率/帧率/患者信息缺失 | ⚠️ 不足 |
结论:ACL27 在"准入"层面(许可、获取、校验)是标杆级,但在"复现"层面(代码、格式规范、元数据)有明显缺口。这给数据集生产者的启示是:开放的许可 + 完整的元数据 + 可复现的代码三者缺一不可,否则再好的领域突破也会被复现成本拖累。
8.6 小数据集的价值主张
最后值得为"27 段"这个看似寒酸的规模说句公道话。在数据集动辄百万样本的时代,ACL27 证明了小数据集的三种独特价值:
- 领域开创价值:第一个公开的关节镜阶段识别数据集,其价值在于"有没有"而非"有多少"。
- 难度标定价值:它用 72.91% vs 92.4% 的落差,给整个领域一个"跨术式难度差"的定量锚点。
- 方法验证价值:SPI 作为一个新任务定义,在小数据集上就足以验证概念可行性,无需大数据。
换句话说,ACL27 是一个"探针"式数据集——不是用来训练大模型的燃料,而是用来探测关节镜 AI 可行性的仪器。理解这一点,就不会因为它只有 27 段而低估它。
7.6 与 3DReasonKnee 的骨科邻域关系
库内的 3DReasonKnee(rid 728) 与本条目同属"骨科关节"主题,但两者解决的问题完全不同,值得辨析以免误混:
| 维度 | ACL27 | 3DReasonKnee |
|---|---|---|
| 数据类型 | 手术视频(时序) | 3D 影像/推理(空间) |
| 解剖部位 | 膝关节(ACL) | 膝关节 |
| 任务 | 手术阶段识别 | 3D 空间推理 |
| 模态 | 关节镜视频 | 3D 数据 |
| 共同点 | 都是膝关节 | 都是膝关节 |
互链建议:在库内构建"膝关节 AI"小簇时,ACL27 提供"术中视频/动态"维度,3DReasonKnee 提供"术前影像/静态"维度,两者互补构成"膝关节诊疗全流程"的叙事。但不建议把二者描述为"同一类数据集"——一个是手术录像,一个是 3D 影像,混用会误导检索者。
7.7 关节镜手术的临床背景速览
为帮助非骨科背景的读者理解 ACL27 的临床语境,这里用最小篇幅交代 ACL 重建手术的要点:
| 概念 | 简要说明 |
|---|---|
| 前交叉韧带(ACL) | 膝关节内防止胫骨前移、维持旋转稳定的关键韧带 |
| ACL 损伤 | 常见于运动创伤(急停、变向);断裂后膝关节不稳 |
| ACL 重建术 | 用自体/异体肌腱移植物重建韧带,通过关节镜微创完成 |
| 股骨/胫骨隧道 | 在股骨与胫骨上各钻一条通道,供移植物穿过并固定 |
| 为什么分五阶段 | 五阶段的临床操作、器械、目视特征各不相同,便于标准化与教学 |
这一背景解释了为什么 ACL 重建适合做阶段识别的首个关节镜任务:它的步骤高度标准化(五阶段几乎固定顺序),纳入标准又容易界定(只含标准步骤),是一个"结构化程度高"的术式——比无序的复杂关节镜手术更适合作为从 0 到 1 的起点。
§9 与库内条目的关系
9.1 家族图谱
把 ACL27 放进千方病案医数集的"手术视频理解"簇,它的位置是关节镜入口 + 阶段识别基准 + SPI 首创者。
手术工作流 / 手术视频理解
├── 阶段识别(phase recognition)
│ ├── 腹腔镜:Cholec80(rid 78)、CholecT50(rid 223)、CholecTrack20(rid 886)
│ ├── 眼科:Cataract-101(rid 263)、CATARACTS(rid 253)
│ ├── 妇科:AutoLaparo(rid 313)
│ └── 关节镜:★ ACL27(本条目)★ ← 领域破冰
├── 手术动作/器械
│ ├── MTRCNet/工具检测:SurgToolLoc 2022(rid 821)
│ └── 动作三元组:CholecT50(rid 223)
├── 手术定位/重建
│ ├── EndoSLAM(rid 408)、SLAM 3D Endoscopic(rid 82)
│ └── EndoMapper(rid 428)
├── 手术分割/场景
│ ├── CholecSeg8k(rid 233)、Endoscapes(rid 353)
│ └── EndoVis Challenges(rid 79)
└── 骨科关节影像(邻域)
└── 3DReasonKnee(rid 728)
9.2 检索路径建议
| 你想找… | 检索关键词 | 命中/说明 |
|---|---|---|
| 本条目 | ACL27、ArthroPhase、acl27 | 唯一 |
| 关节镜手术数据 | arthroscopy、arthroscopic、关节镜 | ACL27 是库内关节镜代表 |
| 手术阶段识别 | 手术阶段识别、surgical phase recognition | Cholec80/Cataract-101/ACL27 |
| 手术进度/时长 | SPI、Surgical Progress Index、手术进度 | ACL27 首创 |
| 骨科/膝 | 膝关节、骨科、orthopedics | 3DReasonKnee、ACL27 |
| 手术视频(大类) | 手术视频、surgical video | 全簇 |
9.3 与 Cholec80 的关系(最紧密的一条)
ACL27 与 Cholec80(rid 78) 是"新领域 × 老标杆"的关系,值得单独说明这条互链的价值:
| 维度 | Cholec80 | ACL27 |
|---|---|---|
| 术式 | 腹腔镜胆囊切除 | 关节镜 ACL 重建 |
| 段数 | 80 | 27 |
| 阶段数 | 7 | 5 |
| 视觉难度 | 中 | 高(反光/折射/遮挡) |
| 本论文准确率 | 92.4% | 72.91% |
| 在本论文中的角色 | 跨库基准 | 主战场 |
一个直接的检索用途:想知道"换术式会掉多少分",对比这两个数字(92.4% vs 72.91%)即可。这也是本条目与 Cholec80 条目天然互链的理由。
§10 避坑清单:八个已踩过的坑
坑 1:"ArthroPhase"是论文名,不是独立数据集名。数据集本体叫 ACL27;论文标题是 “ArthroPhase: A Novel Dataset and Method…”。Zenodo 上数据集以论文名发布,容易让人误以为是两个数据集。检索数据集用 “ACL27”,检索方法/论文用 “ArthroPhase”。
坑 2:ACL27 准确率方差的单双口径。Table 3 写 72.91%(无标准差);Discussion 段写 72.91±11.76%。同一数值、两种呈现。条目正文统一按 72.91% 引用并注明 Discussion 带 std;自动化抽取建议以 Table 3 为准。引用时若不提方差,会低估该数据集上模型的不稳定性。
坑 3:Table 3 与 Table 4 的口径不可比。Table 3(对比表)是非交叉验证口径(前 18 段训练,标 +),本文方法 72.91%;Table 4(消融表)是 5 折交叉验证,全开时 76.71±2.44%。两个数字都对,但回答不同问题(固定划分的绝对成绩 vs CV 的稳健均值),直接相减得出的"论文自相矛盾"是误解。
坑 4:论文承诺公开代码,但无任何仓库 URL。摘要与结论写 “publicly available dataset and code”,§1 写 “will be made publicly available upon acceptance”,但全文没有给出 GitHub/代码链接,Zenodo 记录也只有数据文件、无代码。复现者需按论文细节自行实现(注意训练配置见 §5.4)。这是本条目最重要的遗留疑点。
坑 5:18.4 GB 与"约 13 小时"是两个口径,别反推码率。18.4 GB 是 Zenodo 存储量,13 小时是手术素材时长。二者相除得到的"平均码率"没有意义,因为不同视频的压缩率/帧率/分辨率可能不一致。引用时分别标注来源。
坑 6:视频名与标签名的零填充不一致。视频是 video1.mp4…video27.mp4(不补零),标签是 video01-phase.txt…video27-phase.txt(补零两位)。第 1–9 段两者的"编号位数"对不上,写脚本配对必须用数字编号匹配,不能直接拼接文件名字符串,否则会漏掉前 9 段的标签(§6.2)。
坑 7:SPI 基线只用 12 段完整视频。27 段里只有 12 段包含全部五阶段,用于计算平均 SPI 转换点;其余 15 段用均值修正。这意味着 SPI 的准确性依赖那 12 段代表性,且缺失阶段的视频其 SPI 是估计值而非真值。
坑 8:Zenodo 页面未标 version 号。Zenodo 显示 “Version v1 / Published December 6, 2024”,但 metadata 里 version 字段为空。引用时建议用 DOI 10.5281/zenodo.14288900(记录级 DOI)而非可能变动的 concept DOI,并注明抓取日 2026-10-08。
§11 总结
11.1 三句话总结
- ACL27 是首个公开的关节镜手术视频阶段识别数据集:27 段前交叉韧带重建视频(18.4 GB / 约 13 小时),逐秒标注准备、诊断、股骨隧道、胫骨隧道、重建五阶段,CC BY 4.0 于 Zenodo 公开。
- 它同时提出了手术进度指数 SPI:用 0–1 连续值量化手术进程,ACL27 上 SPI 误差 10.6%,把"阶段分类"扩展为"进度估计"。
- 它给关节镜 AI 立了第一根标尺:ResNet-50 + Transformer 时空特征在该数据集上达 ACC 72.91%(消融全开 76.71±2.44%),显著高于腹腔镜方法迁移的 58–67%,同时把关节镜比腹腔镜的视觉难度落差(72.91% vs Cholec80 92.4%)量化了下来。
11.2 适合谁
- 做手术视频理解 / 阶段识别的研究者:这是关节镜领域唯一的公开基准;
- 做跨领域迁移 / 域适应的团队:Cholec80↔ACL27 是天然的跨术式迁移对;
- 做手术进度 / 时长预测的人:SPI 提供现成的连续标签定义与转换点;
- 做骨科 / 关节镜 AI 的开发者:骨科关节侧少见的时序视频数据集(与 3DReasonKnee 互补);
- 做医学视频数据集综述的作者:可从 §7 谱系与 §9 家族图谱直接取材。
11.3 不适合谁
- 需要大规模数据的训练者:27 段太少,不足以从头训练大模型(更适合评测/微调/迁移);
- 需要多中心、多设备泛化的研究者:全部来自单一机构 + 单一设备;
- 需要患者级临床变量(年龄、性别、共病、术者)的研究:这些未披露;
- 需要现成代码一键复现的工程团队:代码未公开(坑 4)。
11.4 30 秒决策卡
| 你的情况 | 行动 |
|---|---|
| 要立刻下数据 | Zenodo 10.5281/zenodo.14288900,CC BY 4.0,直接下 18.4 GB |
| 要做阶段识别基线 | 按 §5.4 配置实现,注意与 Table 3/4 口径对齐 |
| 要做 SPI | 用 §5.3 Table 2 的转换点 + 逐秒标签实现 |
| 要有参考试验 | 直接对标 Table 3(72.91%)或 Table 4(76.71±2.44%) |
| 要跨库迁移 | 与 Cholec80(rid 78) 配对,读 §5.7 |
| 要引用本数据集 | 用 §附录 A 的 BibTeX;许可写 CC BY 4.0;年份按 2025 |
FAQ(高频问答 30 问)
A. 基础认知
Q1:ACL27 和 ArthroPhase 是一个东西吗?
是。ACL27 是数据集本体的名字,ArthroPhase 是论文(及所提方法)的名字。Zenodo 上数据集以论文名发布。检索数据用 ACL27,检索论文用 ArthroPhase。
Q2:ACL27 里的 “27” 是什么?
视频段数。名字 = 术式(ACL)+ 段数(27)。
Q3:它和 Cholec80 什么关系?
Cholec80 是腹腔镜胆囊切除数据集,ACL27 是关节镜 ACL 重建数据集。ACL27 论文用 Cholec80 做跨库基准,两者是"新领域 vs 老标杆"关系。库内 Cholec80 = rid 78。
Q4:是谁做的?
苏黎世大学 Balgrist 大学医院(University Hospital Balgrist, University of Zurich),骨科计算机科学研究组(ROCS)+ 骨科系,共 9 位作者,通讯作者 Ali Bahari Malayeri。
Q5:什么时候发布的?
视频采集于 2022-01 至 2023-06;Zenodo 数据集发布于 2024-12-06;arXiv 预印本 2025-02-11(v2 2025-02-13);期刊正式版 Computer Assisted Surgery (2025)。
Q6:有多少阶段?
五个:Preparation、Diagnosis、Femoral Tunnel Creation、Tibial Tunnel Creation、ACL Reconstruction。
Q7:为什么叫"首个关节镜数据集"?
因为在它之前,公开的手术阶段识别数据集(Cholec80/Cholec120/M2CAI16/Cataract-101)都是腹腔镜或眼科,关节镜领域的完整工作流识别此前基本空白(仅有 Lux 2010 的视频摘要工作)。
B. 数据与获取
Q8:多大?多少段?
27 段,18.4 GB,总时长约 13 小时,单段 6–48 分钟。55 个文件(27 mp4 + 27 phase.txt + 1 status)。
Q9:怎么下载?
Zenodo 记录 10.5281/zenodo.14288900(https://zenodo.org/records/14288900),直接下载,无门禁。
Q10:能商用吗?
能。许可是 CC BY 4.0,允许商业使用、修改、再分发,只需署名。但商用医疗器械需另行满足监管与临床验证要求。
Q11:需要注册或申请吗?
不需要。access = open,无注册、无审批、无请求制。
Q12:有 md5 校验吗?
有。Zenodo 逐文件提供 checksum(如 video01-phase.txt 的 md5 = 89dfcf5a2b7cb81d8090d87e97e29d50)。
Q13:视频和标签怎么配对?
用数字编号配对,不要直接拼文件名——视频 video1.mp4 对应标签 video01-phase.txt(零填充不一致,见坑 6)。
Q14:数据里有没有患者隐私信息?
论文未详细披露去标识化流程(遗留疑点);数据以手术视频+阶段标签形式发布,未见患者标识说明。
Q15:能拿到原始分辨率/帧率吗?
论文正文未明示原始规格,只知道处理后按 1 fps、模型输入 240×240(遗留疑点)。
C. 数据内容
Q16:每段视频都含全部五阶段吗?
不含。Preparation 只在 19/27 段、ACL Reconstruction 只在 16/27 段出现;仅 12 段含全部五阶段。
Q17:最长/最短的阶段是什么?
平均最长:Femoral Tunnel Creation(10′14″);平均最短:Preparation(2′40″)。总时长最长也是 Femoral Tunnel(265′54″)。
Q18:标签是什么格式?
每个视频一个 videoNN-phase.txt,按"每秒 1 标签"组织,覆盖五阶段的类别序列。论文未给出正式格式文档(遗留疑点),建议下载后先抽查。
Q19:用的是什么设备?
Karl Storz 腹腔镜(在此场景作关节镜使用)。
Q20:采集的纳入标准?
仅含标准 ACL 步骤、且无并发其他需手术干预病变的病例。
Q21:为什么有的视频缺阶段?
视频录制起止点、操作顺序等实际因素导致并非每段都完整覆盖五阶段——这是真实手术录像的固有特性。
D. 模型与结果
Q22:论文的模型是什么?
ResNet-50(240×240 输入,2048 维特征)+ 2-head Transformer 精炼 + SFE/TCE 时空编码 + 80 秒序列 Transformer,双输出(阶段分类 + SPI 回归)。
Q23:在 ACL27 上多少分?
ACC 72.91% / Precision 72.86% / Jaccard 57.39%(Table 3,非交叉验证)。
Q24:为什么消融表是 76.71%?
那是 5 折交叉验证口径(Table 4),与非交叉验证的 Table 3 不是一回事(坑 3)。
Q25:SPI 是什么?误差多少?
Surgical Progress Index,手术进度指数(0–1)。ACL27 上误差 10.6%,Cholec80 上 9.86%。
Q26:和别的模型比如何?
在 ACL27 上显著领先:Trans_SVNet 66.75%、MTRCNet 60.68%、TeCNO 58.31%。在 Cholec80 上 92.4%,与 SOTA(SKiT 92.5%)持平。
Q27:训练配置?
TensorFlow 2.10.1,RTX-A6000,Adam,lr=5e-6(每 10 epoch ×0.1),30 epoch,batch=32,λ=0.5 复合损失。
Q28:SPI 怎么实现的?
SPI(t,k)=t/T_k;缺失阶段用全阶段视频(ACL27 中 12 段)的平均 SPI 修正(§5.3)。
E. 生产与库内
Q29:库内有可互链的其他条目吗?
有:Cholec80(78)、CholecT50(223)、Cataract-101(263)、AutoLaparo(313)、SLAM-laparoscopic-motions(762)、SurgToolLoc 2022(821)、CholecTrack20(886)、3DReasonKnee(728)。
Q30:这篇条目的抓取时点?
2026-10-08。
F. 复现与工程细节
Q31:标签文件长什么样?
每个视频配一个 videoNN-phase.txt,按每秒一个标签组织五阶段类别。论文未给正式格式文档,建议下载后先抽查(坑/遗留疑点)。文件大小 313.3 kB–2.2 MB。
Q32:怎么把视频和标签对应起来?
用数字编号:video 1 ↔ video01-phase.txt。不要用文件名字符串直接拼接——前 9 段的视频名与标签名零填充位数不一致(坑 6)。
Q33:SPI 怎么自己算?
两步:① 选出含全部五阶段的视频(ACL27 中 12 段)算各阶段平均 SPI 转换点(Table 2:0.0/0.073/0.309/0.534/0.765/1.000);② 对任意视频用 SPI=t/T_k,缺失阶段用平均转换点修正(附录 F 骨架)。
Q34:抽帧到多少 fps?
按论文 1 fps(§3.3)。这也让"每秒 1 标签"与帧一一对应。
Q35:显存要多少?
论文用 RTX-A6000(48 GB)。80 帧序列 + ResNet-50 特征提取的显存需求中等,但论文未给出最低显存要求,需自行实测。
Q36:训练要多久?
论文未给出具体墙钟时间,只给了 30 epoch × 5 折的配置。估算需按自己的硬件实测。
Q37:为什么消融表有标准差而对比表没有?
消融(Table 4)用 5 折交叉验证,可算折间标准差;对比(Table 3)是非交叉验证的单次划分,故无 std(坑 2、坑 3)。
Q38:能直接拿它对标别的关节镜数据集吗?
目前没有其他公开关节镜阶段识别数据集可对标——ACL27 是唯一的,所以它的"对手"是腹腔镜方法迁移过来的结果(§5.8)。
G. 引用与合规
Q39:引用时许可怎么写?
写 CC BY 4.0,并署名(Bahari Malayeri A, Seibold M, Cavalcanti NA, et al., Balgrist University Hospital, University of Zurich),附录 G 给了模板。
Q40:引用论文的年份?
按期刊口径 2025(Computer Assisted Surgery 2025, doi:10.1080/24699322.2025.2508144)。arXiv 预印本另标 2025-02。
Q41:商用有风险吗?
数据许可(CC BY 4.0)允许商用;但作为医疗器械/临床辅助产品使用,需另行满足监管审批与临床验证,许可本身不构成合规背书。
Q42:能再分发修改后的版本吗?
可以。CC BY 4.0 允许修改与再分发,条件是署名 + 标注修改。
§10.5 坑点速查(八坑一表)
为方便快速自查,把 §10 的八个坑压缩成一张表:
| # | 坑 | 一句话提醒 |
|---|---|---|
| 1 | 名混淆 | ArthroPhase=论文名,ACL27=数据集名 |
| 2 | 方差口径 | Table 3 是 72.91%,Discussion 是 72.91±11.76% |
| 3 | 表不可比 | Table 3(非 CV 72.91%)≠ Table 4(CV 76.71%) |
| 4 | 代码缺失 | 论文承诺公开代码但无 URL |
| 5 | 规模口径 | 18.4 GB(存储)≠ 13 小时(时长),别反推码率 |
| 6 | 命名零填充 | video1.mp4 ↔ video01-phase.txt,用编号配对 |
| 7 | SPI 基线 | 只用 12 段完整视频算转换点 |
| 8 | 版本号 | Zenodo 未标 version,用记录级 DOI |
术语表(28 条)
| 术语 | 释义 |
|---|---|
| ACL(Anterior Cruciate Ligament) | 前交叉韧带,膝关节内维持稳定的重要韧带;其损伤常需重建手术 |
| ACL 重建(ACL reconstruction) | 用移植物重建断裂前交叉韧带的手术,ACL27 的术式主题 |
| 关节镜(arthroscopy) | 通过小切口插入镜头与器械观察/操作关节内部的技术 |
| 关节镜视频(arthroscopic video) | 关节镜镜头拍摄的手术录像,视野窄、反光/折射多 |
| 手术阶段识别(phase recognition) | 为手术视频每个时间点预测其所属手术阶段的任务 |
| 手术工作流分析(surgical workflow analysis) | 对手术流程进行自动识别、分段、建模的研究领域 |
| 阶段(phase) | 手术中具有临床意义的一段连续操作;ACL 重建划为五阶段 |
| 逐秒标注(one label per second) | 每秒钟给一个阶段标签的标注方式,与 1 fps 管线对齐 |
| 阶段缺失(missing phases) | 某段视频未包含全部五阶段的现象,影响 SPI 计算 |
| 时空特征(spatio-temporal features) | 同时编码空间外观与时间上下文信息的特征表示 |
| SFE(Spatial Feature Encoder) | 空间特征编码器,把每帧映射为空间特征向量序列 |
| TCE(Temporal Context Encoder) | 时间上下文编码器,融合空间与时间信息 |
| ResNet-50 | 50 层残差卷积网络,本论文的逐帧骨干编码器 |
| Transformer | 基于自注意力机制的序列建模架构,本论文用于特征精炼与阶段/SPI 预测 |
| 位置编码(positional encoding) | 向 Transformer 注入序列位置信息的机制 |
| 8 头/2 头注意力 | Transformer 的多头注意力头数,本论文特征精炼用 2 头 |
| SPI(Surgical Progress Index) | 手术进度指数,0–1 连续值量化手术完成百分比 |
| SCE(Sparse Categorical Cross Entropy) | 稀疏类别交叉熵,阶段分类损失 |
| MAE(Mean Absolute Error) | 平均绝对误差,SPI 回归损失 |
| λ(lambda) | 复合损失权重,本论文取 0.5,平衡分类与回归 |
| 交叉验证(cross-validation) | 将数据分折轮流训练/验证;本论文 5 折,ACL27 为 18/9 |
| 准确率(Accuracy) | 逐帧判定正确的比例,受阶段时长不均衡影响 |
| 精确率(Precision) | 预测为正的样本中真正例比例 |
| 召回率(Recall) | 真正例中被成功召回的比例 |
| Jaccard 指数(Jaccard Index) | 交并比 IoU,衡量预测与真值集合的重叠度 |
| 平均指标(average P/R/Jaccard) | 按阶段各算一遍再平均,抵消阶段时长不均衡 |
| 域适应(domain adaptation) | 把一个领域(腹腔镜)训练的模型迁移到另一领域(关节镜) |
| CC BY 4.0 | 署名 4.0 国际许可,允许商用/修改/再分发,只需署名 |
事实清单(硬事实 32 条)
- 数据集本体名 ACL27;论文/方法名 ArthroPhase。
- 27 段前交叉韧带(ACL)重建关节镜手术视频。
- 总存储量 18.4 GB(Zenodo)。
- 总时长 约 13 小时(论文 §3.1)。
- 单段时长 6–48 分钟。
- 采集时段 2022-01 至 2023-06。
- 采集设备 Karl Storz 腹腔镜。
- 采集机构 苏黎世大学 Balgrist 大学医院。
- 五阶段:Preparation / Diagnosis / Femoral Tunnel Creation / Tibial Tunnel Creation / ACL Reconstruction。
- 标注频率 每秒 1 标签。
- 文件数 55(27 mp4 + 27 txt + 1 status)。
- 视频名不补零(video1.mp4),标签名补零(video01-phase.txt)。
- Preparation 出现于 19/27 段;ACL Reconstruction 出现于 16/27 段。
- 仅 12 段含全部五阶段(SPI 基线)。
- 平均阶段时长:Preparation 2′40″、Diagnosis 8′20″、Femoral 10′14″、Tibial 8′34″、ACL Reko 3′25″。
- 总阶段时长:Preparation 50′40″、Diagnosis 208′32″、Femoral 265′54″、Tibial 214′02″、ACL Reko 54′38″。
- 许可是 CC BY 4.0(Zenodo metadata)。
- Zenodo access = open(无门禁)。
- Zenodo DOI 10.5281/zenodo.14288900,发布日 2024-12-06。
- 论文 DOI 10.1080/24699322.2025.2508144(Computer Assisted Surgery 2025)。
- arXiv 2502.07431(v2 2025-02-13,cs.CV)。
- PubMed PMID 40449528。
- 作者 9 人,通讯 Ali Bahari Malayeri。
- 资助:Innosuisse PROFICIENCY PFFS-21-19 + OR-X。
- 模型骨干 ResNet-50(输入 240×240,输出 2048 维)。
- 训练:TensorFlow 2.10.1,RTX-A6000,Adam lr=5e-6,30 epoch,batch=32。
- 复合损失 λ=0.5(SCE + MAE)。
- ACL27 结果:ACC 72.91% / Precision 72.86% / Jaccard 57.39%(Table 3)。
- 消融全开:ACC 76.71±2.44%(Table 4,5 折 CV)。
- Cholec80 结果:ACC 92.4±5.0%(非 CV)/ 91.9±0.9%(CV)。
- SPI 误差:ACL27 10.6%,Cholec80 9.86%。
- SPI 基线视频数:ACL27 12 段,Cholec80 65 段。
附录
附录 A:条目信息速查卡
| 项 | 值 |
|---|---|
| 条目名 | ACL27 |
| 别名/论文名 | ArthroPhase |
| url_name | acl27 |
| 类型 | 手术视频数据集(阶段识别)+ 方法论文 |
| 论文 | Computer Assisted Surgery (2025),doi:10.1080/24699322.2025.2508144 |
| 预印本 | arXiv:2502.07431 |
| 团队 | 苏黎世大学 Balgrist 大学医院 ROCS + 骨科系 |
| 规模 | 27 段 / 18.4 GB / 约 13 小时 |
| 阶段 | 5(Preparation/Diagnosis/Femoral Tunnel/Tibial Tunnel/ACL Reko) |
| 许可 | CC BY 4.0 |
| 获取 | Zenodo 10.5281/zenodo.14288900 |
| 抓取时点 | 2026-10-08 |
附录 B:DAIMS 评估全表
| 维度 | 评分(1-10) | 依据 |
|---|---|---|
| D 可发现性 | 8 | Zenodo 记录可索引 + arXiv/PubMed 三源覆盖 + 关键词清晰(ACL27/ArthroPhase);但"名/数据集名"易混(坑 1)微降分 |
| A 可获取性 | 9 | CC BY 4.0 + access=open + Zenodo 直链 + 逐文件 md5——本库获取门槛最低档 |
| I 可互操作 | 7 | MP4 视频 + 纯文本标签,通用格式;但标签无正式格式文档、视频/标签命名零填充不一致(坑 6) |
| M 元数据质量 | 7 | 论文 Table 1/2 给出阶段时长与 SPI 转换点,信息充实;但原始分辨率/帧率、患者级信息未披露 |
| S 可持续性 | 8 | Zenodo(CERN 运营)长期托管 + CC BY 4.0 允许镜像;代码未公开(坑 4)影响复现可持续性 |
| 综合评级 | 7.8/10(良) | 可获取性与可发现性突出;互操作与元数据因格式/披露缺口扣分 |
附录 C:逐项证据链自证
| 关键数字 | 来源 | 位置 |
|---|---|---|
| 27 段视频 | 论文摘要/Zenodo | 全文/记录页 |
| 18.4 GB | Zenodo 文件清单 | 记录页 Files |
| 约 13 小时 / 6–48 分钟 | 论文 §3.1 | PDF p.3 |
| 2022-01 至 2023-06 | 论文 §3.1 | PDF p.3 |
| Karl Storz 腹腔镜 | 论文 §3.1 | PDF p.3 |
| 五阶段名 | 论文 §3.1 / Zenodo 描述 | PDF p.3 / 记录页 |
| 每秒 1 标签 | 论文 §3.1 | PDF p.3 |
| 阶段时长表 | 论文 Table 1 | PDF p.4 |
| SPI 转换点 | 论文 Table 2 | PDF p.6 |
| 12 段 SPI 基线 | 论文 §3.3 | PDF p.5 |
| ResNet-50 / 240×240 / 2048 维 | 论文 §3.2 | PDF p.4 |
| 80 秒序列 | 论文 Fig.3 | PDF p.6 |
| λ=0.5 / SCE+MAE | 论文 §3.4 | PDF p.6 |
| TF 2.10.1 / RTX-A6000 / Adam / lr 5e-6 | 论文 §3.4 | PDF p.7 |
| 5 折 CV / 18-9 划分 | 论文 §3.4 | PDF p.7 |
| 72.91/72.86/57.39 | 论文 Table 3 | PDF p.8 |
| 76.71±2.44 消融 | 论文 Table 4 | PDF p.8 |
| 92.4±5.0 / 91.9±0.9 | 论文 Table 5 | PDF p.8 |
| SPI 10.6% / 9.86% | 论文 §4.2/§4.4 | PDF p.7-8 |
| CC BY 4.0 / open | Zenodo API | metadata |
| DOI 10.1080/24699322.2025.2508144 | arXiv journal ref / PubMed | abs 页 |
附录 D:数据获取决策树
需求是什么?
├── 只想跑通阶段识别
│ └── Zenodo 10.5281/zenodo.14288900 下 27 段视频+标签(直接下,无需注册)
├── 想在 ACL27 上做基线
│ └── 按 §5.4 配置实现;对标 Table 3(72.91%)或 Table 4(76.71±2.44%)
├── 想做 SPI / 手术时长预测
│ └── 用 Table 2 转换点 + 逐秒标签自实现 SPI(§5.3)
├── 想做跨术式迁移
│ └── 配对 Cholec80(rid 78),读 §5.7
└── 想复现论文全部结果
├── 注意:代码未公开(坑 4)
└── 只能按论文细节实现,训练配置见 §5.4
附录 E:五阶段映射与使用规范
| 阶段 | 中文 | 时长特征 | 使用建议 |
|---|---|---|---|
| Preparation | 准备 | 最短(2′40″)、覆盖 19/27 | 样本少,评估时单独关注召回 |
| Diagnosis | 诊断 | 中(8′20″) | 覆盖较全(25/27) |
| Femoral Tunnel Creation | 股骨隧道建立 | 最长(10′14″)、覆盖 26/27 | 与胫骨隧道视觉相似,是主要混淆源 |
| Tibial Tunnel Creation | 胫骨隧道建立 | 中偏长(8′34″) | 同上,注意与股骨隧道区分 |
| ACL Reconstruction | ACL 重建 | 短(3′25″)、覆盖仅 16/27 | 尾声短阶段,样本最少 |
附录 F:SPI 复现骨架
# SPI 复现五步(论文 §3.3)
1. 选基线视频:只用含全部五阶段的视频
- ACL27: 12 段 ; Cholec80: 65 段
2. 对每段基线视频计算各阶段边界的累计时长占比
3. 对每个阶段求平均 → avg_SPI(阶段)
- ACL27 Table 2: 0.0 / 0.073 / 0.309 / 0.534 / 0.765 / 1.000
4. 对任意视频 k:
SPI(t,k) = t / T_k
5. 若视频缺阶段,用 avg_SPI(缺失阶段) 修正:
SPI_adjusted = t/T_k + Σ avg_SPI(i)·I(phase i missing)
附录 G:许可与署名模板
数据来源:ACL27 (ArthroPhase) — Arthroscopic ACL Reconstruction Video Dataset
作者:Bahari Malayeri A, Seibold M, Cavalcanti NA, et al.
机构:Balgrist University Hospital, University of Zurich
许可:CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
DOI:10.5281/zenodo.14288900
修改说明:<请如实填写是否修改>
附录 H:检索词表
# 数据集本名(首选)
ACL27
# 论文/方法名
ArthroPhase
# 领域检索
arthroscopic surgical phase recognition
anterior cruciate ligament reconstruction video dataset
# DOI/标识
10.5281/zenodo.14288900
arXiv:2502.07431
doi:10.1080/24699322.2025.2508144
# 注意:不要用 "ArthroPhase dataset" 单搜数据本体——会混到论文
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- slam-laparoscopic-motions — 共享标签:医学影像 / 手术视频 / 图像分类 / 评测基准
- cholectriplet2022 — 共享标签:医学影像 / 手术视频 / 图像分类 / 评测基准
- medvidqa — 共享标签:医学影像 / 手术视频 / 评测基准
- heichole — 共享标签:医学影像 / 手术视频 / 图像分类 / 评测基准
- galar — 共享标签:医学影像 / 手术视频 / 图像分类 / 评测基准
- gastrohun — 共享标签:医学影像 / 手术视频 / 图像分类 / 评测基准
- cataract-1k — 共享标签:医学影像 / 手术视频 / 图像分类 / 评测基准
- pair-bst — 共享标签:医学影像 / 图像分类 / 评测基准 / 骨骼肌肉影像
- serv-ct — 共享标签:医学影像 / 手术视频 / 评测基准
- acevedo-blood — 共享标签:医学影像 / 图像分类 / 评测基准
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

