MAVIS — 显微血管吻合术工作流与器械分割视频数据集

KIST 联合高丽大学医学院采集的 19 段显微血管吻合术视频(10,652 帧 @1920×1080)——帧级 6 阶段/4 相位/8 步工作流标注 + 逐帧七类器械像素级分割掩码 + 模板化 VQA,随 SurgMLLMBench 基准发布并 CC BY-NC-4.0 于 HuggingFace 公开直链

来源 KIST Center for Humanoid Research 联合高丽大学医学院采集的 19 段显微血管吻合术操作视频(1920×1080,1 FPS 采样)+ 逐帧三层级工作流标注(6 阶段/4 相位/8 步)+ 像素级多边形器械分割掩码(COCO 格式,七类器械 + 分割 PNG)+ 模板化 VQA 问答对发布时间: 2026-10-08最后更新: 2026-10-20 阅读 40
MAVIS — 显微血管吻合术工作流与器械分割视频数据集

信息速览

数据集名称MAVIS — 显微血管吻合术工作流与器械分割视频数据集
数据类型影像数据,人工标注,视频数据
规模19 段视频(3 名微血管吻合术外科医生,1 mm 人工血管吻合,配对本操作);帧级 10,652 帧
接入方式KIST Center for Humanoid Research 联合高丽大学医学院采集的 19 段显微血管吻合术操作视频(1920×1080,1 FPS 采样)+ 逐帧三层级工作流标注(6 阶段/4 相位/8 步)+ 像素级多边形器械分割掩码(COCO 格式,七类器械 + 分割 PNG)+ 模板化 VQA 问答对
AI 就绪度

INFOBOX — MAVIS 一屏速览

维度 内容
本质 显微血管吻合术工作流 + 器械分割多层级标注视频数据集(非挑战赛、非新采集影像学数据)
全称 Micro-surgical Artificial Vascular anastomosIS
团队 KIST Center for Humanoid Research + 高丽大学医学院(采集者即论文共同作者)
论文 arXiv:2511.21339(SurgMLLMBench,2025-11-26 提交,CC BY 4.0)
数据 19 段视频 / 10,652 帧;1920×1080;1 FPS 采样;3 名专家外科医生配对本操作
对象 1 mm 人工血管(artificial vessel)吻合,非活体/人体
工作流 6 Stage × 4 Phase × 8 Step 三层级帧级标注
分割 七类器械像素级多边形掩码(COCO 格式,逐帧 PNG);论文另列含 Background material 的 8 类
VQA 5 类模板问答(工作流/器械计数/器械类型/器械动作/数据集来源)
定位 SurgMLLMBench(6 数据集统一基准)中唯一新采集的显微外科数据集
获取 HuggingFace KIST-HARILAB/MAVIS 公开直链,gated=false,downloads 155
许可 CC BY-NC-4.0(非商业);论文 CC BY 4.0
库内互链 MISAW(显微吻合工作流前身)、AutoLaparo(RAS 工作流)、Cholec80(腔镜工作流)

MAVIS 是一个把"显微镜下的手上功夫"翻译成机器可读标签的数据集。它记录的是一台经典显微外科操作——在直径约 1 毫米的人工血管上缝合打结,做端端吻合——由三名高丽大学医学院的微血管吻合专家在两台摄像机下完成,共 19 段视频。数据集把每一帧都拆成三层信息:这一步在整台手术的哪个阶段(stage)、哪个相位(phase)、哪个动作(step);画面里的器械分别落在哪个像素区域(器械分割掩码);以及一组合成的问答对(VQA),供多模态大语言模型(MLLM)练习"看图回答问题"。MAVIS 不满足于做一个孤立的视频集合,它是 SurgMLLMBench 这个跨腔镜、机器人辅助、显微三大域的统合基准里,唯一一个新采集的数据集——其余五个都是从既有公开数据集整合而来。

导语读法三则:

  1. 只想下数据:直奔 §6 获取与许可——HuggingFace 直链,gated=false,CC BY-NC-4.0,注意是非商业许可。
  2. 做工作流/分割模型:直奔 §2 数据构成与 §4 工作任务——三层级体系与七类器械掩码的类目定义是关键。
  3. 评测多模态大模型:直奔 §5 评测与基准——MAVIS 被刻意排除在 SurgMLLMBench 指令微调之外,专门用作"未见数据集"泛化测试。

§0 导读:这个数据集解决什么问题

显微外科是外科里最"手巧"的细分领域之一:血管直径只有一两毫米,缝合针脚以微米计,术者的手部动作在显微镜下被放大数十倍。长期以来,这一领域的 AI 研究受困于一个尴尬的现实——公开数据集稀少且不成体系。腔镜手术有 Cholec80、机器人辅助手术有 AutoLaparo 与 SAR-RARP50,但显微外科(microsurgery)可供训练与评测的视频数据屈指可数,显微血管吻合这一最基础的操作更是没有大规模、带像素级标注的公开集合。

MAVIS 的定位正是补这个缺口。它由韩国科学技术研究院(KIST)的人形机器人研究中心联合高丽大学医学院采集,对象是 1 毫米人工血管的端端吻合操作。它的设计有三个层次:

  1. 数据层:19 段视频、10,652 帧,覆盖完整吻合流程(从第一针缝合到翻面打结),每帧导出工作流标签与器械分割掩码,格式规整(JPG/PNG/JSON,COCO 多边形)。
  2. 标注层:工作流按外科教学里成熟的 stage–phase–step 三级分解——这是显微外科操作规范的自然结构,直接对应术中"现在该做什么"的推理问题;分割则逐像素标出七类器械与组织,
  3. 基准层:MAVIS 以独立 HF 数据集发布,同时作为 SurgMLLMBench 的新采集组件,被刻意排除在该基准的指令微调数据之外,充当"模型从没见过的手术域"来检验多模态大模型(如 LLaVA、OMG-LLaVA)的跨域泛化能力。

换言之,MAVIS 想回答两个具体问题:机器人/AI 能不能看懂显微手术正在进行的哪一步? 以及 在腔镜数据上训出来的多模态模型,遇到显微镜下的画面会不会失灵?

§0 读法三则:

  1. 这个条目是"数据集 + 基准组件"二合一:MAVIS 本体是 19 段带标注视频,但它的评测意义要在 SurgMLLMBench 的语境里才完整(§5)。
  2. 全文数字以 HF 数据集卡片(KIST-HARILAB/MAVIS)与论文 arXiv:2511.21339 的 Table 1/Table 3 为准;器械类别数的正文双口径已在坑 1 存照。
  3. 检索时注意:MAVIS 无独立专论文,所有一手信息来自 SurgMLLMBench 论文——搜 “MAVIS dataset paper” 会一无所获,应搜 SurgMLLMBench。

§1 数据集速览:十问十答

Q1:MAVIS 记录的是什么手术?
1 毫米人工血管(artificial vessel)的端端吻合(anastomosis)操作——这是显微外科最基础也最考验手感的训练科目。由高丽大学医学院三名微血管吻合专家(同时是论文共同作者)录制,每台由主刀(lead surgeon)与助手(assistant)配对完成。

Q2:19 段视频怎么分配给三名医生?
CASE 01–07 属 Surgeon 1(7 段)、CASE 08–14 属 Surgeon 2(7 段)、CASE 15–19 属 Surgeon 3(5 段)。每对医生按自己偏好的技术路径完成完整吻合序列,因此各段的操作顺序可能不同。

Q3:视频规格?
分辨率 1920 × 1080,按 1 FPS 时间采样为帧——即从原始录像里每秒抽一帧,最终得到 10,652 帧。1 FPS 的稀疏采样兼顾了标注成本与分析需要。(HF README 注释块另有一处未定稿的 “1920 × 1072 px” 裁切尺寸记载。)

Q4:帧级标注有哪些?
两类:工作流(stage/phase/step 三层级)与器械分割(像素级多边形掩码)。二者空间与时间上对齐——同一帧既有"正在打第几个结"的文字标签,也有"持针器此刻在画面哪块区域"的像素标注。

Q5:工作流三层级具体是什么?
6 个 Stage:First tying、Second 120° tying、Second 180° tying、Front side tying、Flip、Back side tying(打结的六种站位/朝向)。4 个 Phase:Suturing、Knot tying、Cutting、Flip。Step 细到动作:持针、过针、放针、打第 1/2/3 个结、剪线、翻转血管夹。

Q6:器械分割有几类?
HuggingFace 数据集实际发放的是七类器械:forceps(镊子)、scissors(剪刀)、vascular_clamps(血管夹)、needle_holder(持针器)、vessel(血管)、needle(缝合针)、thread(缝线),每类附 RGB 颜色码,用 COCO 多边形标注。论文正文另有一处写成含 Background material 的 8 类——这个双口径见坑 1。

Q7:VQA 标注是怎么来的?
用固定模板生成,而非用 GPT 之类生成模型自由发挥。分 5 类模板:工作流查询(“这是哪个 stage/phase/step?”)、器械计数、器械类型、器械动作、数据集来源。工作流与计数模板必生成,类型与动作模板在有对应标签时才生成。论文明确解释:手术场景理解需要高精度、确定性的监督,自由生成会引入语言变体与语义不一致。

Q8:MAVIS 和 SurgMLLMBench 什么关系?
MAVIS 是 SurgMLLMBench 六个集成数据集里唯一新采集的一个,其余五个(Cholec80、EndoVis2018、AutoLaparo、GraSP、MISAW)都是既有数据集。两者都在 HuggingFace 公开发布,MAVIS 可单独下载(standalone)。

Q9:现在能拿到什么、怎么拿?
HuggingFace 仓库 KIST-HARILAB/MAVIS,gated=false,无需申请即可下载;许可 CC BY-NC-4.0(非商业)。下载量 155、点赞 0(2026-10-08 抓取时点)。

Q10:为什么它对 AI-Ready 重要?
它是"稀缺域补齐 + 多任务对齐 + 公开直链"的组合样本:显微外科是手术 AI 的数据洼地,MAVIS 用可公开获取的方式补齐了工作流识别与器械分割两类任务,还让多模态大模型能在"未曾见过的手术域"上接受检验——对 AI-Ready 谱系而言,它是显微手术域的少数据点。

§2 数据构成与规格

2.1 规模、来源与采集构成

MAVIS 的全部数据来自 KIST 与高丽大学医学院的一次定向采集,共 19 段视频、10,652 帧:

维度 规格
视频段数 19 段(CASE01–CASE19)
总帧数 10,652 帧(1 FPS 采样)
分辨率 1920 × 1080
操作对象 1 mm 人工血管端端吻合
术者 3 名微血管吻合专家(高丽大学医学院,论文共同作者)
术者分配 Surgeon 1:CASE01–07(7 段);Surgeon 2:CASE08–14(7 段);Surgeon 3:CASE15–19(5 段)
编排 主刀 + 助手配对操作
采集方 KIST Center for Humanoid Research
体量 2.95 GB(论文 Table 1 口径)

采集者即标注者:三名外科医生是论文共同作者,工作流标注由其结合真实临床流程构建,这一点保证了 stage/phase/step 划分贴合临床语义,而非工程师凭想象定义。

2.2 目录结构与文件格式

HF 仓库的目录结构规整,原始帧、标注文件、分割掩码分列:

MAVIS/
├── frames/
│   ├── CASE01/
│   │   ├── image_00001.jpg
│   │   └── ...
│   ├── ...
├── annotations/
│   ├── long-term.json      # stage/phase/step 工作流标签(逐帧)
│   ├── short-term.json     # 七类器械多边形掩码(逐帧)
│   ├── segmentations/
│   │   ├── CASE01/
│   │   │   ├── image_00001.png
│   │   │   └── ...
│   │   ├── ...
│   └── segmentations_with_keypoint/
│       ├── CASE01/
│       │   └── ...
├── fig/
└── README.md
  • frames/:原始帧,JPG 格式,按 CASE 分目录。
  • annotations/long-term.json:长时程工作流标签——每帧的 stage/phase/step,刻画手术的时间推进。
  • annotations/short-term.json:短时程器械标注——每帧七类器械的多边形坐标(COCO 格式)。
  • annotations/segmentations/:逐帧分割掩码 PNG(与帧同名对应)。
  • annotations/segmentations_with_keypoint/:带关键点(keypoint)的分割掩码变体(README 未展开 keypoint 定义,属待核项,见 §9)。

这种"原始帧 / 工作流 JSON / 分割 PNG 三件套"的结构,使工作流识别(读 long-term)与器械分割(读 segmentations)两类任务从同一套原始帧出发各自建模,无需重复解码视频。

2.3 工作流三层级:Stage → Phase → Step

MAVIS 的工作流标注采用外科教学与流程分析里成熟的 stage–phase–step 三级分解。层级自上而下细化,“一个 stage 含若干 phase,一个 phase 含若干 step”:

6 个 Stage(打结站位/朝向):

Stage Class ID 名称 含义
0 First tying 打第一个结(成结)
1 Second 120° tying 相对首结旋转 120° 处打第二个结
2 Second 180° tying 相对首结旋转 180° 处打第二个结
3 Front side tying 正面额外交互结(介于第一、第二结之间)
4 Flip 翻转血管夹以暴露背侧
5 Back side tying 背侧打结(介于第一、第二结之间)

注:论文正文列举顺序为 First tying / Second 180° tying / Second 120° tying / Front-side tying / Back-side tying / Flip,与 HF README 的 class id 编号顺序不同——类别相同、编号次序不同,已在坑 2 存照。

4 个 Phase(操作相位):Suturing(缝合)|Knot tying(打结)|Cutting(剪线)|Flip(翻转)。每个 stage 都按这四个相位细分,构成操作的基本循环。

8 个 Step(细粒度动作):Needle holding(持针)|Needle passing(过针)|Needle dropping(放针,在约 5 点钟位置释放以利打结)|1st knot|2nd knot|3rd knot|Cutting(剪线)|Flip clamp(翻转血管夹)。其中打结的三次 wrap 被拆为三个独立 step,体现了显微打结"三圈不同方向"的技术细节。

这一体系的实用价值在于:它把"整台吻合手术"变成一个可分解、可预测、可计时的序列——这正是手术工作流识别与相位预测(phase anticipation)研究要建模的对象。

2.4 器械分割:七类器械的像素级标注

器械分割标注为像素级多边形掩码,格式遵循 COCO,HF README 给出的类别与颜色码如下:

Class ID 类别 RGB 颜色
0 forceps(镊子) (253, 0, 26)
1 scissors(剪刀) (43, 253, 62)
2 vascular_clamps(血管夹) (0, 43, 249)
3 needle_holder(持针器) (255, 253, 66)
4 vessel(血管) (253, 40, 250)
5 needle(缝合针) (38, 255, 254)
6 thread(缝线) (198, 161, 251)

从类目分布看任务重心:论文统计各器械出现频次时指出,Vessel 与 Thread 出现最频繁,其后是 Forceps、Vascular clamps 与 Needle holder——这精准反映了"缝合与打结是显微血管吻合的核心操作"这一事实。缝线与血管作为被操作对象出现频率最高,而器械则按参与操作的程度次第出现。

同一帧内可同时出现多个器械/组织实例,因此掩码不仅支持语义分割,也天然支持实例分割、器械检测、器械跟踪与动作识别等下游视觉任务。关于类目数的正文双口径(7 类 vs 含 Background material 的 8 类)见坑 1。

2.8 图像内容与视觉特征

MAVIS 的画面是典型显微外科视野:一台显微镜下的特写,中央是约 1 毫米的人工血管,两段断端被血管夹相对固定;术者通过持针器运针、镊子牵拉组织、剪刀剪线,一根极细的缝线在血管壁上来回穿行。视觉上有几个鲜明特征,也是这类数据"难"的根源:

  • 细长微小目标:缝合针与缝线的像素占比极小,且形状细长弯曲,分割时边界模糊、易断裂——这解释了为什么论文里分割 mIoU 普遍偏低。
  • 器械频繁遮挡与交互:持针器、镊子、剪刀在同帧内交叠出现,实例边界互相遮盖,考验实例分割。
  • 背景高度相似:人工血管与背景材质色调接近,缺乏强纹理对比,模型难靠颜色区分。
  • 多视角/朝向变化:随 stage 切换(翻面、旋转打结),画面朝向与工作区位置变化,同一器械的外观随视角改变。

这些特征决定了 MAVIS 不是"简单分割"数据集:它要求模型在低对比、小目标、多交互的显微视野下工作。

2.9 数据体量与标注密度的对比

把 MAVIS 与库内/基准内数据集对照,可见其定位:

数据集 帧数 工作流标注 像素级分割 VQA
Cholec80 184,498 ✅(phase) ❌(原集) 部分
AutoLaparo 83,243 ✅ ❌(原集) 部分
MISAW‡ 164,275 ✅ ✅(补充) 部分
MAVIS 10,652 ✅(stage/phase/step) ✅(原生七类) ✅(5 模板)

MAVIS 的独特之处在于三重标注齐备(工作流三层级 + 原生像素级分割 + VQA),这是它即便体量最小也值得单列的理由;其代价则是绝对帧数少、术者单一。

2.5 帧级与器械共现:从标注统计看操作结构

论文给出了一组标注分布观察,勾勒出显微血管吻合的操作结构:

  1. Stage 层:Back-side tying 与 Front-side tying 占比最大,随后是 First tying 与 Second 180° tying。这符合吻合的力学需要——血管 360° 周径都要缝到,因此翻面(Flip)后正背两侧的打结占据了主要时间。
  2. Phase/Step 层:Suturing 与 Knot tying 主导相位分布;在细粒度动作里,Needle passing 与 Needle holding 出现最频繁——即"持针"与"过针"这两个动作构成显微缝合的高频基本单元。
  3. 器械层:Vessel 与 Thread 出现最频繁,其后是 Forceps、Vascular clamps、Needle holder。

论文据此判断:“缝合与打结构成显微外科吻合的核心操作”,MAVIS 在时间工作流标注与视觉标注之间呈现出均衡的构成,能定量表征显微手术的流程特征。这类分布统计对使用者的直接价值是:训练损失里的类别不均衡极可能集中在切割(Cutting)、翻转(Flip)等稀有动作上,值得在采样或加权时先做统计核对。

2.6 视频 vs 图像:1 FPS 采样的取舍

MAVIS 的标注单位是帧而非整段视频,且采样率是 1 FPS。这一设计有两层含义:

  • 好处:逐帧标注使工作流识别可建模为逐帧分类(给定当前画面,预测所处 stage/phase/step),与相位预测任务天然契合;1 FPS 下相邻帧动作变化较明显,标注更可判读,也压缩了标注与存储成本。
  • 代价:1 FPS 丢失了帧间的高帧率运动细节,因此难以直接支撑动作检测(action detection)的精确时间边界、平滑跟踪或运动学分析。需要细粒度时间定位的任务,MAVIS 可能力有不逮——它更适合"逐帧状态识别"而非"连续动作分割"。

使用者若做时序建模,应注意相邻帧之间的 1 秒间隔,并将时序上下文窗口按需放大。

2.7 与既有显微外科数据的关系边界

MAVIS 直接对标的是 MISAW(Micro-Surgical Anastomose Workflow recognition challenge,显微吻合工作流识别挑战赛)。两者的共同点是都研究显微血管吻合的工作流识别;差异在于:

维度 MISAW MAVIS
性质 挑战赛数据集 采集数据集(SurgMLLMBench 组件)
操作对象 显微血管吻合 1 mm 人工血管吻合
像素级分割 原始集未含(后续研究补充) 原生七类器械像素级掩码
标注层级 工作流识别为主 stage/phase/step + 分割 + VQA 三合一
数据域标签 MST(micro-surgery) MST(micro-surgery)

MAVIS 在 Table 1 里被归类为 MST(micro-surgery)域,与 MISAW 同域,是自 MISAW 之后显微外科视频数据集的重要补充。它与 MISAW 在库内同域并列(§9),构成显微手术 workflow 研究的两个数据锚点。

§3 标注体系与 VQA 生成

3.1 三层级工作流标注的语义

工作流标注不是随意的三段切分,而是外科操作规范的自然映射。以 First tying(第一结)为例,其下的相位与动作序列为:

  • Phase: Suturing(缝合)——放置并定位缝线
    • Step: Needle holding(用持针器牢牢夹住缝合针)
    • Step: Needle passing(把针穿过血管两侧并拉出)
    • Step: Needle dropping(在利于打结的最佳位置——约 5 点钟方向——释放针)
  • Phase: Knot tying(打结)
    • Step: 1st knot(把缝线游离端绕器械一圈并收紧)
    • Step: 2nd knot(反方向重复缠绕并收紧)
    • Step: 3rd knot(最后缠绕以固定线结)
  • Phase: Cutting(剪线)——用剪刀剪断缝线两端(可一次或分次剪断)

Second 120° tying、Second 180° tying、Front side tying 的子任务结构与 First tying 相同(Suturing → Knot tying → Cutting),差别只在打结的站位与朝向;Flip 则只有 Phase: Flip,其 step 为 Flip clamp(重新摆位血管夹使背侧朝向镜头)。Back side tying 的打结面向血管背侧。

这套体系的可贵之处在于:它把"打结的三种站位(首结/120°/180°)+ 正背面 + 翻转"这些显微外科特有关节,显式编码成了类别标签。对建模而言,这既是挑战(类别定义精细)也是机会(模型可学到"打结朝向"这一临床上重要的状态量)。

3.2 像素级器械标注的工艺流程与格式

分割标注以 COCO 多边形(polygon coordinates)形式给出,逐帧对应 PNG 掩码。手工多边形标注意味着每个器械/组织的轮廓由人工勾画——这也是为什么数据集体量控制在 10,652 帧:像素级多边形标注是劳动密集型的。多个器械可同时出现在同一帧并各自有独立轮廓,因此掩码天然支持实例级分析。

从 README 被注释掉的 “Annotation Tools & Process” 段落可见(注释块保留为未定稿),细分标注工具与流程细节作者未最终披露;已知的是 workflow 由非医学背景标注员按标准化工作流指南手工打标,分割掩码与关键点变体(segmentations_with_keypoint)均有提供。

3.3 VQA 标注:固定模板而非生成模型

MAVIS 的 VQA 标注是模板化生成的,这是它区别于许多"用 GPT 批量生成问答"的数据集的关键设计。五类模板:

  1. 工作流查询:如"画面所示是哪个 stage/phase/step?"——始终实例化
  2. 器械计数查询:如"可见多少件手术工具?"——始终实例化
  3. 器械类型查询:如"画面里有哪些器械?"——有对应标签时才生成
  4. 器械动作查询:如"持针器正在做什么动作?"——有对应标签时才生成
  5. 数据集来源查询:如"本数据集来自何处?"——用于让模型区分域

论文明确给出了采纳模板法的理由:手术场景理解(尤其工作流识别与器械计数)需要高精度、确定性的监督;自由形式的问题生成会引入语言变异性与语义不一致性,而固定模板保证了措辞一致、构建可复现、标注准确率更高,从而支撑稳定高效的多模态训练与评测。

对下游使用者而言,这意味着 MAVIS 的 VQA 更适合"确定性问答基准"而非"开放式对话能力"评测——问题措辞有限、答案可枚举,评测结果的可复现性强。

3.4 标注的可信度来源

MAVIS 标注可信度的核心支撑是采集者即领域专家:三名录制手术的外科医生是论文共同作者,工作流标注(stage/phase/step)由其结合真实手术流程构建。这保证了:

  • 类别划分贴合临床实际,而非研究者凭空设定;
  • 稀有但临床重要的状态(如"翻转以暴露背侧")不会被遗漏;
  • 操作顺序的多样性(不同医生按各自偏好完成吻合)被保留为真实变异而非噪声。

代价则是作者自曝的局限:样本仅来自 3 名医生、同一机构、同一人工血管模型(§8 局限详述)。

§4 工作任务与下游用途

MAVIS 的标注天然拆解为四类可训练任务,外加一类跨域评测任务:

4.1 工作流识别(Workflow Recognition)

给定单帧,预测其 stage / phase / step。这是 MAVIS 的主任务之一,评测指标为准确率(accuracy)——预测文本与参考标签精确匹配的比例。论文的 MAVIS 实验结果(Table 3)显示这一任务的难度分层:

方法 微调设置 Stage Phase Step Count
LLaVA 仅 MAVIS 微调 67.67 65.09 37.59 54.67
LLaVA SurgMLLMBench 指令微调 + MAVIS 微调 75.70 69.43 44.80 68.47
OMG-LLaVA 仅 MAVIS 微调 62.84 63.63 37.28 55.46
OMG-LLaVA SurgMLLMBench 指令微调 + MAVIS 微调 43.90 55.72 29.48 47.51

可以看到:step(细粒度动作)识别普遍最难(最高 44.80),stage 识别相对最易(最高 75.70)。这符合直觉——"这一步在哪里"比"手上正在做哪个具体小动作"更容易判断。而 OMG-LLaVA 在叠加 SurgMLLMBench 指令微调后反而全面下降,是一个反直觉的观察(可能提示域冲突或灾难性遗忘),值得使用者注意。

4.2 器械像素级分割(Instrument Segmentation)

给定单帧,输出七类器械的像素掩码。评测指标为 mIoU(各类 IoU 的平均,C 为器械类数)。Table 3 中报告分割的只有 OMG-LLaVA:

方法 微调设置 器械分割 mIoU
OMG-LLaVA 仅 MAVIS 微调 53.96
OMG-LLaVA SurgMLLMBench 指令微调 + MAVIS 微调 36.89

LLaVA 因不具备分割输出的定位能力,Table 3 中分割一栏为空。

4.3 器械计数(Instrument Counting)

预测画面中可见的器械数量,以 accuracy 计。Table 3 中 LLaVA 系列在两个设置下分别取得 54.67 与 68.47——指令微调后的提升明显(+13.8),说明计数任务对跨任务指令微调较敏感。

4.4 器械动作识别(Instrument Action Recognition)

预测某件器械正在执行的动作(如持针器在做哪一步),以 accuracy 计。使用说明:MAVIS 本身不直接提供器械动作标签,动作标签来自与工作流标注的组合,并按需补充其他来源(如 EndoVis2018、GraSP、MISAW)的器械动作标签(见 §3.3 VQA 生成)。

4.5 跨域泛化评测(Cross-domain Generalization)

这是 MAVIS 在 SurgMLLMBench 里最重要的角色。论文明确写道:MAVIS 被排除在 SurgMLLMBench 的指令微调之外,用于评估模型对"未见手术数据集"的适应性。其逻辑是:若一个模型在腔镜/机器人数据上训练后,直接在显微外科数据上能不显著掉点,就说明它学到了可迁移的手术场景理解能力,而非记住某个数据集的视觉模式。论文的对照实验也印证了这一点——仅在某单数据集(如 EndoVis2018)微调的模型,会漏掉存在的器械掩码或产生虚假背景预测,表现为对数据集特异视觉模式的过拟合。

4.6 不适合的任务

MAVIS 的 1 FPS 采样与帧级标注决定了它不适合:精确时间边界的动作检测、高帧率平滑跟踪、运动学分析、以及需要结局标签的临床预后建模(无吻合通畅率、漏血压等终点,见 §8)。使用者应避免把这些任务强行套在 MAVIS 上。

4.7 任务之间的耦合关系

MAVIS 的四类任务不是彼此独立的模块,而是共享同一套底层标注:

  • 工作流识别与器械动作识别共用时序标签(stage/phase/step 与动作高度相关)——预测出 step,往往能推出器械动作。
  • 器械分割与器械计数共用空间标签(掩码的实例数即计数目标)——分割做得好,计数就接近免费。
  • VQA把上述所有任务打包成问答形式,让多模态大模型在统一的语言接口下同时处理时间推理与空间定位。

这种"一套标注、多任务出口"的设计,是 MAVIS 相对单一任务数据集的效率优势,也是理解它为什么把 VQA、分割、工作流三件事放进同一个仓库的关键。

4.8 从任务到临床的映射

MAVIS 的三个工作流层级对应临床上的三类问题:

层级 临床问题 可能的 AI 应用
Stage “整台吻合现在打到哪个结、在哪一面?” 手术进度追踪、术中导航提示
Phase “当前在缝合、打结还是剪线?” 操作阶段自动识别、器械切换预警
Step “持针器正在做哪个精细动作?” 技能评估、动作质量分析、教学反馈

显微外科手术时间长、动作精细、术者疲劳风险高,工作流自动识别可用于术中辅助与术后复盘。但要强调:这些是潜在应用,MAVIS 本身不含任何临床验证或结局数据(§8)。

4.9 与 MLLM 时代的关系

MAVIS 的定位恰逢多模态大语言模型进军手术领域。传统手术视觉数据集大多只提供"标签",而 MLLM 需要"对话"——问一句、答一句,最好还能指着画面说"证据在这里"。MAVIS 的 VQA 模板 + 像素级分割,正是为这种交互式评测准备的:模型既要用文字答对"现在哪一步",还要用掩码证明"我怎么知道的"。论文把这一能力概括为"提供视觉证据(provide visual evidence via segmentation masks)",并展望了支持智能体(agentic)系统、保持对话上下文、调用视觉工具等方向。

4.10 一个"逐帧状态机"的视角

把 MAVIS 的工作流标签串起来看,它其实描述了一个有限状态机:手术从 First tying 出发,经 Suturing→Knot tying→Cutting,到某个触发器进入下一个 stage;Flip 是唯一专门用来切换正背面的状态;Back side tying 完成后整台吻合收尾。Stage 的合法转移不是任意的(你不大可能在没打第一个结前就去打背侧结),因此把 MAVIS 用于工作流建模时,可以引入转移约束(transition constraints)来提升预测的一致性——这是纯帧分类模型容易忽略的信号,也是 MAVIS 的时序结构能提供的额外价值。

§5 SurgMLLMBench:MAVIS 所在的统合基准

5.1 基准的动机与定位

MAVIS 不是一个孤立数据集,它随 SurgMLLMBench 一同发布,而理解这个基准的设计,才能理解 MAVIS 的评测意义。论文开篇提出的问题是:现有多模态大语言模型在医学与手术领域展露潜力,但既有手术数据集大多采用 VQA 格式、taxonomy 各异、且缺乏像素级分割支持,导致评测难以一致进行、适用性受限。

SurgMLLMBench 的回答是:构建一个统一 taxonomy 的跨域多模态基准,把像素级器械分割掩码与结构化 VQA 标注整合到同一框架下,覆盖**腔镜(laparoscopic)、机器人辅助(robot-assisted)、显微外科(micro-surgical)**三大域,从而支持超越传统 VQA 的评测——即模型不仅要"答对文字",还要能"指出画面里的证据"(通过分割掩码)。

5.2 六个数据集的构成

SurgMLLMBench 整合六个手术视觉数据集——五个既有 + 一个新建(MAVIS):

数据集 域 帧数(Table 1) 视频时长(h)
Cholec80 腔镜 184,498 51.25
EndoVis2018 机器人辅助(RAS) 2,235 1.58
AutoLaparo 机器人辅助(RAS) 83,243 23.13
GraSP 机器人辅助(RAS) 116,515 32.37
MISAW‡ 显微外科(MST) 164,275 1.52
MAVIS 显微外科(MST) 10,652 2.95
合计 — 561,418 112.80

MISAW‡ = 原始 MISAW 数据集 + 补充的像素级分割标注(来自 Jeong et al. 2025)。Table 1 另列一列 559,182 与 561,418 并存(不同列口径),已在坑 5 存照。

从这张表可以读出 MAVIS 的定位:在帧数上它是六个数据集里最小的之一(10,652 帧),但在标注密度上它是"三合一"——同时带工作流识别、器械分割与 VQA。它的价值不在体量,而在补齐显微外科域并作为未见域测试点。

5.3 任务定义与指标

SurgMLLMBench 定义的四类评测任务与指标:

  • 工作流识别(stage/phase/step recognition):accuracy
  • 器械动作识别(instrument action recognition):accuracy
  • 器械计数(instrument counting):accuracy
  • 器械分割(instrument segmentation):mIoU

论文明确:由于输出为文本(phase、step、action、count),accuracy 定义为预测文本与参考标签精确匹配的比例:

$$\text{Accuracy} = \frac{1}{N}\sum_{i=1}^{N}\mathbb{1}[\hat{y}_i = y_i]$$

而分割用 mIoU:对每一类 c 计算 IoU = TP/(TP+FP+FN),再对 C 个器械类取平均:

$$\text{mIoU} = \frac{1}{C}\sum_{c=1}^{C}\text{IoU}_c$$

5.4 评测结果与 MAVIS 的表现

论文用两个多模态模型(LLaVA、OMG-LLaVA)在两种设置下评测:①仅在单数据集微调;②在 SurgMLLMBench 指令微调后再在该数据集微调。

跨数据集结果(Table 2,节选):

数据集 方法 设置 Phase Step
Cholec80 LLaVA 单域微调 81.98 81.54
Cholec80 LLaVA 指令微调 77.32 78.73
AutoLaparo LLaVA 指令微调 24.67 82.56
MISAW LLaVA 单域微调 87.16 64.03
GraSP LLaVA 单域微调 68.83 52.75

(MISAW 与 AutoLaparo、GraSP 部分设置含 action/count/segmentation 列,上表省略。)

MAVIS 专项结果(Table 3,作为未见数据集):

方法 设置 Stage Phase Step Count 器械分割
LLaVA 仅 MAVIS 微调 67.67 65.09 37.59 54.67 —
LLaVA 指令微调 + MAVIS 微调 75.70 69.43 44.80 68.47 —
OMG-LLaVA 仅 MAVIS 微调 62.84 63.63 37.28 55.46 53.96
OMG-LLaVA 指令微调 + MAVIS 微调 43.90 55.72 29.48 47.51 36.89

从这张表能读出三件事:

  1. Step 识别是难点——最高仅 44.80,显微动作的细粒度识别仍有很大空间。
  2. 指令微调总体有效但非普适——LLaVA 在指令微调后全指标提升(Stage +8.03、Step +7.21、Count +13.80);但 OMG-LLaVA 在指令微调后反而全面下降(Stage −18.94、Phase −7.91、Step −7.80、Count −7.95、分割 −17.07)。这个反差是重要的经验证据:跨域指令微调对某些模型架构可能引入域冲突。
  3. 分割难度高——即便是表现最好的 OMG-LLaVA(仅微调)也只有 53.96 mIoU,显微视野下细长缝线、微小针、血管夹等目标的像素级分割远未解决。

5.5 论文的核心结论

  • 域内稳定、跨域可迁移:单模型在 SurgMLLMBench 上训练后,跨异质手术环境保持稳定表现,无明显精度退化。
  • 过拟合风险:仅在某单数据集(如 EndoVis2018)微调的模型,会漏掉存在的器械掩码或产生虚假背景预测——过拟合到数据集特异视觉模式。
  • 命名约定不一致的隐性代价:跨数据集的器械命名约定不同,会导致数值准确率下降,即便模型预测在语义上仍然合理。这提示:跨数据集评测时,术语对齐(taxonomy harmonization)本身就是性能的一部分。
  • 未来方向:扩展时间与多模态覆盖(运动学、音频、深度)、拓宽动作 taxonomy 与实例跟踪、引入拓扑感知指标、评估实时可靠性与不确定性、面向临床部署的安全性。这些正是 MAVIS 当前缺失的标注类型。

5.6 MAVIS 在基准中的独特位置

综合来看,MAVIS 在 SurgMLLMBench 里有双重身份:

  • 作为数据贡献:它是六个数据集中唯一新采集的,补齐了显微外科域里"带像素级分割 + 工作流 + VQA"的数据空白。
  • 作为评测探针:它被刻意排除在指令微调之外,充当"未曾见过的手术域"——任何声称能跨域泛化的模型,都可以拿 MAVIS 来压力测试。

§6 获取与许可

6.1 获取方式

MAVIS 的获取路径干净直接:

项 内容
仓库 HuggingFace KIST-HARILAB/MAVIS
门控 gated = false(无需申请、无需登录即可下载)
许可 CC BY-NC-4.0(署名—非商业性使用 4.0 国际)
体量 2.95 GB(论文 Table 1)
格式 JPG(帧)+ PNG(分割掩码)+ JSON(long-term/short-term 标注)
下载量 155(2026-10-08 抓取)
点赞 0(同上)
最后更新 2026-02-09T23:59:14Z
聚合基准 KIST-HARILAB/SurgMLLMBench(同为 CC BY-NC-4.0)

论文原文明示:“available as a standalone dataset at huggingface.co/datasets/KIST-HARILAB/MAVIS”——即 MAVIS 可独立下载,不必依附于 SurgMLLMBench。

6.2 许可条款解读:CC BY-NC-4.0 意味着什么

CC BY-NC-4.0 = 署名 + 非商业性使用。对使用者的直接约束:

  • 可以:自由复制、分发、改编、用于学术研究、发表论文、训练模型(研究用途)。
  • 必须:署名(attribution),标注数据来源为 KIST-HARILAB/MAVIS 并引用 SurgMLLMBench 论文。
  • 不可以:任何以商业获利为目的的使用——包括用 MAVIS 训练的模型做商业部署(这是 NC 条款的常见争议区,实践中"非商业"的界定需谨慎,商用前建议咨询并联系作者)。

数据采集于人工血管模拟器上的操作,不涉及患者,因此无个人隐私(PHI)问题——这是它相对临床数据的一大获取优势。

6.3 与库内可获取性光谱的对照

在千方病案医数集的 AI-Ready 光谱上,MAVIS 属于**"公开直链"这一档——与 PanDA-PLUS 那样"掩码请求制 + 衍生基准公开"的双轨结构不同,MAVIS 本体就是公开直链,无申请门槛。其可获取性的唯一约束是 NC(非商业),而非访问控制。这是一类对研究者友好**、对商业用户受限的典型开放学术数据集。

6.4 AI-Ready 评估:一个"公开但非商业"的样本

从 AI-Ready 的角度看,MAVIS 的得分逻辑是:可发现性(HuggingFace 索引 + arXiv 引用链)与可访问性(gated=false 直链)都很强,互操作性(JPG/PNG/JSON + COCO 格式)亦好;唯一的减分项是许可的 NC 限制——它不是"不够开放",而是"开放给了研究、未开放给商业"。这类数据集的 AI-Ready 结论应表述为"研究可用性强、商业可用性受限",而非笼统的"高/低"。

§7 生态与影响

7.1 SurgMLLMBench 作为生态容器

MAVIS 的生态价值很大程度上寄生于 SurgMLLMBench。这个基准的意义在于它首次(就现有公开信息而言)把腔镜、机器人辅助、显微外科三大手术域统一到同一个 taxonomy 下,并同时支持工作流识别与像素级分割。它主张:手术 AI 的评测不应各自为政(各数据集一套标签、一种任务),而应有统一标尺。MAVIS 作为其中的显微外科代表,把这一主张延伸到了显微领域。

7.2 与显微外科数据生态的关系

显微外科长期是手术 AI 的数据洼地。库内可比的显微域数据集主要是 MISAW(rid 445)——显微吻合工作流识别挑战赛。MAVIS 的出现,使显微吻合工作流研究从"挑战赛单一数据"走向"有像素级分割 + VQA 的多任务数据"。此外,MAVIS 论文引用了 Jeong et al. 2025 的显微器械分割工作,说明 KIST 团队在显微器械分割方向有持续积累。

7.3 对多模态手术 AI 的影响

MAVIS 对多模态大模型研究的具体贡献是:提供了一个带像素级证据的、跨域的手术 VQA 测试点。传统手术 VQA 只问"这是哪一步",MAVIS 允许同时要求"并指出持针器在哪里"——这推动了"视觉-语言对齐"从纯文本答案向像素级 grounding 的扩展。论文用 LLaVA/OMG-LLaVA 的实验揭示的"step 难识别"“跨域指令微调可能掉点”"分割 mIoU 偏低"三点,是后续模型改进的明确靶子。

7.4 局限与争议

MAVIS 的影响力受限于其规模与来源单一:19 段视频、3 名医生、1 毫米人工血管、单一机构——这些在 §8 详述。它更像一个方法论示范与评测探针,而非大规模预训练语料。使用者应把它定位为"显微外科小样本基准",而非"显微手术基础模型训练数据"。

§8 局限:使用者必须知道的事

MAVIS 论文与数据集卡片均未大张旗鼓自曝短板,但代码/文档结构与数据规模本身已经暗示了若干边界。综合本研究,明确的局限有七条:

  1. 样本量小:19 段视频、10,652 帧。相对 Cholec80 的 18 万帧、MISAW 的 16 万帧,MAVIS 体量小一个数量级。训练大模型时容易过拟合。
  2. 术者单一:仅 3 名外科医生,全部来自同一机构(高丽大学医学院)。无法评估跨术者、跨机构、跨国别的泛化性。
  3. 对象为人工血管:操作对象是 1 毫米人工血管(simulator),非活体动物或人体。缺乏真实组织的弹性、出血、蠕动与生理反馈——"看起来像真的手术"和"就是真的手术"之间仍有距离。
  4. 无临床结局标签:数据只有过程性的工作流与器械标注,没有吻合通畅率、漏血压、血栓等临床终点。因此无法支撑"预测手术质量"类任务。
  5. 无固定划分:论文未提供官方的 train/val/test 划分,仅建议按术者或视频做跨集划分以避免受试者泄漏。使用者需自行定义划分,横向比较结果时须说明划分方式。
  6. 类别不均衡:工作流 step 分布不均(缝合/打结为主,切割/翻转稀少),稀有动作样本不足,直接训练会偏向高频类。
  7. 缺少细粒度时序与多模态信号:无实例跟踪、无深度、无运动学(kinematics)、无音频标注;1 FPS 采样也限制了精确时间定位。论文将这些列为 future work。

此外,器械类别数的正文双口径(7 vs 8)提示:使用者拿到掩码后应先自行核验实际类数,不要直接照搬论文正文的数字(见坑 1)。

§9 与库内条目的关系

9.1 家族图谱

MAVIS 与千方病案医数集内多条手术视觉/工作流条目构成家族关系:

库内条目 rid 关系
misaw 445 同显微外科域(MST)前身;MAVIS 论文引其为 workflow 先例,SurgMLLMBench 集成数据集之一
autolaparo 313 SurgMLLMBench 集成数据集(机器人辅助域,RAS)
cholec80 78 SurgMLLMBench 集成数据集(腔镜域);手术视频工作流识别标杆
endovis-challenges 79 含 EndoVis2018,SurgMLLMBench 集成数据集(RAS)
sar-rarp50 293 机器人辅助手术器械分割/动作识别近邻
m2cai16-tool 303 手术器械/工具检测近邻
cholect50 223 腔镜手术相位标注近邻
cholecseg8k 233 腔镜手术分割近邻
kvasir-instrument 213 内窥镜器械分割近邻
surgtoolloc-2022 821 手术工具定位近邻
endoscapes 353 腔镜场景分割近邻
lapgyn4 833 腔镜妇科手术近邻
heichole 756 腔镜手术近邻
pitvis 333 垂体手术工作流/器械近邻

9.2 互链理由与检索路径

最强互链点是 misaw(445)——同为显微血管吻合工作流数据集,域内最直接的前身,两篇论文互相引用可形成闭环。其次是 autolaparo(313)、cholec80(78) 与 endovis-challenges(79)——它们与 MAVIS 同为 SurgMLLMBench 的组成部分,是"同一基准的兄弟数据集",互链可帮助读者理解跨域统一评测的语境。

检索路径建议:

  • 找 MAVIS 本体:搜 “MAVIS” + “microsurgical” / “vascular anastomosis”;或直接 HF KIST-HARILAB/MAVIS。
  • 找一手论文:搜 “SurgMLLMBench”(MAVIS 无独立论文)。
  • 找同域数据:搜 “microsurgical anastomosis workflow” → MISAW;搜 “surgical workflow recognition benchmark” → SurgMLLMBench。
  • 找器械分割竞品:搜 “surgical instrument segmentation” → EndoVis / SAR-RARP50 / Kvasir-Instrument。

7.5 数据集设计的三条可迁移经验

从 MAVIS 的设计中可提炼三条对其他手术数据集有借鉴意义的做法:

  1. 采集者即标注者:让真正做手术的专家参与标注定义,能保证标签体系贴合临床,而非工程师的一厢情愿。MAVIS 的 stage/phase/step 之所以合理,正因它由三名外科医生(共同作者)审定。
  2. 一帧多用:同一批帧同时产出工作流标签、分割掩码与 VQA,摊薄了标注成本,也让不同任务的研究者共享同一数据底座。
  3. 保留真实的操作变异:不同医生按各自偏好完成吻合,这种顺序差异被保留而非标准化掉——它使数据集更接近真实世界的多样性,虽然也带来类别不均衡的代价。

7.6 与大规模手术视频数据集的对比定位

把 MAVIS 放在手术视频数据集的坐标里,它的位置清晰:体量小、标注密、域稀有。Cholec80(腔镜)、AutoLaparo(机器人辅助)动辄十万帧以上,但多为单任务标注;MAVIS 只有一万余帧,却同时带工作流、分割与 VQA,且落在最稀缺的显微外科域。因此它不应与 Cholec80 比"规模",而应与 MISAW 比"标注丰富度"、与 SurgMLLMBench 的兄弟数据集比"跨域代表性"。

7.7 对教育与培训的潜在价值

显微外科训练依赖师徒制与反复练习,反馈往往滞后。MAVIS 的 step 级标注为"自动技能评估"提供了素材:如果把持针、过针、放针、打结的时序特征建模,理论上可以对学员的动作序列与专家序列做对齐比对,指出偏差。这类应用目前只是方向性设想,MAVIS 未提供任何技能评分或专家-新手对照标签,落地仍需额外数据。

7.8 数据伦理与来源合规

MAVIS 使用人工血管模拟器,不涉及真实患者,因此不涉及个人健康信息(PHI)、知情同意与伦理审查中关于人体受试者的核心问题。这使它的获取与使用门槛显著低于临床数据集。使用者仍应遵守 CC BY-NC-4.0 的署名与非商业要求,并在发表时正确引用数据集与论文。

§8(续):局限的实践影响

前文已列七条局限,这里补充它们对具体工作的实践影响:

局限 对建模的影响 缓解建议
样本量小 易过拟合 强数据增强、迁移学习、冻结骨干
术者单一 跨术者泛化未验证 按术者做 leave-one-surgeon-out 划分
人工血管 与真实组织域差 结论限定于模拟场景
无结局标签 不能做质量预测 若需结局,另接临床数据
无固定划分 结果不可直接横向比 报告时写明划分协议
类别不均衡 偏向高频动作 重采样/加权/难例挖掘
缺时序与多模态 不能做精细时间定位 仅做帧级状态识别

8.1 与其他显微数据集的对比局限

若把 MAVIS 与显微外科领域其他可用资源并置,其"小样本"定位更清楚:MISAW 提供了约 16 万帧的显微吻合工作流数据,规模远大于 MAVIS,但原集不含像素级分割,VQA 亦缺。MAVIS 以更小的体量换取更密的标注,因此它不能替代 MISAW 做大规模训练,只能作为其补充与精细评测点。二者互补而非竞争:要规模选 MISAW,要细粒度多任务选 MAVIS。

8.2 使用 MAVIS 的推荐姿势

综合全部局限,MAVIS 的推荐用法有三种:

  1. 微调与评测 MLLM 的跨域能力:把 MAVIS 当"未见域",检验在腔镜/机器人数据上训好的模型是否退化。
  2. 显微器械分割的基准点:用七类掩码做 mIoU 对比,观察细长目标(针/线)的分割难点。
  3. 工作流建模方法验证:用小而精的 stage/phase/step 序列验证时序建模/转移约束方法。

不推荐的用法是把它当作"显微外科基础模型的预训练语料"——体量与术者多样性都不足以支撑这一目标。

§10 避坑清单:八个已踩过的坑

MAVIS 是较新的数据集(2025 年末发布),文档仍有未定稿痕迹,检索与使用时容易踩坑。以下八条按"坑 N:"编号,均来自一手的论文/README 比对。

坑 1:器械类别数 7 还是 8?
这是最需要警惕的口径冲突。论文正文同一节内出现两种说法:一处写 “seven categories of surgical instruments”(七类手术器械),另一处列 “eight classes: Background material, Forceps, Scissors, Vascular clamps, Needle holder, Vessel, Needle, and Thread”(八类,含 Background material)。HuggingFace README 写 “seven tool categories”,且图例表恰好列七类(forceps…thread,各带 RGB)。处置:以 HF 实际发放的掩码为最终依据——拿到数据后先跑一遍标签统计确认类数;论文里的 8 类可能把"背景材料"(非器械)计入,或为笔误。写论文引用时标注这一出入。

坑 2:Stage 的编号顺序与论文列举顺序不一致。
HF README 的 stage class id 顺序为 0=First tying、1=Second 120° tying、2=Second 180° tying、3=Front side tying、4=Flip、5=Back side tying;而论文正文列举顺序为 First tying / Second 180° tying / Second 120° tying / Front-side tying / Back-side tying / Flip。类别集合相同(都是 6 类),但 120° 与 180° 的次序、Flip 与 Back side tying 的次序都不同。处置:以 JSON 标签里的 class id 为准,不要凭论文叙述顺序推断 id。

坑 3:MAVIS 没有独立论文。
搜索 “MAVIS dataset paper” 或 “MAVIS microsurgery arXiv” 很可能指向无关结果。MAVIS 是 SurgMLLMBench 论文(arXiv:2511.21339)里新采集的数据集组件,所有一手信息都要从这篇论文取。引用时应引 SurgMLLMBench 论文 + HF 数据集仓库,而非臆造一篇 MAVIS 论文。

坑 4:分辨率有两个数字(1080 vs 1072)。
正文/一般描述给 1920 × 1080,但 HF README 被注释掉的采集细节里有 “Cropped frame size: 1920 × 1072 px”。处置:以 1920 × 1080 为主口径(搜索结果与概述一致),1072 是未定稿的裁切尺寸记载,引用时标注存疑。实践中直接读 frames 里 JPG 的实际尺寸最稳妥。

坑 5:总帧数有两个总口径(559,182 vs 561,418)。
SurgMLLMBench Table 1 的合计列同时出现 559,182 与 561,418 两个数字,来自不同列的口径(器械分割可标注帧 vs 全部帧,或含/不含某子集)。处置:报告全基准规模时注明口径来源;报告 MAVIS 本身时用 10,652(无歧义)。

坑 6:“seven tool categories” 与 step “eight categories” 别混淆。
README 里同时出现"七类工具"和 step 的"八类动作"(Needle holding / Needle passing / Needle dropping / 1st–3rd knot / Cutting / Flipping)。这两个数字分属器械分割与工作流 step两个不同维度,不是矛盾,别当成一处冲突处理。

坑 7:VQA 是模板生成,不是自然语言对话。
若把 MAVIS 的 VQA 当成开放式对话数据来训练/评测"对话流畅度",会失望——它的问题措辞由固定模板穷举,答案可枚举,设计目标是确定性监督。适用场景是"精确问答基准",不是"开放式推理"。

坑 8:许可 NC——别商用。
CC BY-NC-4.0 的 NC(非商业)条款容易被忽略。用 MAVIS 训练的模型若要商业部署,需先厘清 NC 边界并联系作者。学术使用则无碍,但务必署名。另注意:数据集许可(CC BY-NC-4.0)与论文许可(CC BY 4.0)不同——论文可自由使用(含商用),数据不可。

§11 总结

11.1 三句话总结

  1. MAVIS 是显微血管吻合术的工作流 + 器械分割多层级标注视频数据集:19 段视频、10,652 帧、1920×1080,帧级 6 阶段/4 相位/8 步工作流标注 + 七类器械像素级掩码 + 模板化 VQA。
  2. 它由 KIST 联合高丽大学医学院采集,是 SurgMLLMBench 中唯一新采集的数据集,被刻意排除在基准指令微调之外,充当多模态大模型的"未见显微手术域"泛化探针。
  3. 它公开直链(HF gated=false)、CC BY-NC-4.0,规模小、术者单一、对象为人工血管,更适合作为显微外科小样本基准与评测点,而非大规模预训练语料。

11.2 适合谁

  • 做手术工作流识别/相位预测的研究者——MAVIS 提供精细的 stage/phase/step 三级标签。
  • 做手术器械分割的团队——七类器械像素级掩码 + COCO 格式,即插即用。
  • 评测多模态大语言模型跨域泛化的研究者——MAVIS 是现成的"未见显微域"测试集。
  • 研究显微外科操作教学与技能分析的团队——三层级标注可直接映射操作规范。

11.3 不适合谁

  • 想用大规模数据预训练基础模型的团队——10,652 帧太小。
  • 做临床预后/结局预测的任务——MAVIS 无结局标签。
  • 需要精确时间边界动作检测或高帧率跟踪的任务——1 FPS 采样不够。
  • 商业部署——CC BY-NC-4.0 限制。

11.4 30 秒决策卡

你的需求 建议
要显微手术工作流标签 ✅ 直接用 long-term.json
要器械分割掩码 ✅ 直接用 segmentations/ + short-term.json(核验类数,坑 1)
要测多模态模型跨域泛化 ✅ MAVIS 是设计好的未见域探针
要大规模训练数据 ❌ 换 Cholec80 / MISAW
要临床结局标签 ❌ MAVIS 无
要商用 ⚠️ 需厘清 CC BY-NC-4.0 边界
引用入口 arXiv:2511.21339 + HF KIST-HARILAB/MAVIS

FAQ(高频问答 32 问)

A. 基础认知

  1. MAVIS 全称是什么? Micro-surgical Artificial Vascular anastomosIS(显微手术人工血管吻合)。
  2. MAVIS 是缩写吗? 是,取 “Micro-surgical Artificial Vascular anastomosIS” 各词首字母组合。
  3. MAVIS 属于哪个机构? KIST(韩国科学技术研究院)Center for Humanoid Research,联合高丽大学医学院。
  4. MAVIS 是挑战赛吗? 不是,是采集数据集,随 SurgMLLMBench 基准发布。
  5. 有独立论文吗? 没有,信息都在 SurgMLLMBench 论文(arXiv:2511.21339)。
  6. 什么时候发布的? 论文 arXiv v1 为 2025-11-26;HF 数据集卡片最后更新 2026-02-09。

B. 数据与获取

  1. 多少段视频、多少帧? 19 段视频,10,652 帧。
  2. 分辨率? 1920 × 1080(另有 1920 × 1072 的未定稿记载,坑 4)。
  3. 采样率? 1 FPS(从原始录像每秒抽一帧)。
  4. 操作对象是什么? 1 毫米人工血管的端端吻合。
  5. 几名医生? 3 名微血管吻合专家,配对本操作。
  6. 怎么分配视频? Surgeon 1 得 7 段(CASE01–07)、Surgeon 2 得 7 段(08–14)、Surgeon 3 得 5 段(15–19)。
  7. 在哪下载? HuggingFace KIST-HARILAB/MAVIS,gated=false。
  8. 要申请吗? 不用,直链下载。
  9. 体积多大? 2.95 GB。
  10. 许可? CC BY-NC-4.0(非商业)。

C. 标注细节

  1. 工作流几层? 三层:stage → phase → step。
  2. 几个 Stage? 6 个(First tying / Second 120° tying / Second 180° tying / Front side tying / Flip / Back side tying)。
  3. 几个 Phase? 4 个(Suturing / Knot tying / Cutting / Flip)。
  4. 几个 Step? 8 个(持针/过针/放针/1st-3rd knot/剪线/翻转夹)。
  5. 器械分割几类? HF 发放七类;论文正文另有含 Background material 的 8 类说法(坑 1)。
  6. 分割格式? COCO 多边形 + 逐帧 PNG 掩码。
  7. VQA 怎么生成的? 固定模板,非生成模型(坑 7)。
  8. 有几类 VQA 模板? 5 类(工作流/计数/类型/动作/来源)。
  9. 有 keypoint 标注吗? 有 segmentations_with_keypoint,但定义未展开(待核)。

D. 任务与评测

  1. 能做什么任务? 工作流识别、器械分割、器械计数、器械动作识别、跨域泛化评测。
  2. 评测指标? 工作流/计数/动作=accuracy;分割=mIoU。
  3. MAVIS 上最好的 Stage 结果? 75.70(LLaVA 指令微调 + MAVIS 微调)。
  4. Step 识别难吗? 难,最好也只有 44.80。
  5. 分割 mIoU 多少? 最好 53.96(OMG-LLaVA 仅微调)。
  6. 有官方划分吗? 没有,建议按术者/视频跨集划分。
  7. 和 MISAW 什么关系? 同显微外科域,MISAW 是工作流识别挑战赛,MAVIS 增加了像素级分割与 VQA。

E. 与基准的关系

  1. MAVIS 是 SurgMLLMBench 的一部分吗? 是,六个集成数据集之一,且是唯一新采集的。
  2. SurgMLLMBench 有独立仓库吗? 有,HF KIST-HARILAB/SurgMLLMBench(DOI 10.57967/hf/10269)。
  3. MAVIS 在基准里被用来训练吗? 不,它被排除在指令微调之外,专作未见域测试。
  4. 基准统合了几大域? 三域:腔镜(LS)、机器人辅助(RAS)、显微外科(MST)。
  5. 基准总规模? 六数据集合计约 561,418 帧 / 112.80 小时。
  6. 为什么要统一 taxonomy? 各数据集标签体系不同会导致评测不一致,统一后才能横向比模型。

F. 复现与工程

  1. 怎么在代码里加载? load_dataset("KIST-HARILAB/MAVIS") 或直接下载仓库解压(见附录 H)。
  2. 工作流标签在哪个文件? annotations/long-term.json。
  3. 分割多边形在哪个文件? annotations/short-term.json,掩码 PNG 在 annotations/segmentations/。
  4. 类别 id 从 0 开始吗? 是,器械 0–6(七类),stage 0–5,phase 0–3。
  5. 有 keypoint 文件吗? 有 annotations/segmentations_with_keypoint/,但定义未在 README 展开。
  6. 帧文件名格式? image_00001.jpg 之类,按 CASE 目录组织。
  7. 能直接算 mIoU 吗? 能,掩码是 PNG,按类计算 TP/FP/FN 即可。
  8. 预训练权重有提供吗? 论文报告了 LLaVA/OMG-LLaVA 微调结果,但未强调发布微调权重(需查 HF 组织页确认)。

G. 局限与选型

  1. 能用于商业产品吗? CC BY-NC-4.0 限制,需先厘清并经作者同意。
  2. 样本够训基础模型吗? 不够,10,652 帧适合微调/评测,不适合从头预训练。
  3. 术者多样吗? 不多,仅 3 名,同机构。
  4. 有无临床结局? 无,只有过程标注。
  5. 何时该选 MISAW 而非 MAVIS? 需要大规模显微工作流数据时选 MISAW;需要像素级分割 + VQA 时选 MAVIS。
  6. 何时该选查 Cholec80 而非 MAVIS? 研究腔镜/胆囊手术流程时。
  7. 3 名医生够吗? 对方法演示够,对泛化结论不够。
  8. 人工血管算不算"真手术"? 算显微操作模拟,不等于活体手术(§8)。

H. 写作与引用

  1. 怎么引用数据? 引 HF 仓库 + SurgMLLMBench 论文(arXiv:2511.21339)。
  2. 论文许可 vs 数据许可? 论文 CC BY 4.0,数据 CC BY-NC-4.0,别混。
  3. MAVIS 有没有独立 DOI? 数据集层未见独立 DOI;论文有 arXiv DOI。
  4. 全称怎么写? Micro-surgical Artificial Vascular anastomosIS(注意 anastomosIS 的大小写拼法)。
  5. 抓取时点要标吗? 要,downloads/lastModified 随时间变,标日期。
  6. 这个条目的一手来源是什么? SurgMLLMBench 论文 + HF KIST-HARILAB/MAVIS 卡片(2026-10-08 抓取)。

事实清单(硬事实 30 条)

  1. MAVIS 全称 Micro-surgical Artificial Vascular anastomosIS。
  2. 发布形式:SurgMLLMBench(arXiv:2511.21339)中新采集的数据集。
  3. arXiv 提交日期 2025-11-26(v1)。
  4. 论文 license:CC BY 4.0。
  5. 数据集 license:CC BY-NC-4.0。
  6. HF 仓库 KIST-HARILAB/MAVIS,gated=false,private=false。
  7. HF lastModified 2026-02-09T23:59:14Z。
  8. HF downloads 155,likes 0(2026-10-08 抓取)。
  9. 数据集体量 2.95 GB(论文 Table 1)。
  10. 视频 19 段(CASE01–CASE19)。
  11. 总帧数 10,652。
  12. 分辨率 1920 × 1080。
  13. 采样率 1 FPS。
  14. 操作对象 1 mm 人工血管端端吻合。
  15. 外科医生 3 名(高丽大学医学院,论文共同作者)。
  16. 视频分配:S1=7 段、S2=7 段、S3=5 段。
  17. 主刀 + 助手配对本操作。
  18. Stage 6 类。
  19. Phase 4 类(Suturing/Knot tying/Cutting/Flip)。
  20. Step 8 类。
  21. 器械分割:HF 七类(forceps/scissors/vascular_clamps/needle_holder/vessel/needle/thread)。
  22. 论文正文另列含 Background material 的 8 类。
  23. 分割格式 COCO 多边形 + 逐帧 PNG。
  24. VQA 5 类模板(工作流/计数/类型/动作/来源)。
  25. 目录含 frames/、annotations/long-term.json、short-term.json、segmentations/、segmentations_with_keypoint/。
  26. 指标:workflow/count/action=accuracy;segmentation=mIoU。
  27. Table 3 LLaVA(仅微调)Stage 67.67 / Phase 65.09 / Step 37.59 / Count 54.67。
  28. Table 3 LLaVA(指令微调+微调)Stage 75.70 / Phase 69.43 / Step 44.80 / Count 68.47。
  29. Table 3 OMG-LLaVA(仅微调)Stage 62.84 / Phase 63.63 / Step 37.28 / Count 55.46 / Seg 53.96。
  30. SurgMLLMBench 集成 6 数据集(Cholec80/EndoVis2018/AutoLaparo/GraSP/MISAW‡/MAVIS)。

术语表(30 条)

术语 全称/含义
MAVIS Micro-surgical Artificial Vascular anastomosIS
SurgMLLMBench 多模态大语言模型手术场景理解基准
MST Micro-Surgery(显微外科域标签)
RAS Robot-Assisted Surgery(机器人辅助手术域标签)
LS Laparoscopic Surgery(腔镜手术域标签)
anastomosis 吻合(把两段血管接合)
microvascular anastomosis 显微血管吻合
artificial vessel 人工血管(本数据集的操作对象)
stage 阶段(工作流最高层,6 类)
phase 相位(工作流中层,4 类)
step 步骤(工作流细粒度动作,8 类)
suturing 缝合
knot tying 打结
cutting 剪线
flip 翻转(暴露血管背侧)
needle holding 持针
needle passing 过针
needle dropping 放针
forceps 镊子
scissors 剪刀
vascular clamps 血管夹
needle holder 持针器
vessel 血管
needle 缝合针
thread 缝线
MLLM Multimodal Large Language Model(多模态大语言模型)
VQA Visual Question Answering(视觉问答)
mIoU mean Intersection over Union(平均交并比)
COCO Common Objects in Context(一种多边形标注格式)
DAIMS Discoverability/Accessibility/Interoperability/Metadata/Sustainability

附录

附录 A:条目信息速查卡

项 内容
标题 MAVIS (mavis) — 显微血管吻合术工作流与器械分割视频数据集
官方全称 Micro-surgical Artificial Vascular anastomosIS
论文 arXiv:2511.21339(2025-11-26)
机构 KIST + 高丽大学医学院
数据 19 视频 / 10,652 帧 / 1920×1080 / 2.95 GB
任务 工作流识别 + 器械分割 + 计数 + 动作 + 跨域评测
许可 CC BY-NC-4.0
仓库 HF KIST-HARILAB/MAVIS
库内互链 misaw(445)、autolaparo(313)、cholec80(78)、endovis-challenges(79)

附录 B:DAIMS 评估全表

维度 评估 说明
D 可发现性 强 HuggingFace 索引 + arXiv 引用链 + 论文点名
A 可访问性 强 gated=false 直链,无申请门槛
I 互操作性 强 JPG/PNG/JSON + COCO 多边形格式
M 元数据 中 HF card + README + 论文表格;采集设备型号、keypoint 定义未公开
S 可持续性 中 HF + arXiv 双托管;无独立 DOI(数据集层);版本更新记录有限

附录 C:逐项证据链自证

论断 证据来源
19 视频 / 10,652 帧 论文 Table 1;HF README;论文 §3 MAVIS Dataset Statistics
3 名医生 / 分配 HF README(注释块);论文 §3.1
1920×1080 / 1 FPS 论文 §3.1;ar5iv HTML
6 stage / 4 phase / 8 step 论文 §3.2;HF README 层级表
七类器械 + RGB HF README 图例表
论文 8 类说法 论文 §3.2(含 Background material)
CC BY-NC-4.0 HF cardData license 字段
downloads 155 HF API datasets/KIST-HARILAB/MAVIS
Table 3 结果 论文 Table 3
SurgMLLMBench 6 数据集 论文 §Dataset Comparison

附录 D:数据获取决策树

要获取 MAVIS?
├─ 要原始帧+标注 → HF KIST-HARILAB/MAVIS(gated=false,直链)
│   ├─ 只要工作流 → annotations/long-term.json
│   ├─ 要器械分割 → annotations/short-term.json + segmentations/
│   └─ 要 keypoint → segmentations_with_keypoint/(定义待核)
├─ 要整个基准(6 数据集)→ HF KIST-HARILAB/SurgMLLMBench
└─ 要商用?→ 停下,先厘清 CC BY-NC-4.0 边界并联系作者

附录 E:工作流层级对照表

Stage Phases 典型 Steps
First tying Suturing/Knot tying/Cutting 持针→过针→放针→1st/2nd/3rd knot→剪线
Second 120° tying 同上 同上(站位旋转 120°)
Second 180° tying 同上 同上(站位旋转 180°)
Front side tying 同上 同上(正面额外交互结)
Flip Flip Flip clamp(翻转血管夹)
Back side tying 同上 同上(背侧打结)

附录 F:器械类别表(HF 口径)

ID 名称 RGB
0 forceps (253, 0, 26)
1 scissors (43, 253, 62)
2 vascular_clamps (0, 43, 249)
3 needle_holder (255, 253, 66)
4 vessel (253, 40, 250)
5 needle (38, 255, 254)
6 thread (198, 161, 251)

附录 G:SurgMLLMBench 六数据集对照表

数据集 域 帧数 时长(h)
Cholec80 LS 184,498 51.25
EndoVis2018 RAS 2,235 1.58
AutoLaparo RAS 83,243 23.13
GraSP RAS 116,515 32.37
MISAW‡ MST 164,275 1.52
MAVIS MST 10,652 2.95
合计 — 561,418 112.80

(MAVIS 帧数按"视频小时 2.95"折算,与 Table 1 的 10,652 帧标注一致;MISAW‡ 含补充分割标注。)

附录 H:MAVIS 加载与评估骨架(伪代码)

# 1. 加载(HuggingFace datasets)
# from datasets import load_dataset
# ds = load_dataset("KIST-HARILAB/MAVIS")   # 或直接下载仓库解压

# 2. 读工作流标注
# import json
# long_term = json.load(open("annotations/long-term.json"))
#   -> 每帧的 stage / phase / step

# 3. 读器械分割
# short_term = json.load(open("annotations/short-term.json"))
#   -> 每帧七类器械 COCO 多边形;掩码 PNG 在 segmentations/

# 4. 核验类数(坑 1)
# classes = set(ann["category_id"] for ann in short_term["annotations"])
# print(len(classes))   # 期望 7

# 5. 工作流识别评测:accuracy = 预测文本 == 参考标签
# 6. 器械分割评测:mIoU = mean over classes of TP/(TP+FP+FN)

附录 I:统计指标公式表

指标 公式 用途
Accuracy (1/N)·Σ 1[ŷᵢ=yᵢ] 工作流/计数/动作识别
IoU_c TP_c/(TP_c+FP_c+FN_c) 单类分割
mIoU (1/C)·Σ IoU_c 全部器械类平均

附录 J:坑点档案(与 §10 对照)

坑 一句话 处置
1 器械 7 类 vs 8 类 以 HF 掩码实际类数为准
2 Stage 编号顺序与论文列举不同 以 JSON class id 为准
3 无独立论文 引 SurgMLLMBench
4 分辨率 1080 vs 1072 以 1080 为主,读实际 JPG
5 总帧数 559,182 vs 561,418 注明口径
6 “七类工具” vs step “八类” 分属不同维度,非矛盾
7 VQA 模板生成 当确定性基准用
8 CC BY-NC-4.0 别商用

附录 K:双口径登记表

项 口径 A 口径 B 采用
器械类数 7(HF 图例) 8(论文含 Background material) 以 HF 为准,正文存照
Stage 顺序 HF class id 0–5 论文列举顺序 以 class id 为准
分辨率 1920×1080 1920×1072(未定稿) 1080 为主
总帧数 559,182 561,418 注明口径
论文/数据许可 论文 CC BY 4.0 数据 CC BY-NC-4.0 分别标注

附录 L:MAVIS vs MISAW 对照表

维度 MISAW MAVIS
类型 挑战赛 采集数据集
域 MST MST
帧数 164,275 10,652
像素级分割 原集无(后补) 原生七类
VQA 无 5 类模板
定位 工作流识别挑战 多任务 + 跨域探针

附录 M:与库内显微/手术条目的关系声明

MAVIS 与 misaw(445) 同属显微外科(MST)域,为域内最直接互链对象;与 autolaparo(313)、cholec80(78)、endovis-challenges(79) 同为 SurgMLLMBench 集成数据集,构成"跨域统一基准"家族;与 sar-rarp50(293)、m2cai16-tool(303)、kvasir-instrument(213)、surgtoolloc-2022(821) 共享手术器械分割/定位任务;与 cholect50(223)、cholecseg8k(233)、endoscapes(353)、lapgyn4(833)、heichole(756)、pitvis(333) 共享手术工作流/场景理解任务。

附录 N:许可条款细读(双许可)

对象 许可 含义
数据集(HF) CC BY-NC-4.0 署名 + 非商业;可研究、不可商用
论文(arXiv) CC BY 4.0 署名;可自由使用含商用
聚合基准(HF) CC BY-NC-4.0 同数据集

注意:论文(CC BY 4.0)与数据集(CC BY-NC-4.0)许可不同——引用论文图片/文字与使用数据集是两回事。

附录 O:检索路径示范

目标 推荐查询式 预期命中
一手论文 “SurgMLLMBench” arXiv:2511.21339
数据仓库 site:huggingface.co KIST-HARILAB MAVIS HF 数据集页
同域前身 “microsurgical anastomosis workflow” MISAW
器械分割竞品 “surgical instrument segmentation” EndoVis / SAR-RARP50
反例(勿用) “MAVIS dataset paper”(当独立论文搜) 无独立论文(坑 3)

附录 P:基于本数据集的研究检查清单(12 项)

  1. 许可核对:用途是否落在非商业范围(坑 8)?商用先联系作者。
  2. 类数核验:拿到掩码先统计实际类数(坑 1)。
  3. Stage id 对齐:用 JSON class id,勿凭论文顺序推断(坑 2)。
  4. 划分声明:无官方划分,自定按术者/视频跨集,并写明(避免受试者泄漏)。
  5. 类别不均衡:训练前统计 step 分布,对稀有类(切割/翻转)做加权或重采样。
  6. 1 FPS 限制:不做精确时间边界动作检测;时序窗口按 1 秒间隔设定。
  7. 对象限定:结论限于人工血管模拟,勿外推到活体/人体(§8)。
  8. 无结局声明:不做临床预后任务(§8)。
  9. VQA 用途:当确定性基准,不当开放对话(坑 7)。
  10. 引用完整:数据引 HF 仓库 + SurgMLLMBench 论文。
  11. 总帧数口径:报告全基准规模时注明 559,182/561,418 口径(坑 5)。
  12. 时点存照:downloads/lastModified 注明抓取日期(2026-10-08)。

附录 Q:本条目生产档案

  • 生产通道:AI-Ready Wikipedia 写手代理 agent-f-mavis
  • 事实研究:WebSearch×1 + WebFetch×4(含 1 次失败)+ HF 镜像 API 抓取 + arXiv HTML 解析
  • FACTS.md:writing/mavis/FACTS.md 九节
  • 成稿方式:五块直写私有区拼接(part1–part5)
  • 坑点:§10 八则("坑 N:"编号制)
  • description:≤170 字符
  • 互链计划:misaw(445)、autolaparo(313)、cholec80(78)、endovis-challenges(79)

附录 R:缩写速查

缩写 全称
MAVIS Micro-surgical Artificial Vascular anastomosIS
KIST Korea Institute of Science and Technology
MLLM Multimodal Large Language Model
VQA Visual Question Answering
mIoU mean Intersection over Union
MST/RAS/LS Micro-Surgery / Robot-Assisted Surgery / Laparoscopic Surgery
COCO Common Objects in Context
DAIMS Discoverability/Accessibility/Interoperability/Metadata/Sustainability
HF HuggingFace
PHI Protected Health Information

尾注

本条目为千方病案医数集 AI-Ready Wikipedia 条目,基于公开一手来源(SurgMLLMBench 论文 arXiv:2511.21339 与 HuggingFace KIST-HARILAB/MAVIS 数据集卡片)撰写,抓取时点 2026-10-08。所有硬数字均标注来源;正文双口径冲突已在 §10 与附录 K 存照。数据集许可 CC BY-NC-4.0,非商业使用;引用请注明数据集来源与论文。

附录 S:工作流识别的类目全表(HF README 口径)

Stage(6 类):0 First tying|1 Second 120° tying|2 Second 180° tying|3 Front side tying|4 Flip|5 Back side tying

Phase(4 类):0 Suturing|1 Knot tying|2 Cutting|3 Flip

Step(8 类):0 Needle holding|1 Needle passing|2 Needle dropping|3 1st knot|4 2nd knot|5 3rd knot|6 Cutting|7 Flip clamp

(注:论文叙述的 stage 列举顺序与 HF class id 不同,以本表 class id 为准,坑 2。)

附录 T:VQA 模板全表

模板类 示例问题 生成条件
工作流查询 Which stage, phase, and step are shown? 始终生成
器械计数 How many surgical tools are visible? 始终生成
器械类型 Which instruments are present? 有对应标签时
器械动作 What action is the needle holder performing? 有对应标签时
数据集来源 What is the source of this dataset? 用于域区分

附录 U:SurgMLLMBench Table 1 完整转写

数据集 域 Video Hour Total Frames
Cholec80 LS 51.25 184,498
EndoVis2018 RAS 1.58 2,235
AutoLaparo RAS 23.13 83,243
GraSP RAS 32.37 116,515
MISAW‡ MST 1.52 164,275
MAVIS MST 2.95 10,652
合计 — 112.80 561,418

(Table 1 另列 559,182 为另一列口径,坑 5。)

附录 V:Table 2 / Table 3 结果登记表(论文口径)

Table 3(MAVIS 专项):

方法 设置 Stage Phase Step Count Seg
LLaVA 仅微调 67.67 65.09 37.59 54.67 —
LLaVA 指令+微调 75.70 69.43 44.80 68.47 —
OMG-LLaVA 仅微调 62.84 63.63 37.28 55.46 53.96
OMG-LLaVA 指令+微调 43.90 55.72 29.48 47.51 36.89

Observations:①Step 最难;②指令微调对 LLaVA 全面提升、对 OMG-LLaVA 全面下降;③分割 mIoU 普遍偏低(最高 53.96)。

附录 W:维护计划与触发点

触发点 动作
HF 版本更新(lastModified 变化) 复核规模/许可,更新抓取时点
论文更新/正式发表 替换 arXiv 预印本引用为正式出处
出现 MAVIS 独立论文 在本条目补录并修订"无独立论文"表述
downloads 大幅变动 更新 §6 抓取数字
下游引用涌现 补录生态影响与典型应用

附录 X:检索卫生两条

一、凡命中 “MAVIS dataset paper” 字样的结果,多半指向无关的机器人系统(μSTAR 等)或其他同名项目——MAVIS 作为数据集没有独立论文,认准 SurgMLLMBench。二、HF 卡片上的 downloads/likes 随时间滚动,引用时存照抓取日期(本条目为 2026-10-08)。

附录 Y:给数据使用者的三步上手

  1. 下载解压:HF KIST-HARILAB/MAVIS → frames/ + annotations/。
  2. 核验类数:统计 short-term.json 的 category 数(应 7),确认与 HF 图例一致(坑 1)。
  3. 选任务加载:工作流读 long-term.json;分割读 short-term.json + segmentations/;VQA 按模板自行实例化(或直接用聚合基准 SurgMLLMBench)。

附录 Z:常见误用与正确姿势对照

误用 后果 正确姿势
用论文的 “8 类” 预设掩码类数 代码按 8 类读标签,索引错位 先统计实际类数(7),再定配置
按论文 stage 叙述顺序设 class id 类别错位 按 JSON class id(附录 S)
拿 MAVIS 从头预训练 严重过拟合 只做微调/评测
把 VQA 当开放对话 评测失真 当确定性问答基准
随机划分 train/test 受试者泄漏,指标虚高 按术者/视频跨集划分
忽略 NC 条款商用 许可违约 商用前联系作者
引用 “MAVIS 论文” 找不到出处 引 SurgMLLMBench

附录 AA:与库内条目的互链计划

条目 rid 互链理由
misaw 445 同显微外科域(MST),工作流识别前身
autolaparo 313 SurgMLLMBench 同基准数据集
cholec80 78 SurgMLLMBench 同基准数据集(腔镜标杆)
endovis-challenges 79 SurgMLLMBench 同基准数据集(EndoVis2018 出处)
sar-rarp50 293 机器人辅助手术器械分割近邻
m2cai16-tool 303 手术器械检测近邻
kvasir-instrument 213 内窥镜器械分割近邻

发布后建议在 misaw(445) 与 autolaparo(313) 条目正文补入指向本条的家族导航。

附录 AB:三层索引(速查入口)

想了解 去看
数据集是什么 §0 导读、§1 十问十答
规模和规格 §2 数据构成
标注体系 §3 标注体系、附录 S/T
能做什么任务 §4 工作任务
评测结果 §5 基准、附录 V
怎么获取/许可 §6 获取与许可、附录 N
坑与注意 §10 避坑清单、附录 J/K

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • 3dreasonknee — 共享标签:医学影像 / 医学图像分割 / 多模态 / 视觉问答 / 评测基准
  • medvidqa — 共享标签:医学影像 / 手术视频 / 视觉问答 / 评测基准
  • thompson-challenge — 共享标签:医学影像 / 手术视频 / 视觉问答 / 评测基准
  • medical-cxr-vqa-dataset — 共享标签:医学影像 / 多模态 / 视觉问答 / 评测基准
  • vqa-med — 共享标签:医学影像 / 多模态 / 视觉问答
  • cataract-101 — 共享标签:医学影像 / 手术视频 / 多模态
  • empiar — 共享标签:医学图像分割 / 多模态 / 评测基准
  • polypgen — 共享标签:医学影像 / 手术视频 / 医学图像分割 / 评测基准
  • kvasir-instrument — 共享标签:医学影像 / 手术视频 / 医学图像分割
  • cadis — 共享标签:医学影像 / 手术视频 / 医学图像分割

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集