信息速览
INFOBOX — MAVIS 一屏速览
维度 内容 本质 显微血管吻合术工作流 + 器械分割多层级标注视频数据集(非挑战赛、非新采集影像学数据) 全称 Micro-surgical Artificial Vascular anastomosIS 团队 KIST Center for Humanoid Research + 高丽大学医学院(采集者即论文共同作者) 论文 arXiv:2511.21339(SurgMLLMBench,2025-11-26 提交,CC BY 4.0) 数据 19 段视频 / 10,652 帧;1920×1080;1 FPS 采样;3 名专家外科医生配对本操作 对象 1 mm 人工血管(artificial vessel)吻合,非活体/人体 工作流 6 Stage × 4 Phase × 8 Step 三层级帧级标注 分割 七类器械像素级多边形掩码(COCO 格式,逐帧 PNG);论文另列含 Background material 的 8 类 VQA 5 类模板问答(工作流/器械计数/器械类型/器械动作/数据集来源) 定位 SurgMLLMBench(6 数据集统一基准)中唯一新采集的显微外科数据集 获取 HuggingFace KIST-HARILAB/MAVIS 公开直链,gated=false,downloads 155 许可 CC BY-NC-4.0(非商业);论文 CC BY 4.0 库内互链 MISAW(显微吻合工作流前身)、AutoLaparo(RAS 工作流)、Cholec80(腔镜工作流)
MAVIS 是一个把"显微镜下的手上功夫"翻译成机器可读标签的数据集。它记录的是一台经典显微外科操作——在直径约 1 毫米的人工血管上缝合打结,做端端吻合——由三名高丽大学医学院的微血管吻合专家在两台摄像机下完成,共 19 段视频。数据集把每一帧都拆成三层信息:这一步在整台手术的哪个阶段(stage)、哪个相位(phase)、哪个动作(step);画面里的器械分别落在哪个像素区域(器械分割掩码);以及一组合成的问答对(VQA),供多模态大语言模型(MLLM)练习"看图回答问题"。MAVIS 不满足于做一个孤立的视频集合,它是 SurgMLLMBench 这个跨腔镜、机器人辅助、显微三大域的统合基准里,唯一一个新采集的数据集——其余五个都是从既有公开数据集整合而来。
导语读法三则:
- 只想下数据:直奔 §6 获取与许可——HuggingFace 直链,gated=false,CC BY-NC-4.0,注意是非商业许可。
- 做工作流/分割模型:直奔 §2 数据构成与 §4 工作任务——三层级体系与七类器械掩码的类目定义是关键。
- 评测多模态大模型:直奔 §5 评测与基准——MAVIS 被刻意排除在 SurgMLLMBench 指令微调之外,专门用作"未见数据集"泛化测试。
§0 导读:这个数据集解决什么问题
显微外科是外科里最"手巧"的细分领域之一:血管直径只有一两毫米,缝合针脚以微米计,术者的手部动作在显微镜下被放大数十倍。长期以来,这一领域的 AI 研究受困于一个尴尬的现实——公开数据集稀少且不成体系。腔镜手术有 Cholec80、机器人辅助手术有 AutoLaparo 与 SAR-RARP50,但显微外科(microsurgery)可供训练与评测的视频数据屈指可数,显微血管吻合这一最基础的操作更是没有大规模、带像素级标注的公开集合。
MAVIS 的定位正是补这个缺口。它由韩国科学技术研究院(KIST)的人形机器人研究中心联合高丽大学医学院采集,对象是 1 毫米人工血管的端端吻合操作。它的设计有三个层次:
- 数据层:19 段视频、10,652 帧,覆盖完整吻合流程(从第一针缝合到翻面打结),每帧导出工作流标签与器械分割掩码,格式规整(JPG/PNG/JSON,COCO 多边形)。
- 标注层:工作流按外科教学里成熟的 stage–phase–step 三级分解——这是显微外科操作规范的自然结构,直接对应术中"现在该做什么"的推理问题;分割则逐像素标出七类器械与组织,
- 基准层:MAVIS 以独立 HF 数据集发布,同时作为 SurgMLLMBench 的新采集组件,被刻意排除在该基准的指令微调数据之外,充当"模型从没见过的手术域"来检验多模态大模型(如 LLaVA、OMG-LLaVA)的跨域泛化能力。
换言之,MAVIS 想回答两个具体问题:机器人/AI 能不能看懂显微手术正在进行的哪一步? 以及 在腔镜数据上训出来的多模态模型,遇到显微镜下的画面会不会失灵?
§0 读法三则:
- 这个条目是"数据集 + 基准组件"二合一:MAVIS 本体是 19 段带标注视频,但它的评测意义要在 SurgMLLMBench 的语境里才完整(§5)。
- 全文数字以 HF 数据集卡片(KIST-HARILAB/MAVIS)与论文 arXiv:2511.21339 的 Table 1/Table 3 为准;器械类别数的正文双口径已在坑 1 存照。
- 检索时注意:MAVIS 无独立专论文,所有一手信息来自 SurgMLLMBench 论文——搜 “MAVIS dataset paper” 会一无所获,应搜 SurgMLLMBench。
§1 数据集速览:十问十答
Q1:MAVIS 记录的是什么手术?
1 毫米人工血管(artificial vessel)的端端吻合(anastomosis)操作——这是显微外科最基础也最考验手感的训练科目。由高丽大学医学院三名微血管吻合专家(同时是论文共同作者)录制,每台由主刀(lead surgeon)与助手(assistant)配对完成。
Q2:19 段视频怎么分配给三名医生?
CASE 01–07 属 Surgeon 1(7 段)、CASE 08–14 属 Surgeon 2(7 段)、CASE 15–19 属 Surgeon 3(5 段)。每对医生按自己偏好的技术路径完成完整吻合序列,因此各段的操作顺序可能不同。
Q3:视频规格?
分辨率 1920 × 1080,按 1 FPS 时间采样为帧——即从原始录像里每秒抽一帧,最终得到 10,652 帧。1 FPS 的稀疏采样兼顾了标注成本与分析需要。(HF README 注释块另有一处未定稿的 “1920 × 1072 px” 裁切尺寸记载。)
Q4:帧级标注有哪些?
两类:工作流(stage/phase/step 三层级)与器械分割(像素级多边形掩码)。二者空间与时间上对齐——同一帧既有"正在打第几个结"的文字标签,也有"持针器此刻在画面哪块区域"的像素标注。
Q5:工作流三层级具体是什么?
6 个 Stage:First tying、Second 120° tying、Second 180° tying、Front side tying、Flip、Back side tying(打结的六种站位/朝向)。4 个 Phase:Suturing、Knot tying、Cutting、Flip。Step 细到动作:持针、过针、放针、打第 1/2/3 个结、剪线、翻转血管夹。
Q6:器械分割有几类?
HuggingFace 数据集实际发放的是七类器械:forceps(镊子)、scissors(剪刀)、vascular_clamps(血管夹)、needle_holder(持针器)、vessel(血管)、needle(缝合针)、thread(缝线),每类附 RGB 颜色码,用 COCO 多边形标注。论文正文另有一处写成含 Background material 的 8 类——这个双口径见坑 1。
Q7:VQA 标注是怎么来的?
用固定模板生成,而非用 GPT 之类生成模型自由发挥。分 5 类模板:工作流查询(“这是哪个 stage/phase/step?”)、器械计数、器械类型、器械动作、数据集来源。工作流与计数模板必生成,类型与动作模板在有对应标签时才生成。论文明确解释:手术场景理解需要高精度、确定性的监督,自由生成会引入语言变体与语义不一致。
Q8:MAVIS 和 SurgMLLMBench 什么关系?
MAVIS 是 SurgMLLMBench 六个集成数据集里唯一新采集的一个,其余五个(Cholec80、EndoVis2018、AutoLaparo、GraSP、MISAW)都是既有数据集。两者都在 HuggingFace 公开发布,MAVIS 可单独下载(standalone)。
Q9:现在能拿到什么、怎么拿?
HuggingFace 仓库 KIST-HARILAB/MAVIS,gated=false,无需申请即可下载;许可 CC BY-NC-4.0(非商业)。下载量 155、点赞 0(2026-10-08 抓取时点)。
Q10:为什么它对 AI-Ready 重要?
它是"稀缺域补齐 + 多任务对齐 + 公开直链"的组合样本:显微外科是手术 AI 的数据洼地,MAVIS 用可公开获取的方式补齐了工作流识别与器械分割两类任务,还让多模态大模型能在"未曾见过的手术域"上接受检验——对 AI-Ready 谱系而言,它是显微手术域的少数据点。
§2 数据构成与规格
2.1 规模、来源与采集构成
MAVIS 的全部数据来自 KIST 与高丽大学医学院的一次定向采集,共 19 段视频、10,652 帧:
| 维度 | 规格 |
|---|---|
| 视频段数 | 19 段(CASE01–CASE19) |
| 总帧数 | 10,652 帧(1 FPS 采样) |
| 分辨率 | 1920 × 1080 |
| 操作对象 | 1 mm 人工血管端端吻合 |
| 术者 | 3 名微血管吻合专家(高丽大学医学院,论文共同作者) |
| 术者分配 | Surgeon 1:CASE01–07(7 段);Surgeon 2:CASE08–14(7 段);Surgeon 3:CASE15–19(5 段) |
| 编排 | 主刀 + 助手配对操作 |
| 采集方 | KIST Center for Humanoid Research |
| 体量 | 2.95 GB(论文 Table 1 口径) |
采集者即标注者:三名外科医生是论文共同作者,工作流标注由其结合真实临床流程构建,这一点保证了 stage/phase/step 划分贴合临床语义,而非工程师凭想象定义。
2.2 目录结构与文件格式
HF 仓库的目录结构规整,原始帧、标注文件、分割掩码分列:
MAVIS/
├── frames/
│ ├── CASE01/
│ │ ├── image_00001.jpg
│ │ └── ...
│ ├── ...
├── annotations/
│ ├── long-term.json # stage/phase/step 工作流标签(逐帧)
│ ├── short-term.json # 七类器械多边形掩码(逐帧)
│ ├── segmentations/
│ │ ├── CASE01/
│ │ │ ├── image_00001.png
│ │ │ └── ...
│ │ ├── ...
│ └── segmentations_with_keypoint/
│ ├── CASE01/
│ │ └── ...
├── fig/
└── README.md
- frames/:原始帧,JPG 格式,按 CASE 分目录。
- annotations/long-term.json:长时程工作流标签——每帧的 stage/phase/step,刻画手术的时间推进。
- annotations/short-term.json:短时程器械标注——每帧七类器械的多边形坐标(COCO 格式)。
- annotations/segmentations/:逐帧分割掩码 PNG(与帧同名对应)。
- annotations/segmentations_with_keypoint/:带关键点(keypoint)的分割掩码变体(README 未展开 keypoint 定义,属待核项,见 §9)。
这种"原始帧 / 工作流 JSON / 分割 PNG 三件套"的结构,使工作流识别(读 long-term)与器械分割(读 segmentations)两类任务从同一套原始帧出发各自建模,无需重复解码视频。
2.3 工作流三层级:Stage → Phase → Step
MAVIS 的工作流标注采用外科教学与流程分析里成熟的 stage–phase–step 三级分解。层级自上而下细化,“一个 stage 含若干 phase,一个 phase 含若干 step”:
6 个 Stage(打结站位/朝向):
| Stage Class ID | 名称 | 含义 |
|---|---|---|
| 0 | First tying | 打第一个结(成结) |
| 1 | Second 120° tying | 相对首结旋转 120° 处打第二个结 |
| 2 | Second 180° tying | 相对首结旋转 180° 处打第二个结 |
| 3 | Front side tying | 正面额外交互结(介于第一、第二结之间) |
| 4 | Flip | 翻转血管夹以暴露背侧 |
| 5 | Back side tying | 背侧打结(介于第一、第二结之间) |
注:论文正文列举顺序为 First tying / Second 180° tying / Second 120° tying / Front-side tying / Back-side tying / Flip,与 HF README 的 class id 编号顺序不同——类别相同、编号次序不同,已在坑 2 存照。
4 个 Phase(操作相位):Suturing(缝合)|Knot tying(打结)|Cutting(剪线)|Flip(翻转)。每个 stage 都按这四个相位细分,构成操作的基本循环。
8 个 Step(细粒度动作):Needle holding(持针)|Needle passing(过针)|Needle dropping(放针,在约 5 点钟位置释放以利打结)|1st knot|2nd knot|3rd knot|Cutting(剪线)|Flip clamp(翻转血管夹)。其中打结的三次 wrap 被拆为三个独立 step,体现了显微打结"三圈不同方向"的技术细节。
这一体系的实用价值在于:它把"整台吻合手术"变成一个可分解、可预测、可计时的序列——这正是手术工作流识别与相位预测(phase anticipation)研究要建模的对象。
2.4 器械分割:七类器械的像素级标注
器械分割标注为像素级多边形掩码,格式遵循 COCO,HF README 给出的类别与颜色码如下:
| Class ID | 类别 | RGB 颜色 |
|---|---|---|
| 0 | forceps(镊子) | (253, 0, 26) |
| 1 | scissors(剪刀) | (43, 253, 62) |
| 2 | vascular_clamps(血管夹) | (0, 43, 249) |
| 3 | needle_holder(持针器) | (255, 253, 66) |
| 4 | vessel(血管) | (253, 40, 250) |
| 5 | needle(缝合针) | (38, 255, 254) |
| 6 | thread(缝线) | (198, 161, 251) |
从类目分布看任务重心:论文统计各器械出现频次时指出,Vessel 与 Thread 出现最频繁,其后是 Forceps、Vascular clamps 与 Needle holder——这精准反映了"缝合与打结是显微血管吻合的核心操作"这一事实。缝线与血管作为被操作对象出现频率最高,而器械则按参与操作的程度次第出现。
同一帧内可同时出现多个器械/组织实例,因此掩码不仅支持语义分割,也天然支持实例分割、器械检测、器械跟踪与动作识别等下游视觉任务。关于类目数的正文双口径(7 类 vs 含 Background material 的 8 类)见坑 1。
2.8 图像内容与视觉特征
MAVIS 的画面是典型显微外科视野:一台显微镜下的特写,中央是约 1 毫米的人工血管,两段断端被血管夹相对固定;术者通过持针器运针、镊子牵拉组织、剪刀剪线,一根极细的缝线在血管壁上来回穿行。视觉上有几个鲜明特征,也是这类数据"难"的根源:
- 细长微小目标:缝合针与缝线的像素占比极小,且形状细长弯曲,分割时边界模糊、易断裂——这解释了为什么论文里分割 mIoU 普遍偏低。
- 器械频繁遮挡与交互:持针器、镊子、剪刀在同帧内交叠出现,实例边界互相遮盖,考验实例分割。
- 背景高度相似:人工血管与背景材质色调接近,缺乏强纹理对比,模型难靠颜色区分。
- 多视角/朝向变化:随 stage 切换(翻面、旋转打结),画面朝向与工作区位置变化,同一器械的外观随视角改变。
这些特征决定了 MAVIS 不是"简单分割"数据集:它要求模型在低对比、小目标、多交互的显微视野下工作。
2.9 数据体量与标注密度的对比
把 MAVIS 与库内/基准内数据集对照,可见其定位:
| 数据集 | 帧数 | 工作流标注 | 像素级分割 | VQA |
|---|---|---|---|---|
| Cholec80 | 184,498 | ✅(phase) | ❌(原集) | 部分 |
| AutoLaparo | 83,243 | ✅ | ❌(原集) | 部分 |
| MISAW‡ | 164,275 | ✅ | ✅(补充) | 部分 |
| MAVIS | 10,652 | ✅(stage/phase/step) | ✅(原生七类) | ✅(5 模板) |
MAVIS 的独特之处在于三重标注齐备(工作流三层级 + 原生像素级分割 + VQA),这是它即便体量最小也值得单列的理由;其代价则是绝对帧数少、术者单一。
2.5 帧级与器械共现:从标注统计看操作结构
论文给出了一组标注分布观察,勾勒出显微血管吻合的操作结构:
- Stage 层:Back-side tying 与 Front-side tying 占比最大,随后是 First tying 与 Second 180° tying。这符合吻合的力学需要——血管 360° 周径都要缝到,因此翻面(Flip)后正背两侧的打结占据了主要时间。
- Phase/Step 层:Suturing 与 Knot tying 主导相位分布;在细粒度动作里,Needle passing 与 Needle holding 出现最频繁——即"持针"与"过针"这两个动作构成显微缝合的高频基本单元。
- 器械层:Vessel 与 Thread 出现最频繁,其后是 Forceps、Vascular clamps、Needle holder。
论文据此判断:“缝合与打结构成显微外科吻合的核心操作”,MAVIS 在时间工作流标注与视觉标注之间呈现出均衡的构成,能定量表征显微手术的流程特征。这类分布统计对使用者的直接价值是:训练损失里的类别不均衡极可能集中在切割(Cutting)、翻转(Flip)等稀有动作上,值得在采样或加权时先做统计核对。
2.6 视频 vs 图像:1 FPS 采样的取舍
MAVIS 的标注单位是帧而非整段视频,且采样率是 1 FPS。这一设计有两层含义:
- 好处:逐帧标注使工作流识别可建模为逐帧分类(给定当前画面,预测所处 stage/phase/step),与相位预测任务天然契合;1 FPS 下相邻帧动作变化较明显,标注更可判读,也压缩了标注与存储成本。
- 代价:1 FPS 丢失了帧间的高帧率运动细节,因此难以直接支撑动作检测(action detection)的精确时间边界、平滑跟踪或运动学分析。需要细粒度时间定位的任务,MAVIS 可能力有不逮——它更适合"逐帧状态识别"而非"连续动作分割"。
使用者若做时序建模,应注意相邻帧之间的 1 秒间隔,并将时序上下文窗口按需放大。
2.7 与既有显微外科数据的关系边界
MAVIS 直接对标的是 MISAW(Micro-Surgical Anastomose Workflow recognition challenge,显微吻合工作流识别挑战赛)。两者的共同点是都研究显微血管吻合的工作流识别;差异在于:
| 维度 | MISAW | MAVIS |
|---|---|---|
| 性质 | 挑战赛数据集 | 采集数据集(SurgMLLMBench 组件) |
| 操作对象 | 显微血管吻合 | 1 mm 人工血管吻合 |
| 像素级分割 | 原始集未含(后续研究补充) | 原生七类器械像素级掩码 |
| 标注层级 | 工作流识别为主 | stage/phase/step + 分割 + VQA 三合一 |
| 数据域标签 | MST(micro-surgery) | MST(micro-surgery) |
MAVIS 在 Table 1 里被归类为 MST(micro-surgery)域,与 MISAW 同域,是自 MISAW 之后显微外科视频数据集的重要补充。它与 MISAW 在库内同域并列(§9),构成显微手术 workflow 研究的两个数据锚点。
§3 标注体系与 VQA 生成
3.1 三层级工作流标注的语义
工作流标注不是随意的三段切分,而是外科操作规范的自然映射。以 First tying(第一结)为例,其下的相位与动作序列为:
- Phase: Suturing(缝合)——放置并定位缝线
- Step: Needle holding(用持针器牢牢夹住缝合针)
- Step: Needle passing(把针穿过血管两侧并拉出)
- Step: Needle dropping(在利于打结的最佳位置——约 5 点钟方向——释放针)
- Phase: Knot tying(打结)
- Step: 1st knot(把缝线游离端绕器械一圈并收紧)
- Step: 2nd knot(反方向重复缠绕并收紧)
- Step: 3rd knot(最后缠绕以固定线结)
- Phase: Cutting(剪线)——用剪刀剪断缝线两端(可一次或分次剪断)
Second 120° tying、Second 180° tying、Front side tying 的子任务结构与 First tying 相同(Suturing → Knot tying → Cutting),差别只在打结的站位与朝向;Flip 则只有 Phase: Flip,其 step 为 Flip clamp(重新摆位血管夹使背侧朝向镜头)。Back side tying 的打结面向血管背侧。
这套体系的可贵之处在于:它把"打结的三种站位(首结/120°/180°)+ 正背面 + 翻转"这些显微外科特有关节,显式编码成了类别标签。对建模而言,这既是挑战(类别定义精细)也是机会(模型可学到"打结朝向"这一临床上重要的状态量)。
3.2 像素级器械标注的工艺流程与格式
分割标注以 COCO 多边形(polygon coordinates)形式给出,逐帧对应 PNG 掩码。手工多边形标注意味着每个器械/组织的轮廓由人工勾画——这也是为什么数据集体量控制在 10,652 帧:像素级多边形标注是劳动密集型的。多个器械可同时出现在同一帧并各自有独立轮廓,因此掩码天然支持实例级分析。
从 README 被注释掉的 “Annotation Tools & Process” 段落可见(注释块保留为未定稿),细分标注工具与流程细节作者未最终披露;已知的是 workflow 由非医学背景标注员按标准化工作流指南手工打标,分割掩码与关键点变体(segmentations_with_keypoint)均有提供。
3.3 VQA 标注:固定模板而非生成模型
MAVIS 的 VQA 标注是模板化生成的,这是它区别于许多"用 GPT 批量生成问答"的数据集的关键设计。五类模板:
- 工作流查询:如"画面所示是哪个 stage/phase/step?"——始终实例化
- 器械计数查询:如"可见多少件手术工具?"——始终实例化
- 器械类型查询:如"画面里有哪些器械?"——有对应标签时才生成
- 器械动作查询:如"持针器正在做什么动作?"——有对应标签时才生成
- 数据集来源查询:如"本数据集来自何处?"——用于让模型区分域
论文明确给出了采纳模板法的理由:手术场景理解(尤其工作流识别与器械计数)需要高精度、确定性的监督;自由形式的问题生成会引入语言变异性与语义不一致性,而固定模板保证了措辞一致、构建可复现、标注准确率更高,从而支撑稳定高效的多模态训练与评测。
对下游使用者而言,这意味着 MAVIS 的 VQA 更适合"确定性问答基准"而非"开放式对话能力"评测——问题措辞有限、答案可枚举,评测结果的可复现性强。
3.4 标注的可信度来源
MAVIS 标注可信度的核心支撑是采集者即领域专家:三名录制手术的外科医生是论文共同作者,工作流标注(stage/phase/step)由其结合真实手术流程构建。这保证了:
- 类别划分贴合临床实际,而非研究者凭空设定;
- 稀有但临床重要的状态(如"翻转以暴露背侧")不会被遗漏;
- 操作顺序的多样性(不同医生按各自偏好完成吻合)被保留为真实变异而非噪声。
代价则是作者自曝的局限:样本仅来自 3 名医生、同一机构、同一人工血管模型(§8 局限详述)。
§4 工作任务与下游用途
MAVIS 的标注天然拆解为四类可训练任务,外加一类跨域评测任务:
4.1 工作流识别(Workflow Recognition)
给定单帧,预测其 stage / phase / step。这是 MAVIS 的主任务之一,评测指标为准确率(accuracy)——预测文本与参考标签精确匹配的比例。论文的 MAVIS 实验结果(Table 3)显示这一任务的难度分层:
| 方法 | 微调设置 | Stage | Phase | Step | Count |
|---|---|---|---|---|---|
| LLaVA | 仅 MAVIS 微调 | 67.67 | 65.09 | 37.59 | 54.67 |
| LLaVA | SurgMLLMBench 指令微调 + MAVIS 微调 | 75.70 | 69.43 | 44.80 | 68.47 |
| OMG-LLaVA | 仅 MAVIS 微调 | 62.84 | 63.63 | 37.28 | 55.46 |
| OMG-LLaVA | SurgMLLMBench 指令微调 + MAVIS 微调 | 43.90 | 55.72 | 29.48 | 47.51 |
可以看到:step(细粒度动作)识别普遍最难(最高 44.80),stage 识别相对最易(最高 75.70)。这符合直觉——"这一步在哪里"比"手上正在做哪个具体小动作"更容易判断。而 OMG-LLaVA 在叠加 SurgMLLMBench 指令微调后反而全面下降,是一个反直觉的观察(可能提示域冲突或灾难性遗忘),值得使用者注意。
4.2 器械像素级分割(Instrument Segmentation)
给定单帧,输出七类器械的像素掩码。评测指标为 mIoU(各类 IoU 的平均,C 为器械类数)。Table 3 中报告分割的只有 OMG-LLaVA:
| 方法 | 微调设置 | 器械分割 mIoU |
|---|---|---|
| OMG-LLaVA | 仅 MAVIS 微调 | 53.96 |
| OMG-LLaVA | SurgMLLMBench 指令微调 + MAVIS 微调 | 36.89 |
LLaVA 因不具备分割输出的定位能力,Table 3 中分割一栏为空。
4.3 器械计数(Instrument Counting)
预测画面中可见的器械数量,以 accuracy 计。Table 3 中 LLaVA 系列在两个设置下分别取得 54.67 与 68.47——指令微调后的提升明显(+13.8),说明计数任务对跨任务指令微调较敏感。
4.4 器械动作识别(Instrument Action Recognition)
预测某件器械正在执行的动作(如持针器在做哪一步),以 accuracy 计。使用说明:MAVIS 本身不直接提供器械动作标签,动作标签来自与工作流标注的组合,并按需补充其他来源(如 EndoVis2018、GraSP、MISAW)的器械动作标签(见 §3.3 VQA 生成)。
4.5 跨域泛化评测(Cross-domain Generalization)
这是 MAVIS 在 SurgMLLMBench 里最重要的角色。论文明确写道:MAVIS 被排除在 SurgMLLMBench 的指令微调之外,用于评估模型对"未见手术数据集"的适应性。其逻辑是:若一个模型在腔镜/机器人数据上训练后,直接在显微外科数据上能不显著掉点,就说明它学到了可迁移的手术场景理解能力,而非记住某个数据集的视觉模式。论文的对照实验也印证了这一点——仅在某单数据集(如 EndoVis2018)微调的模型,会漏掉存在的器械掩码或产生虚假背景预测,表现为对数据集特异视觉模式的过拟合。
4.6 不适合的任务
MAVIS 的 1 FPS 采样与帧级标注决定了它不适合:精确时间边界的动作检测、高帧率平滑跟踪、运动学分析、以及需要结局标签的临床预后建模(无吻合通畅率、漏血压等终点,见 §8)。使用者应避免把这些任务强行套在 MAVIS 上。
4.7 任务之间的耦合关系
MAVIS 的四类任务不是彼此独立的模块,而是共享同一套底层标注:
- 工作流识别与器械动作识别共用时序标签(stage/phase/step 与动作高度相关)——预测出 step,往往能推出器械动作。
- 器械分割与器械计数共用空间标签(掩码的实例数即计数目标)——分割做得好,计数就接近免费。
- VQA把上述所有任务打包成问答形式,让多模态大模型在统一的语言接口下同时处理时间推理与空间定位。
这种"一套标注、多任务出口"的设计,是 MAVIS 相对单一任务数据集的效率优势,也是理解它为什么把 VQA、分割、工作流三件事放进同一个仓库的关键。
4.8 从任务到临床的映射
MAVIS 的三个工作流层级对应临床上的三类问题:
| 层级 | 临床问题 | 可能的 AI 应用 |
|---|---|---|
| Stage | “整台吻合现在打到哪个结、在哪一面?” | 手术进度追踪、术中导航提示 |
| Phase | “当前在缝合、打结还是剪线?” | 操作阶段自动识别、器械切换预警 |
| Step | “持针器正在做哪个精细动作?” | 技能评估、动作质量分析、教学反馈 |
显微外科手术时间长、动作精细、术者疲劳风险高,工作流自动识别可用于术中辅助与术后复盘。但要强调:这些是潜在应用,MAVIS 本身不含任何临床验证或结局数据(§8)。
4.9 与 MLLM 时代的关系
MAVIS 的定位恰逢多模态大语言模型进军手术领域。传统手术视觉数据集大多只提供"标签",而 MLLM 需要"对话"——问一句、答一句,最好还能指着画面说"证据在这里"。MAVIS 的 VQA 模板 + 像素级分割,正是为这种交互式评测准备的:模型既要用文字答对"现在哪一步",还要用掩码证明"我怎么知道的"。论文把这一能力概括为"提供视觉证据(provide visual evidence via segmentation masks)",并展望了支持智能体(agentic)系统、保持对话上下文、调用视觉工具等方向。
4.10 一个"逐帧状态机"的视角
把 MAVIS 的工作流标签串起来看,它其实描述了一个有限状态机:手术从 First tying 出发,经 Suturing→Knot tying→Cutting,到某个触发器进入下一个 stage;Flip 是唯一专门用来切换正背面的状态;Back side tying 完成后整台吻合收尾。Stage 的合法转移不是任意的(你不大可能在没打第一个结前就去打背侧结),因此把 MAVIS 用于工作流建模时,可以引入转移约束(transition constraints)来提升预测的一致性——这是纯帧分类模型容易忽略的信号,也是 MAVIS 的时序结构能提供的额外价值。
§5 SurgMLLMBench:MAVIS 所在的统合基准
5.1 基准的动机与定位
MAVIS 不是一个孤立数据集,它随 SurgMLLMBench 一同发布,而理解这个基准的设计,才能理解 MAVIS 的评测意义。论文开篇提出的问题是:现有多模态大语言模型在医学与手术领域展露潜力,但既有手术数据集大多采用 VQA 格式、taxonomy 各异、且缺乏像素级分割支持,导致评测难以一致进行、适用性受限。
SurgMLLMBench 的回答是:构建一个统一 taxonomy 的跨域多模态基准,把像素级器械分割掩码与结构化 VQA 标注整合到同一框架下,覆盖**腔镜(laparoscopic)、机器人辅助(robot-assisted)、显微外科(micro-surgical)**三大域,从而支持超越传统 VQA 的评测——即模型不仅要"答对文字",还要能"指出画面里的证据"(通过分割掩码)。
5.2 六个数据集的构成
SurgMLLMBench 整合六个手术视觉数据集——五个既有 + 一个新建(MAVIS):
| 数据集 | 域 | 帧数(Table 1) | 视频时长(h) |
|---|---|---|---|
| Cholec80 | 腔镜 | 184,498 | 51.25 |
| EndoVis2018 | 机器人辅助(RAS) | 2,235 | 1.58 |
| AutoLaparo | 机器人辅助(RAS) | 83,243 | 23.13 |
| GraSP | 机器人辅助(RAS) | 116,515 | 32.37 |
| MISAW‡ | 显微外科(MST) | 164,275 | 1.52 |
| MAVIS | 显微外科(MST) | 10,652 | 2.95 |
| 合计 | — | 561,418 | 112.80 |
MISAW‡ = 原始 MISAW 数据集 + 补充的像素级分割标注(来自 Jeong et al. 2025)。Table 1 另列一列 559,182 与 561,418 并存(不同列口径),已在坑 5 存照。
从这张表可以读出 MAVIS 的定位:在帧数上它是六个数据集里最小的之一(10,652 帧),但在标注密度上它是"三合一"——同时带工作流识别、器械分割与 VQA。它的价值不在体量,而在补齐显微外科域并作为未见域测试点。
5.3 任务定义与指标
SurgMLLMBench 定义的四类评测任务与指标:
- 工作流识别(stage/phase/step recognition):accuracy
- 器械动作识别(instrument action recognition):accuracy
- 器械计数(instrument counting):accuracy
- 器械分割(instrument segmentation):mIoU
论文明确:由于输出为文本(phase、step、action、count),accuracy 定义为预测文本与参考标签精确匹配的比例:
$$\text{Accuracy} = \frac{1}{N}\sum_{i=1}^{N}\mathbb{1}[\hat{y}_i = y_i]$$
而分割用 mIoU:对每一类 c 计算 IoU = TP/(TP+FP+FN),再对 C 个器械类取平均:
$$\text{mIoU} = \frac{1}{C}\sum_{c=1}^{C}\text{IoU}_c$$
5.4 评测结果与 MAVIS 的表现
论文用两个多模态模型(LLaVA、OMG-LLaVA)在两种设置下评测:①仅在单数据集微调;②在 SurgMLLMBench 指令微调后再在该数据集微调。
跨数据集结果(Table 2,节选):
| 数据集 | 方法 | 设置 | Phase | Step |
|---|---|---|---|---|
| Cholec80 | LLaVA | 单域微调 | 81.98 | 81.54 |
| Cholec80 | LLaVA | 指令微调 | 77.32 | 78.73 |
| AutoLaparo | LLaVA | 指令微调 | 24.67 | 82.56 |
| MISAW | LLaVA | 单域微调 | 87.16 | 64.03 |
| GraSP | LLaVA | 单域微调 | 68.83 | 52.75 |
(MISAW 与 AutoLaparo、GraSP 部分设置含 action/count/segmentation 列,上表省略。)
MAVIS 专项结果(Table 3,作为未见数据集):
| 方法 | 设置 | Stage | Phase | Step | Count | 器械分割 |
|---|---|---|---|---|---|---|
| LLaVA | 仅 MAVIS 微调 | 67.67 | 65.09 | 37.59 | 54.67 | — |
| LLaVA | 指令微调 + MAVIS 微调 | 75.70 | 69.43 | 44.80 | 68.47 | — |
| OMG-LLaVA | 仅 MAVIS 微调 | 62.84 | 63.63 | 37.28 | 55.46 | 53.96 |
| OMG-LLaVA | 指令微调 + MAVIS 微调 | 43.90 | 55.72 | 29.48 | 47.51 | 36.89 |
从这张表能读出三件事:
- Step 识别是难点——最高仅 44.80,显微动作的细粒度识别仍有很大空间。
- 指令微调总体有效但非普适——LLaVA 在指令微调后全指标提升(Stage +8.03、Step +7.21、Count +13.80);但 OMG-LLaVA 在指令微调后反而全面下降(Stage −18.94、Phase −7.91、Step −7.80、Count −7.95、分割 −17.07)。这个反差是重要的经验证据:跨域指令微调对某些模型架构可能引入域冲突。
- 分割难度高——即便是表现最好的 OMG-LLaVA(仅微调)也只有 53.96 mIoU,显微视野下细长缝线、微小针、血管夹等目标的像素级分割远未解决。
5.5 论文的核心结论
- 域内稳定、跨域可迁移:单模型在 SurgMLLMBench 上训练后,跨异质手术环境保持稳定表现,无明显精度退化。
- 过拟合风险:仅在某单数据集(如 EndoVis2018)微调的模型,会漏掉存在的器械掩码或产生虚假背景预测——过拟合到数据集特异视觉模式。
- 命名约定不一致的隐性代价:跨数据集的器械命名约定不同,会导致数值准确率下降,即便模型预测在语义上仍然合理。这提示:跨数据集评测时,术语对齐(taxonomy harmonization)本身就是性能的一部分。
- 未来方向:扩展时间与多模态覆盖(运动学、音频、深度)、拓宽动作 taxonomy 与实例跟踪、引入拓扑感知指标、评估实时可靠性与不确定性、面向临床部署的安全性。这些正是 MAVIS 当前缺失的标注类型。
5.6 MAVIS 在基准中的独特位置
综合来看,MAVIS 在 SurgMLLMBench 里有双重身份:
- 作为数据贡献:它是六个数据集中唯一新采集的,补齐了显微外科域里"带像素级分割 + 工作流 + VQA"的数据空白。
- 作为评测探针:它被刻意排除在指令微调之外,充当"未曾见过的手术域"——任何声称能跨域泛化的模型,都可以拿 MAVIS 来压力测试。
§6 获取与许可
6.1 获取方式
MAVIS 的获取路径干净直接:
| 项 | 内容 |
|---|---|
| 仓库 | HuggingFace KIST-HARILAB/MAVIS |
| 门控 | gated = false(无需申请、无需登录即可下载) |
| 许可 | CC BY-NC-4.0(署名—非商业性使用 4.0 国际) |
| 体量 | 2.95 GB(论文 Table 1) |
| 格式 | JPG(帧)+ PNG(分割掩码)+ JSON(long-term/short-term 标注) |
| 下载量 | 155(2026-10-08 抓取) |
| 点赞 | 0(同上) |
| 最后更新 | 2026-02-09T23:59:14Z |
| 聚合基准 | KIST-HARILAB/SurgMLLMBench(同为 CC BY-NC-4.0) |
论文原文明示:“available as a standalone dataset at huggingface.co/datasets/KIST-HARILAB/MAVIS”——即 MAVIS 可独立下载,不必依附于 SurgMLLMBench。
6.2 许可条款解读:CC BY-NC-4.0 意味着什么
CC BY-NC-4.0 = 署名 + 非商业性使用。对使用者的直接约束:
- 可以:自由复制、分发、改编、用于学术研究、发表论文、训练模型(研究用途)。
- 必须:署名(attribution),标注数据来源为 KIST-HARILAB/MAVIS 并引用 SurgMLLMBench 论文。
- 不可以:任何以商业获利为目的的使用——包括用 MAVIS 训练的模型做商业部署(这是 NC 条款的常见争议区,实践中"非商业"的界定需谨慎,商用前建议咨询并联系作者)。
数据采集于人工血管模拟器上的操作,不涉及患者,因此无个人隐私(PHI)问题——这是它相对临床数据的一大获取优势。
6.3 与库内可获取性光谱的对照
在千方病案医数集的 AI-Ready 光谱上,MAVIS 属于**"公开直链"这一档——与 PanDA-PLUS 那样"掩码请求制 + 衍生基准公开"的双轨结构不同,MAVIS 本体就是公开直链,无申请门槛。其可获取性的唯一约束是 NC(非商业),而非访问控制。这是一类对研究者友好**、对商业用户受限的典型开放学术数据集。
6.4 AI-Ready 评估:一个"公开但非商业"的样本
从 AI-Ready 的角度看,MAVIS 的得分逻辑是:可发现性(HuggingFace 索引 + arXiv 引用链)与可访问性(gated=false 直链)都很强,互操作性(JPG/PNG/JSON + COCO 格式)亦好;唯一的减分项是许可的 NC 限制——它不是"不够开放",而是"开放给了研究、未开放给商业"。这类数据集的 AI-Ready 结论应表述为"研究可用性强、商业可用性受限",而非笼统的"高/低"。
§7 生态与影响
7.1 SurgMLLMBench 作为生态容器
MAVIS 的生态价值很大程度上寄生于 SurgMLLMBench。这个基准的意义在于它首次(就现有公开信息而言)把腔镜、机器人辅助、显微外科三大手术域统一到同一个 taxonomy 下,并同时支持工作流识别与像素级分割。它主张:手术 AI 的评测不应各自为政(各数据集一套标签、一种任务),而应有统一标尺。MAVIS 作为其中的显微外科代表,把这一主张延伸到了显微领域。
7.2 与显微外科数据生态的关系
显微外科长期是手术 AI 的数据洼地。库内可比的显微域数据集主要是 MISAW(rid 445)——显微吻合工作流识别挑战赛。MAVIS 的出现,使显微吻合工作流研究从"挑战赛单一数据"走向"有像素级分割 + VQA 的多任务数据"。此外,MAVIS 论文引用了 Jeong et al. 2025 的显微器械分割工作,说明 KIST 团队在显微器械分割方向有持续积累。
7.3 对多模态手术 AI 的影响
MAVIS 对多模态大模型研究的具体贡献是:提供了一个带像素级证据的、跨域的手术 VQA 测试点。传统手术 VQA 只问"这是哪一步",MAVIS 允许同时要求"并指出持针器在哪里"——这推动了"视觉-语言对齐"从纯文本答案向像素级 grounding 的扩展。论文用 LLaVA/OMG-LLaVA 的实验揭示的"step 难识别"“跨域指令微调可能掉点”"分割 mIoU 偏低"三点,是后续模型改进的明确靶子。
7.4 局限与争议
MAVIS 的影响力受限于其规模与来源单一:19 段视频、3 名医生、1 毫米人工血管、单一机构——这些在 §8 详述。它更像一个方法论示范与评测探针,而非大规模预训练语料。使用者应把它定位为"显微外科小样本基准",而非"显微手术基础模型训练数据"。
§8 局限:使用者必须知道的事
MAVIS 论文与数据集卡片均未大张旗鼓自曝短板,但代码/文档结构与数据规模本身已经暗示了若干边界。综合本研究,明确的局限有七条:
- 样本量小:19 段视频、10,652 帧。相对 Cholec80 的 18 万帧、MISAW 的 16 万帧,MAVIS 体量小一个数量级。训练大模型时容易过拟合。
- 术者单一:仅 3 名外科医生,全部来自同一机构(高丽大学医学院)。无法评估跨术者、跨机构、跨国别的泛化性。
- 对象为人工血管:操作对象是 1 毫米人工血管(simulator),非活体动物或人体。缺乏真实组织的弹性、出血、蠕动与生理反馈——"看起来像真的手术"和"就是真的手术"之间仍有距离。
- 无临床结局标签:数据只有过程性的工作流与器械标注,没有吻合通畅率、漏血压、血栓等临床终点。因此无法支撑"预测手术质量"类任务。
- 无固定划分:论文未提供官方的 train/val/test 划分,仅建议按术者或视频做跨集划分以避免受试者泄漏。使用者需自行定义划分,横向比较结果时须说明划分方式。
- 类别不均衡:工作流 step 分布不均(缝合/打结为主,切割/翻转稀少),稀有动作样本不足,直接训练会偏向高频类。
- 缺少细粒度时序与多模态信号:无实例跟踪、无深度、无运动学(kinematics)、无音频标注;1 FPS 采样也限制了精确时间定位。论文将这些列为 future work。
此外,器械类别数的正文双口径(7 vs 8)提示:使用者拿到掩码后应先自行核验实际类数,不要直接照搬论文正文的数字(见坑 1)。
§9 与库内条目的关系
9.1 家族图谱
MAVIS 与千方病案医数集内多条手术视觉/工作流条目构成家族关系:
| 库内条目 | rid | 关系 |
|---|---|---|
| misaw | 445 | 同显微外科域(MST)前身;MAVIS 论文引其为 workflow 先例,SurgMLLMBench 集成数据集之一 |
| autolaparo | 313 | SurgMLLMBench 集成数据集(机器人辅助域,RAS) |
| cholec80 | 78 | SurgMLLMBench 集成数据集(腔镜域);手术视频工作流识别标杆 |
| endovis-challenges | 79 | 含 EndoVis2018,SurgMLLMBench 集成数据集(RAS) |
| sar-rarp50 | 293 | 机器人辅助手术器械分割/动作识别近邻 |
| m2cai16-tool | 303 | 手术器械/工具检测近邻 |
| cholect50 | 223 | 腔镜手术相位标注近邻 |
| cholecseg8k | 233 | 腔镜手术分割近邻 |
| kvasir-instrument | 213 | 内窥镜器械分割近邻 |
| surgtoolloc-2022 | 821 | 手术工具定位近邻 |
| endoscapes | 353 | 腔镜场景分割近邻 |
| lapgyn4 | 833 | 腔镜妇科手术近邻 |
| heichole | 756 | 腔镜手术近邻 |
| pitvis | 333 | 垂体手术工作流/器械近邻 |
9.2 互链理由与检索路径
最强互链点是 misaw(445)——同为显微血管吻合工作流数据集,域内最直接的前身,两篇论文互相引用可形成闭环。其次是 autolaparo(313)、cholec80(78) 与 endovis-challenges(79)——它们与 MAVIS 同为 SurgMLLMBench 的组成部分,是"同一基准的兄弟数据集",互链可帮助读者理解跨域统一评测的语境。
检索路径建议:
- 找 MAVIS 本体:搜 “MAVIS” + “microsurgical” / “vascular anastomosis”;或直接 HF
KIST-HARILAB/MAVIS。 - 找一手论文:搜 “SurgMLLMBench”(MAVIS 无独立论文)。
- 找同域数据:搜 “microsurgical anastomosis workflow” → MISAW;搜 “surgical workflow recognition benchmark” → SurgMLLMBench。
- 找器械分割竞品:搜 “surgical instrument segmentation” → EndoVis / SAR-RARP50 / Kvasir-Instrument。
7.5 数据集设计的三条可迁移经验
从 MAVIS 的设计中可提炼三条对其他手术数据集有借鉴意义的做法:
- 采集者即标注者:让真正做手术的专家参与标注定义,能保证标签体系贴合临床,而非工程师的一厢情愿。MAVIS 的 stage/phase/step 之所以合理,正因它由三名外科医生(共同作者)审定。
- 一帧多用:同一批帧同时产出工作流标签、分割掩码与 VQA,摊薄了标注成本,也让不同任务的研究者共享同一数据底座。
- 保留真实的操作变异:不同医生按各自偏好完成吻合,这种顺序差异被保留而非标准化掉——它使数据集更接近真实世界的多样性,虽然也带来类别不均衡的代价。
7.6 与大规模手术视频数据集的对比定位
把 MAVIS 放在手术视频数据集的坐标里,它的位置清晰:体量小、标注密、域稀有。Cholec80(腔镜)、AutoLaparo(机器人辅助)动辄十万帧以上,但多为单任务标注;MAVIS 只有一万余帧,却同时带工作流、分割与 VQA,且落在最稀缺的显微外科域。因此它不应与 Cholec80 比"规模",而应与 MISAW 比"标注丰富度"、与 SurgMLLMBench 的兄弟数据集比"跨域代表性"。
7.7 对教育与培训的潜在价值
显微外科训练依赖师徒制与反复练习,反馈往往滞后。MAVIS 的 step 级标注为"自动技能评估"提供了素材:如果把持针、过针、放针、打结的时序特征建模,理论上可以对学员的动作序列与专家序列做对齐比对,指出偏差。这类应用目前只是方向性设想,MAVIS 未提供任何技能评分或专家-新手对照标签,落地仍需额外数据。
7.8 数据伦理与来源合规
MAVIS 使用人工血管模拟器,不涉及真实患者,因此不涉及个人健康信息(PHI)、知情同意与伦理审查中关于人体受试者的核心问题。这使它的获取与使用门槛显著低于临床数据集。使用者仍应遵守 CC BY-NC-4.0 的署名与非商业要求,并在发表时正确引用数据集与论文。
§8(续):局限的实践影响
前文已列七条局限,这里补充它们对具体工作的实践影响:
| 局限 | 对建模的影响 | 缓解建议 |
|---|---|---|
| 样本量小 | 易过拟合 | 强数据增强、迁移学习、冻结骨干 |
| 术者单一 | 跨术者泛化未验证 | 按术者做 leave-one-surgeon-out 划分 |
| 人工血管 | 与真实组织域差 | 结论限定于模拟场景 |
| 无结局标签 | 不能做质量预测 | 若需结局,另接临床数据 |
| 无固定划分 | 结果不可直接横向比 | 报告时写明划分协议 |
| 类别不均衡 | 偏向高频动作 | 重采样/加权/难例挖掘 |
| 缺时序与多模态 | 不能做精细时间定位 | 仅做帧级状态识别 |
8.1 与其他显微数据集的对比局限
若把 MAVIS 与显微外科领域其他可用资源并置,其"小样本"定位更清楚:MISAW 提供了约 16 万帧的显微吻合工作流数据,规模远大于 MAVIS,但原集不含像素级分割,VQA 亦缺。MAVIS 以更小的体量换取更密的标注,因此它不能替代 MISAW 做大规模训练,只能作为其补充与精细评测点。二者互补而非竞争:要规模选 MISAW,要细粒度多任务选 MAVIS。
8.2 使用 MAVIS 的推荐姿势
综合全部局限,MAVIS 的推荐用法有三种:
- 微调与评测 MLLM 的跨域能力:把 MAVIS 当"未见域",检验在腔镜/机器人数据上训好的模型是否退化。
- 显微器械分割的基准点:用七类掩码做 mIoU 对比,观察细长目标(针/线)的分割难点。
- 工作流建模方法验证:用小而精的 stage/phase/step 序列验证时序建模/转移约束方法。
不推荐的用法是把它当作"显微外科基础模型的预训练语料"——体量与术者多样性都不足以支撑这一目标。
§10 避坑清单:八个已踩过的坑
MAVIS 是较新的数据集(2025 年末发布),文档仍有未定稿痕迹,检索与使用时容易踩坑。以下八条按"坑 N:"编号,均来自一手的论文/README 比对。
坑 1:器械类别数 7 还是 8?
这是最需要警惕的口径冲突。论文正文同一节内出现两种说法:一处写 “seven categories of surgical instruments”(七类手术器械),另一处列 “eight classes: Background material, Forceps, Scissors, Vascular clamps, Needle holder, Vessel, Needle, and Thread”(八类,含 Background material)。HuggingFace README 写 “seven tool categories”,且图例表恰好列七类(forceps…thread,各带 RGB)。处置:以 HF 实际发放的掩码为最终依据——拿到数据后先跑一遍标签统计确认类数;论文里的 8 类可能把"背景材料"(非器械)计入,或为笔误。写论文引用时标注这一出入。
坑 2:Stage 的编号顺序与论文列举顺序不一致。
HF README 的 stage class id 顺序为 0=First tying、1=Second 120° tying、2=Second 180° tying、3=Front side tying、4=Flip、5=Back side tying;而论文正文列举顺序为 First tying / Second 180° tying / Second 120° tying / Front-side tying / Back-side tying / Flip。类别集合相同(都是 6 类),但 120° 与 180° 的次序、Flip 与 Back side tying 的次序都不同。处置:以 JSON 标签里的 class id 为准,不要凭论文叙述顺序推断 id。
坑 3:MAVIS 没有独立论文。
搜索 “MAVIS dataset paper” 或 “MAVIS microsurgery arXiv” 很可能指向无关结果。MAVIS 是 SurgMLLMBench 论文(arXiv:2511.21339)里新采集的数据集组件,所有一手信息都要从这篇论文取。引用时应引 SurgMLLMBench 论文 + HF 数据集仓库,而非臆造一篇 MAVIS 论文。
坑 4:分辨率有两个数字(1080 vs 1072)。
正文/一般描述给 1920 × 1080,但 HF README 被注释掉的采集细节里有 “Cropped frame size: 1920 × 1072 px”。处置:以 1920 × 1080 为主口径(搜索结果与概述一致),1072 是未定稿的裁切尺寸记载,引用时标注存疑。实践中直接读 frames 里 JPG 的实际尺寸最稳妥。
坑 5:总帧数有两个总口径(559,182 vs 561,418)。
SurgMLLMBench Table 1 的合计列同时出现 559,182 与 561,418 两个数字,来自不同列的口径(器械分割可标注帧 vs 全部帧,或含/不含某子集)。处置:报告全基准规模时注明口径来源;报告 MAVIS 本身时用 10,652(无歧义)。
坑 6:“seven tool categories” 与 step “eight categories” 别混淆。
README 里同时出现"七类工具"和 step 的"八类动作"(Needle holding / Needle passing / Needle dropping / 1st–3rd knot / Cutting / Flipping)。这两个数字分属器械分割与工作流 step两个不同维度,不是矛盾,别当成一处冲突处理。
坑 7:VQA 是模板生成,不是自然语言对话。
若把 MAVIS 的 VQA 当成开放式对话数据来训练/评测"对话流畅度",会失望——它的问题措辞由固定模板穷举,答案可枚举,设计目标是确定性监督。适用场景是"精确问答基准",不是"开放式推理"。
坑 8:许可 NC——别商用。
CC BY-NC-4.0 的 NC(非商业)条款容易被忽略。用 MAVIS 训练的模型若要商业部署,需先厘清 NC 边界并联系作者。学术使用则无碍,但务必署名。另注意:数据集许可(CC BY-NC-4.0)与论文许可(CC BY 4.0)不同——论文可自由使用(含商用),数据不可。
§11 总结
11.1 三句话总结
- MAVIS 是显微血管吻合术的工作流 + 器械分割多层级标注视频数据集:19 段视频、10,652 帧、1920×1080,帧级 6 阶段/4 相位/8 步工作流标注 + 七类器械像素级掩码 + 模板化 VQA。
- 它由 KIST 联合高丽大学医学院采集,是 SurgMLLMBench 中唯一新采集的数据集,被刻意排除在基准指令微调之外,充当多模态大模型的"未见显微手术域"泛化探针。
- 它公开直链(HF gated=false)、CC BY-NC-4.0,规模小、术者单一、对象为人工血管,更适合作为显微外科小样本基准与评测点,而非大规模预训练语料。
11.2 适合谁
- 做手术工作流识别/相位预测的研究者——MAVIS 提供精细的 stage/phase/step 三级标签。
- 做手术器械分割的团队——七类器械像素级掩码 + COCO 格式,即插即用。
- 评测多模态大语言模型跨域泛化的研究者——MAVIS 是现成的"未见显微域"测试集。
- 研究显微外科操作教学与技能分析的团队——三层级标注可直接映射操作规范。
11.3 不适合谁
- 想用大规模数据预训练基础模型的团队——10,652 帧太小。
- 做临床预后/结局预测的任务——MAVIS 无结局标签。
- 需要精确时间边界动作检测或高帧率跟踪的任务——1 FPS 采样不够。
- 商业部署——CC BY-NC-4.0 限制。
11.4 30 秒决策卡
| 你的需求 | 建议 |
|---|---|
| 要显微手术工作流标签 | ✅ 直接用 long-term.json |
| 要器械分割掩码 | ✅ 直接用 segmentations/ + short-term.json(核验类数,坑 1) |
| 要测多模态模型跨域泛化 | ✅ MAVIS 是设计好的未见域探针 |
| 要大规模训练数据 | ❌ 换 Cholec80 / MISAW |
| 要临床结局标签 | ❌ MAVIS 无 |
| 要商用 | ⚠️ 需厘清 CC BY-NC-4.0 边界 |
| 引用入口 | arXiv:2511.21339 + HF KIST-HARILAB/MAVIS |
FAQ(高频问答 32 问)
A. 基础认知
- MAVIS 全称是什么? Micro-surgical Artificial Vascular anastomosIS(显微手术人工血管吻合)。
- MAVIS 是缩写吗? 是,取 “Micro-surgical Artificial Vascular anastomosIS” 各词首字母组合。
- MAVIS 属于哪个机构? KIST(韩国科学技术研究院)Center for Humanoid Research,联合高丽大学医学院。
- MAVIS 是挑战赛吗? 不是,是采集数据集,随 SurgMLLMBench 基准发布。
- 有独立论文吗? 没有,信息都在 SurgMLLMBench 论文(arXiv:2511.21339)。
- 什么时候发布的? 论文 arXiv v1 为 2025-11-26;HF 数据集卡片最后更新 2026-02-09。
B. 数据与获取
- 多少段视频、多少帧? 19 段视频,10,652 帧。
- 分辨率? 1920 × 1080(另有 1920 × 1072 的未定稿记载,坑 4)。
- 采样率? 1 FPS(从原始录像每秒抽一帧)。
- 操作对象是什么? 1 毫米人工血管的端端吻合。
- 几名医生? 3 名微血管吻合专家,配对本操作。
- 怎么分配视频? Surgeon 1 得 7 段(CASE01–07)、Surgeon 2 得 7 段(08–14)、Surgeon 3 得 5 段(15–19)。
- 在哪下载? HuggingFace
KIST-HARILAB/MAVIS,gated=false。 - 要申请吗? 不用,直链下载。
- 体积多大? 2.95 GB。
- 许可? CC BY-NC-4.0(非商业)。
C. 标注细节
- 工作流几层? 三层:stage → phase → step。
- 几个 Stage? 6 个(First tying / Second 120° tying / Second 180° tying / Front side tying / Flip / Back side tying)。
- 几个 Phase? 4 个(Suturing / Knot tying / Cutting / Flip)。
- 几个 Step? 8 个(持针/过针/放针/1st-3rd knot/剪线/翻转夹)。
- 器械分割几类? HF 发放七类;论文正文另有含 Background material 的 8 类说法(坑 1)。
- 分割格式? COCO 多边形 + 逐帧 PNG 掩码。
- VQA 怎么生成的? 固定模板,非生成模型(坑 7)。
- 有几类 VQA 模板? 5 类(工作流/计数/类型/动作/来源)。
- 有 keypoint 标注吗? 有 segmentations_with_keypoint,但定义未展开(待核)。
D. 任务与评测
- 能做什么任务? 工作流识别、器械分割、器械计数、器械动作识别、跨域泛化评测。
- 评测指标? 工作流/计数/动作=accuracy;分割=mIoU。
- MAVIS 上最好的 Stage 结果? 75.70(LLaVA 指令微调 + MAVIS 微调)。
- Step 识别难吗? 难,最好也只有 44.80。
- 分割 mIoU 多少? 最好 53.96(OMG-LLaVA 仅微调)。
- 有官方划分吗? 没有,建议按术者/视频跨集划分。
- 和 MISAW 什么关系? 同显微外科域,MISAW 是工作流识别挑战赛,MAVIS 增加了像素级分割与 VQA。
E. 与基准的关系
- MAVIS 是 SurgMLLMBench 的一部分吗? 是,六个集成数据集之一,且是唯一新采集的。
- SurgMLLMBench 有独立仓库吗? 有,HF
KIST-HARILAB/SurgMLLMBench(DOI 10.57967/hf/10269)。 - MAVIS 在基准里被用来训练吗? 不,它被排除在指令微调之外,专作未见域测试。
- 基准统合了几大域? 三域:腔镜(LS)、机器人辅助(RAS)、显微外科(MST)。
- 基准总规模? 六数据集合计约 561,418 帧 / 112.80 小时。
- 为什么要统一 taxonomy? 各数据集标签体系不同会导致评测不一致,统一后才能横向比模型。
F. 复现与工程
- 怎么在代码里加载?
load_dataset("KIST-HARILAB/MAVIS")或直接下载仓库解压(见附录 H)。 - 工作流标签在哪个文件?
annotations/long-term.json。 - 分割多边形在哪个文件?
annotations/short-term.json,掩码 PNG 在annotations/segmentations/。 - 类别 id 从 0 开始吗? 是,器械 0–6(七类),stage 0–5,phase 0–3。
- 有 keypoint 文件吗? 有
annotations/segmentations_with_keypoint/,但定义未在 README 展开。 - 帧文件名格式?
image_00001.jpg之类,按 CASE 目录组织。 - 能直接算 mIoU 吗? 能,掩码是 PNG,按类计算 TP/FP/FN 即可。
- 预训练权重有提供吗? 论文报告了 LLaVA/OMG-LLaVA 微调结果,但未强调发布微调权重(需查 HF 组织页确认)。
G. 局限与选型
- 能用于商业产品吗? CC BY-NC-4.0 限制,需先厘清并经作者同意。
- 样本够训基础模型吗? 不够,10,652 帧适合微调/评测,不适合从头预训练。
- 术者多样吗? 不多,仅 3 名,同机构。
- 有无临床结局? 无,只有过程标注。
- 何时该选 MISAW 而非 MAVIS? 需要大规模显微工作流数据时选 MISAW;需要像素级分割 + VQA 时选 MAVIS。
- 何时该选查 Cholec80 而非 MAVIS? 研究腔镜/胆囊手术流程时。
- 3 名医生够吗? 对方法演示够,对泛化结论不够。
- 人工血管算不算"真手术"? 算显微操作模拟,不等于活体手术(§8)。
H. 写作与引用
- 怎么引用数据? 引 HF 仓库 + SurgMLLMBench 论文(arXiv:2511.21339)。
- 论文许可 vs 数据许可? 论文 CC BY 4.0,数据 CC BY-NC-4.0,别混。
- MAVIS 有没有独立 DOI? 数据集层未见独立 DOI;论文有 arXiv DOI。
- 全称怎么写? Micro-surgical Artificial Vascular anastomosIS(注意 anastomosIS 的大小写拼法)。
- 抓取时点要标吗? 要,downloads/lastModified 随时间变,标日期。
- 这个条目的一手来源是什么? SurgMLLMBench 论文 + HF KIST-HARILAB/MAVIS 卡片(2026-10-08 抓取)。
事实清单(硬事实 30 条)
- MAVIS 全称 Micro-surgical Artificial Vascular anastomosIS。
- 发布形式:SurgMLLMBench(arXiv:2511.21339)中新采集的数据集。
- arXiv 提交日期 2025-11-26(v1)。
- 论文 license:CC BY 4.0。
- 数据集 license:CC BY-NC-4.0。
- HF 仓库 KIST-HARILAB/MAVIS,gated=false,private=false。
- HF lastModified 2026-02-09T23:59:14Z。
- HF downloads 155,likes 0(2026-10-08 抓取)。
- 数据集体量 2.95 GB(论文 Table 1)。
- 视频 19 段(CASE01–CASE19)。
- 总帧数 10,652。
- 分辨率 1920 × 1080。
- 采样率 1 FPS。
- 操作对象 1 mm 人工血管端端吻合。
- 外科医生 3 名(高丽大学医学院,论文共同作者)。
- 视频分配:S1=7 段、S2=7 段、S3=5 段。
- 主刀 + 助手配对本操作。
- Stage 6 类。
- Phase 4 类(Suturing/Knot tying/Cutting/Flip)。
- Step 8 类。
- 器械分割:HF 七类(forceps/scissors/vascular_clamps/needle_holder/vessel/needle/thread)。
- 论文正文另列含 Background material 的 8 类。
- 分割格式 COCO 多边形 + 逐帧 PNG。
- VQA 5 类模板(工作流/计数/类型/动作/来源)。
- 目录含 frames/、annotations/long-term.json、short-term.json、segmentations/、segmentations_with_keypoint/。
- 指标:workflow/count/action=accuracy;segmentation=mIoU。
- Table 3 LLaVA(仅微调)Stage 67.67 / Phase 65.09 / Step 37.59 / Count 54.67。
- Table 3 LLaVA(指令微调+微调)Stage 75.70 / Phase 69.43 / Step 44.80 / Count 68.47。
- Table 3 OMG-LLaVA(仅微调)Stage 62.84 / Phase 63.63 / Step 37.28 / Count 55.46 / Seg 53.96。
- SurgMLLMBench 集成 6 数据集(Cholec80/EndoVis2018/AutoLaparo/GraSP/MISAW‡/MAVIS)。
术语表(30 条)
| 术语 | 全称/含义 |
|---|---|
| MAVIS | Micro-surgical Artificial Vascular anastomosIS |
| SurgMLLMBench | 多模态大语言模型手术场景理解基准 |
| MST | Micro-Surgery(显微外科域标签) |
| RAS | Robot-Assisted Surgery(机器人辅助手术域标签) |
| LS | Laparoscopic Surgery(腔镜手术域标签) |
| anastomosis | 吻合(把两段血管接合) |
| microvascular anastomosis | 显微血管吻合 |
| artificial vessel | 人工血管(本数据集的操作对象) |
| stage | 阶段(工作流最高层,6 类) |
| phase | 相位(工作流中层,4 类) |
| step | 步骤(工作流细粒度动作,8 类) |
| suturing | 缝合 |
| knot tying | 打结 |
| cutting | 剪线 |
| flip | 翻转(暴露血管背侧) |
| needle holding | 持针 |
| needle passing | 过针 |
| needle dropping | 放针 |
| forceps | 镊子 |
| scissors | 剪刀 |
| vascular clamps | 血管夹 |
| needle holder | 持针器 |
| vessel | 血管 |
| needle | 缝合针 |
| thread | 缝线 |
| MLLM | Multimodal Large Language Model(多模态大语言模型) |
| VQA | Visual Question Answering(视觉问答) |
| mIoU | mean Intersection over Union(平均交并比) |
| COCO | Common Objects in Context(一种多边形标注格式) |
| DAIMS | Discoverability/Accessibility/Interoperability/Metadata/Sustainability |
附录
附录 A:条目信息速查卡
| 项 | 内容 |
|---|---|
| 标题 | MAVIS (mavis) — 显微血管吻合术工作流与器械分割视频数据集 |
| 官方全称 | Micro-surgical Artificial Vascular anastomosIS |
| 论文 | arXiv:2511.21339(2025-11-26) |
| 机构 | KIST + 高丽大学医学院 |
| 数据 | 19 视频 / 10,652 帧 / 1920×1080 / 2.95 GB |
| 任务 | 工作流识别 + 器械分割 + 计数 + 动作 + 跨域评测 |
| 许可 | CC BY-NC-4.0 |
| 仓库 | HF KIST-HARILAB/MAVIS |
| 库内互链 | misaw(445)、autolaparo(313)、cholec80(78)、endovis-challenges(79) |
附录 B:DAIMS 评估全表
| 维度 | 评估 | 说明 |
|---|---|---|
| D 可发现性 | 强 | HuggingFace 索引 + arXiv 引用链 + 论文点名 |
| A 可访问性 | 强 | gated=false 直链,无申请门槛 |
| I 互操作性 | 强 | JPG/PNG/JSON + COCO 多边形格式 |
| M 元数据 | 中 | HF card + README + 论文表格;采集设备型号、keypoint 定义未公开 |
| S 可持续性 | 中 | HF + arXiv 双托管;无独立 DOI(数据集层);版本更新记录有限 |
附录 C:逐项证据链自证
| 论断 | 证据来源 |
|---|---|
| 19 视频 / 10,652 帧 | 论文 Table 1;HF README;论文 §3 MAVIS Dataset Statistics |
| 3 名医生 / 分配 | HF README(注释块);论文 §3.1 |
| 1920×1080 / 1 FPS | 论文 §3.1;ar5iv HTML |
| 6 stage / 4 phase / 8 step | 论文 §3.2;HF README 层级表 |
| 七类器械 + RGB | HF README 图例表 |
| 论文 8 类说法 | 论文 §3.2(含 Background material) |
| CC BY-NC-4.0 | HF cardData license 字段 |
| downloads 155 | HF API datasets/KIST-HARILAB/MAVIS |
| Table 3 结果 | 论文 Table 3 |
| SurgMLLMBench 6 数据集 | 论文 §Dataset Comparison |
附录 D:数据获取决策树
要获取 MAVIS?
├─ 要原始帧+标注 → HF KIST-HARILAB/MAVIS(gated=false,直链)
│ ├─ 只要工作流 → annotations/long-term.json
│ ├─ 要器械分割 → annotations/short-term.json + segmentations/
│ └─ 要 keypoint → segmentations_with_keypoint/(定义待核)
├─ 要整个基准(6 数据集)→ HF KIST-HARILAB/SurgMLLMBench
└─ 要商用?→ 停下,先厘清 CC BY-NC-4.0 边界并联系作者
附录 E:工作流层级对照表
| Stage | Phases | 典型 Steps |
|---|---|---|
| First tying | Suturing/Knot tying/Cutting | 持针→过针→放针→1st/2nd/3rd knot→剪线 |
| Second 120° tying | 同上 | 同上(站位旋转 120°) |
| Second 180° tying | 同上 | 同上(站位旋转 180°) |
| Front side tying | 同上 | 同上(正面额外交互结) |
| Flip | Flip | Flip clamp(翻转血管夹) |
| Back side tying | 同上 | 同上(背侧打结) |
附录 F:器械类别表(HF 口径)
| ID | 名称 | RGB |
|---|---|---|
| 0 | forceps | (253, 0, 26) |
| 1 | scissors | (43, 253, 62) |
| 2 | vascular_clamps | (0, 43, 249) |
| 3 | needle_holder | (255, 253, 66) |
| 4 | vessel | (253, 40, 250) |
| 5 | needle | (38, 255, 254) |
| 6 | thread | (198, 161, 251) |
附录 G:SurgMLLMBench 六数据集对照表
| 数据集 | 域 | 帧数 | 时长(h) |
|---|---|---|---|
| Cholec80 | LS | 184,498 | 51.25 |
| EndoVis2018 | RAS | 2,235 | 1.58 |
| AutoLaparo | RAS | 83,243 | 23.13 |
| GraSP | RAS | 116,515 | 32.37 |
| MISAW‡ | MST | 164,275 | 1.52 |
| MAVIS | MST | 10,652 | 2.95 |
| 合计 | — | 561,418 | 112.80 |
(MAVIS 帧数按"视频小时 2.95"折算,与 Table 1 的 10,652 帧标注一致;MISAW‡ 含补充分割标注。)
附录 H:MAVIS 加载与评估骨架(伪代码)
# 1. 加载(HuggingFace datasets)
# from datasets import load_dataset
# ds = load_dataset("KIST-HARILAB/MAVIS") # 或直接下载仓库解压
# 2. 读工作流标注
# import json
# long_term = json.load(open("annotations/long-term.json"))
# -> 每帧的 stage / phase / step
# 3. 读器械分割
# short_term = json.load(open("annotations/short-term.json"))
# -> 每帧七类器械 COCO 多边形;掩码 PNG 在 segmentations/
# 4. 核验类数(坑 1)
# classes = set(ann["category_id"] for ann in short_term["annotations"])
# print(len(classes)) # 期望 7
# 5. 工作流识别评测:accuracy = 预测文本 == 参考标签
# 6. 器械分割评测:mIoU = mean over classes of TP/(TP+FP+FN)
附录 I:统计指标公式表
| 指标 | 公式 | 用途 |
|---|---|---|
| Accuracy | (1/N)·Σ 1[ŷᵢ=yᵢ] | 工作流/计数/动作识别 |
| IoU_c | TP_c/(TP_c+FP_c+FN_c) | 单类分割 |
| mIoU | (1/C)·Σ IoU_c | 全部器械类平均 |
附录 J:坑点档案(与 §10 对照)
| 坑 | 一句话 | 处置 |
|---|---|---|
| 1 | 器械 7 类 vs 8 类 | 以 HF 掩码实际类数为准 |
| 2 | Stage 编号顺序与论文列举不同 | 以 JSON class id 为准 |
| 3 | 无独立论文 | 引 SurgMLLMBench |
| 4 | 分辨率 1080 vs 1072 | 以 1080 为主,读实际 JPG |
| 5 | 总帧数 559,182 vs 561,418 | 注明口径 |
| 6 | “七类工具” vs step “八类” | 分属不同维度,非矛盾 |
| 7 | VQA 模板生成 | 当确定性基准用 |
| 8 | CC BY-NC-4.0 | 别商用 |
附录 K:双口径登记表
| 项 | 口径 A | 口径 B | 采用 |
|---|---|---|---|
| 器械类数 | 7(HF 图例) | 8(论文含 Background material) | 以 HF 为准,正文存照 |
| Stage 顺序 | HF class id 0–5 | 论文列举顺序 | 以 class id 为准 |
| 分辨率 | 1920×1080 | 1920×1072(未定稿) | 1080 为主 |
| 总帧数 | 559,182 | 561,418 | 注明口径 |
| 论文/数据许可 | 论文 CC BY 4.0 | 数据 CC BY-NC-4.0 | 分别标注 |
附录 L:MAVIS vs MISAW 对照表
| 维度 | MISAW | MAVIS |
|---|---|---|
| 类型 | 挑战赛 | 采集数据集 |
| 域 | MST | MST |
| 帧数 | 164,275 | 10,652 |
| 像素级分割 | 原集无(后补) | 原生七类 |
| VQA | 无 | 5 类模板 |
| 定位 | 工作流识别挑战 | 多任务 + 跨域探针 |
附录 M:与库内显微/手术条目的关系声明
MAVIS 与 misaw(445) 同属显微外科(MST)域,为域内最直接互链对象;与 autolaparo(313)、cholec80(78)、endovis-challenges(79) 同为 SurgMLLMBench 集成数据集,构成"跨域统一基准"家族;与 sar-rarp50(293)、m2cai16-tool(303)、kvasir-instrument(213)、surgtoolloc-2022(821) 共享手术器械分割/定位任务;与 cholect50(223)、cholecseg8k(233)、endoscapes(353)、lapgyn4(833)、heichole(756)、pitvis(333) 共享手术工作流/场景理解任务。
附录 N:许可条款细读(双许可)
| 对象 | 许可 | 含义 |
|---|---|---|
| 数据集(HF) | CC BY-NC-4.0 | 署名 + 非商业;可研究、不可商用 |
| 论文(arXiv) | CC BY 4.0 | 署名;可自由使用含商用 |
| 聚合基准(HF) | CC BY-NC-4.0 | 同数据集 |
注意:论文(CC BY 4.0)与数据集(CC BY-NC-4.0)许可不同——引用论文图片/文字与使用数据集是两回事。
附录 O:检索路径示范
| 目标 | 推荐查询式 | 预期命中 |
|---|---|---|
| 一手论文 | “SurgMLLMBench” | arXiv:2511.21339 |
| 数据仓库 | site:huggingface.co KIST-HARILAB MAVIS | HF 数据集页 |
| 同域前身 | “microsurgical anastomosis workflow” | MISAW |
| 器械分割竞品 | “surgical instrument segmentation” | EndoVis / SAR-RARP50 |
| 反例(勿用) | “MAVIS dataset paper”(当独立论文搜) | 无独立论文(坑 3) |
附录 P:基于本数据集的研究检查清单(12 项)
- 许可核对:用途是否落在非商业范围(坑 8)?商用先联系作者。
- 类数核验:拿到掩码先统计实际类数(坑 1)。
- Stage id 对齐:用 JSON class id,勿凭论文顺序推断(坑 2)。
- 划分声明:无官方划分,自定按术者/视频跨集,并写明(避免受试者泄漏)。
- 类别不均衡:训练前统计 step 分布,对稀有类(切割/翻转)做加权或重采样。
- 1 FPS 限制:不做精确时间边界动作检测;时序窗口按 1 秒间隔设定。
- 对象限定:结论限于人工血管模拟,勿外推到活体/人体(§8)。
- 无结局声明:不做临床预后任务(§8)。
- VQA 用途:当确定性基准,不当开放对话(坑 7)。
- 引用完整:数据引 HF 仓库 + SurgMLLMBench 论文。
- 总帧数口径:报告全基准规模时注明 559,182/561,418 口径(坑 5)。
- 时点存照:downloads/lastModified 注明抓取日期(2026-10-08)。
附录 Q:本条目生产档案
- 生产通道:AI-Ready Wikipedia 写手代理 agent-f-mavis
- 事实研究:WebSearch×1 + WebFetch×4(含 1 次失败)+ HF 镜像 API 抓取 + arXiv HTML 解析
- FACTS.md:writing/mavis/FACTS.md 九节
- 成稿方式:五块直写私有区拼接(part1–part5)
- 坑点:§10 八则("坑 N:"编号制)
- description:≤170 字符
- 互链计划:misaw(445)、autolaparo(313)、cholec80(78)、endovis-challenges(79)
附录 R:缩写速查
| 缩写 | 全称 |
|---|---|
| MAVIS | Micro-surgical Artificial Vascular anastomosIS |
| KIST | Korea Institute of Science and Technology |
| MLLM | Multimodal Large Language Model |
| VQA | Visual Question Answering |
| mIoU | mean Intersection over Union |
| MST/RAS/LS | Micro-Surgery / Robot-Assisted Surgery / Laparoscopic Surgery |
| COCO | Common Objects in Context |
| DAIMS | Discoverability/Accessibility/Interoperability/Metadata/Sustainability |
| HF | HuggingFace |
| PHI | Protected Health Information |
尾注
本条目为千方病案医数集 AI-Ready Wikipedia 条目,基于公开一手来源(SurgMLLMBench 论文 arXiv:2511.21339 与 HuggingFace KIST-HARILAB/MAVIS 数据集卡片)撰写,抓取时点 2026-10-08。所有硬数字均标注来源;正文双口径冲突已在 §10 与附录 K 存照。数据集许可 CC BY-NC-4.0,非商业使用;引用请注明数据集来源与论文。
附录 S:工作流识别的类目全表(HF README 口径)
Stage(6 类):0 First tying|1 Second 120° tying|2 Second 180° tying|3 Front side tying|4 Flip|5 Back side tying
Phase(4 类):0 Suturing|1 Knot tying|2 Cutting|3 Flip
Step(8 类):0 Needle holding|1 Needle passing|2 Needle dropping|3 1st knot|4 2nd knot|5 3rd knot|6 Cutting|7 Flip clamp
(注:论文叙述的 stage 列举顺序与 HF class id 不同,以本表 class id 为准,坑 2。)
附录 T:VQA 模板全表
| 模板类 | 示例问题 | 生成条件 |
|---|---|---|
| 工作流查询 | Which stage, phase, and step are shown? | 始终生成 |
| 器械计数 | How many surgical tools are visible? | 始终生成 |
| 器械类型 | Which instruments are present? | 有对应标签时 |
| 器械动作 | What action is the needle holder performing? | 有对应标签时 |
| 数据集来源 | What is the source of this dataset? | 用于域区分 |
附录 U:SurgMLLMBench Table 1 完整转写
| 数据集 | 域 | Video Hour | Total Frames |
|---|---|---|---|
| Cholec80 | LS | 51.25 | 184,498 |
| EndoVis2018 | RAS | 1.58 | 2,235 |
| AutoLaparo | RAS | 23.13 | 83,243 |
| GraSP | RAS | 32.37 | 116,515 |
| MISAW‡ | MST | 1.52 | 164,275 |
| MAVIS | MST | 2.95 | 10,652 |
| 合计 | — | 112.80 | 561,418 |
(Table 1 另列 559,182 为另一列口径,坑 5。)
附录 V:Table 2 / Table 3 结果登记表(论文口径)
Table 3(MAVIS 专项):
| 方法 | 设置 | Stage | Phase | Step | Count | Seg |
|---|---|---|---|---|---|---|
| LLaVA | 仅微调 | 67.67 | 65.09 | 37.59 | 54.67 | — |
| LLaVA | 指令+微调 | 75.70 | 69.43 | 44.80 | 68.47 | — |
| OMG-LLaVA | 仅微调 | 62.84 | 63.63 | 37.28 | 55.46 | 53.96 |
| OMG-LLaVA | 指令+微调 | 43.90 | 55.72 | 29.48 | 47.51 | 36.89 |
Observations:①Step 最难;②指令微调对 LLaVA 全面提升、对 OMG-LLaVA 全面下降;③分割 mIoU 普遍偏低(最高 53.96)。
附录 W:维护计划与触发点
| 触发点 | 动作 |
|---|---|
| HF 版本更新(lastModified 变化) | 复核规模/许可,更新抓取时点 |
| 论文更新/正式发表 | 替换 arXiv 预印本引用为正式出处 |
| 出现 MAVIS 独立论文 | 在本条目补录并修订"无独立论文"表述 |
| downloads 大幅变动 | 更新 §6 抓取数字 |
| 下游引用涌现 | 补录生态影响与典型应用 |
附录 X:检索卫生两条
一、凡命中 “MAVIS dataset paper” 字样的结果,多半指向无关的机器人系统(μSTAR 等)或其他同名项目——MAVIS 作为数据集没有独立论文,认准 SurgMLLMBench。二、HF 卡片上的 downloads/likes 随时间滚动,引用时存照抓取日期(本条目为 2026-10-08)。
附录 Y:给数据使用者的三步上手
- 下载解压:HF
KIST-HARILAB/MAVIS→frames/+annotations/。 - 核验类数:统计
short-term.json的 category 数(应 7),确认与 HF 图例一致(坑 1)。 - 选任务加载:工作流读
long-term.json;分割读short-term.json+segmentations/;VQA 按模板自行实例化(或直接用聚合基准SurgMLLMBench)。
附录 Z:常见误用与正确姿势对照
| 误用 | 后果 | 正确姿势 |
|---|---|---|
| 用论文的 “8 类” 预设掩码类数 | 代码按 8 类读标签,索引错位 | 先统计实际类数(7),再定配置 |
| 按论文 stage 叙述顺序设 class id | 类别错位 | 按 JSON class id(附录 S) |
| 拿 MAVIS 从头预训练 | 严重过拟合 | 只做微调/评测 |
| 把 VQA 当开放对话 | 评测失真 | 当确定性问答基准 |
| 随机划分 train/test | 受试者泄漏,指标虚高 | 按术者/视频跨集划分 |
| 忽略 NC 条款商用 | 许可违约 | 商用前联系作者 |
| 引用 “MAVIS 论文” | 找不到出处 | 引 SurgMLLMBench |
附录 AA:与库内条目的互链计划
| 条目 | rid | 互链理由 |
|---|---|---|
| misaw | 445 | 同显微外科域(MST),工作流识别前身 |
| autolaparo | 313 | SurgMLLMBench 同基准数据集 |
| cholec80 | 78 | SurgMLLMBench 同基准数据集(腔镜标杆) |
| endovis-challenges | 79 | SurgMLLMBench 同基准数据集(EndoVis2018 出处) |
| sar-rarp50 | 293 | 机器人辅助手术器械分割近邻 |
| m2cai16-tool | 303 | 手术器械检测近邻 |
| kvasir-instrument | 213 | 内窥镜器械分割近邻 |
发布后建议在 misaw(445) 与 autolaparo(313) 条目正文补入指向本条的家族导航。
附录 AB:三层索引(速查入口)
| 想了解 | 去看 |
|---|---|
| 数据集是什么 | §0 导读、§1 十问十答 |
| 规模和规格 | §2 数据构成 |
| 标注体系 | §3 标注体系、附录 S/T |
| 能做什么任务 | §4 工作任务 |
| 评测结果 | §5 基准、附录 V |
| 怎么获取/许可 | §6 获取与许可、附录 N |
| 坑与注意 | §10 避坑清单、附录 J/K |
相关数据集导航
以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:
- 3dreasonknee — 共享标签:医学影像 / 医学图像分割 / 多模态 / 视觉问答 / 评测基准
- medvidqa — 共享标签:医学影像 / 手术视频 / 视觉问答 / 评测基准
- thompson-challenge — 共享标签:医学影像 / 手术视频 / 视觉问答 / 评测基准
- medical-cxr-vqa-dataset — 共享标签:医学影像 / 多模态 / 视觉问答 / 评测基准
- vqa-med — 共享标签:医学影像 / 多模态 / 视觉问答
- cataract-101 — 共享标签:医学影像 / 手术视频 / 多模态
- empiar — 共享标签:医学图像分割 / 多模态 / 评测基准
- polypgen — 共享标签:医学影像 / 手术视频 / 医学图像分割 / 评测基准
- kvasir-instrument — 共享标签:医学影像 / 手术视频 / 医学图像分割
- cadis — 共享标签:医学影像 / 手术视频 / 医学图像分割
导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

