ReMIND 脑肿瘤切除术中影像库 — 一百一十四例

一百一十四例 · 术前 MR+术中三维超声+术中 MRI · 三百五十六个分割

来源 https://www.cancerimagingarchive.net/collection/remind/发布时间: 2026-10-29最后更新: 2026-10-29 阅读 10
ReMIND 脑肿瘤切除术中影像库 — 一百一十四例

信息速览

数据集名称ReMIND 脑肿瘤切除术中影像库 — 一百一十四例
数据类型影像数据,人工标注,原始数据,元数据
规模一百一十四例(原始筛查一百二十三例,排除九例)
接入方式https://www.cancerimagingarchive.net/collection/remind/
AI 就绪度

站内已有的脑肿瘤影像条目,无论叫 BraTS 还是某个单病种队列,走的都是同一条路线:手术之前拍一套多序列 MRI,勾出肿瘤子区,训练模型把子区认出来。这条路走了十几年,规模与质量都在上升,但采集时刻始终停在切开颅骨之前。

ReMIND 换掉了这个时刻。它收录一家医院手术室里连续完成的一百多台手术,每位患者除术前四序列 MRI,还有术中扫出的三维超声、以及切除完成之后的术中 MRI。同一个人的脑在「切之前」「正在切」「切完」三个状态下,各被一种不同仪器看过一遍。前两套影像之间的差别,不是序列参数的差别,是把脑组织挪走之后还能不能对上。

这个差别决定了它的用途。术前 MRI 上标好的肿瘤边界,一旦脑组织因重力、脑脊液流失和肿瘤被取走而塌陷,那张图就不再指对地方;导航系统失去精度的环节叫脑移位,恢复精度靠的不是又一次分割,而是把术中看到的东西对齐回术前坐标。这是全库唯一把数据停在术中时刻的影像库,规模数字只是附带信息。一屏速览见下表。

维度 内容
全称 The Brain Resection Multimodal Imaging Database(ReMIND)
采集地点 布列根和妇女医院 AMIGO 高级多模态影像引导手术室,美国波士顿
采集窗口 2018 年 11 月至 2022 年 8 月
病例规模 一百一十四例(原始筛查一百二十三例,排除九例)
检查与序列 两百二十八次检查、一千三百四十六个序列、八万五千余幅图像
影像模态 术前 MR(T1、ceT1、T2、T2-FLAIR)、术中重建三维超声、术中 MRI
手术前 MR 序列数 三百六十九个
术中三维超声序列数 三百二十个
术中 MRI 序列数 三百零一个
分割数 三百五十六个
体量 影像约 43 GB,分割包约 208 MB,临床表约 115 KB
文件形态 DICOM 影像、NRRD 原始分割、DICOM-SEG 转换分割、CSV 与 XLSX 临床表
版本与日期 v1,2023 年 9 月 26 日
许可 CC BY 4.0
托管 The Cancer Imaging Archive,DOI 10.7937/3RAG-D070
主论文 Scientific Data 2024 年第 11 卷,DOI 10.1038/s41597-024-03295-z

§1 它要解决的具体麻烦

1.1 一句话结论:它留下的是手术过程中那一段空白

脑肿瘤手术的目标是最大程度安全切除:切得多,碰到功能区的风险大;切得少,复发快。平衡靠导航维持,术前 MRI 上标出肿瘤与功能区,器械位置实时叠在图上。切开硬膜那一刻是准的,切除到一半就不再准。

原因是脑组织会动。颅骨打开后压力改变,脑脊液流出,肿瘤被一块块取走,剩下的组织朝空处塌陷。位移从几毫米到超过一厘米,取决于肿瘤大小、位置与切除进度。手术室里的说法叫脑移位,它让术前地图在需要它的时候失效。

恢复地图的办法是重新拍一次,再在术中与术前影像之间建立对应。术中 MRI 能拍,但一套流程含准备、清场与重新铺巾要占用手术室一到一点五小时。术中超声便宜、快、探头就在术野上,代价是图像难看:对比度低、颗粒噪声重、只覆盖扫过的那一片。要把超声当导航用,必须先配到术前 MRI 上。

ReMIND 就是为这条链路准备的。它把每位患者的术前四序列 MRI、术中三维超声、术中 MRI 按同一套匿名编号放在一起,还附上术中 MRI 上勾出的残余瘤。三个时点都有,才可能研究位移怎么发生、怎么估计、估得准不准。

你想问的问题 需要什么 这个库给不给
脑组织在切除中位移了多少 同患者术前与术中配对影像 给,三个时点齐全
术前 MRI 能配到术中三维超声上吗 配对的多序列 MR 与重建超声 给,这是它的设计目标
残余瘤能不能在术中 MRI 上勾出来 术中 MRI 加残余瘤掩膜 给,五十八例有残余瘤分割
术中超声能否替代术中 MRI 评估切除 两者同期配对 部分给,超声在术中 MRI 之前
哪一类肿瘤在术中更难配准 按分型与部位分层的标签 部分给,临床表有分型分级与功能区
术后随访与生存 随访记录 不给,临床表不含终点

1.2 三条常见的错误期待

第一条,把它当成更大的 BraTS。数量上小一个量级,结构上多了两个 BraTS 根本没有的模态。用分割数据集的眼光看它,只会得到样本太小、标签太粗的印象,然后错过真正的价值。

第二条,把它当成手术录像。它不含视频、器械轨迹、麻醉与生命体征,也不含手术记录文本。术中影像落在三个离散时点:开颅后硬膜未开、硬膜已开未切除、切除完成准备进磁共振。真正在切的过程没有影像。

第三条,把它当成配准好的多模态训练集。超声与术前 MRI 之间没有官方提供的变换矩阵。拿它做配准研究,变换恰恰是要自己求的答案,不是随数据附送的。

常见期待 实际情况 后果
「比 BraTS 大的术前分割集」 一百一十四例,且多两个模态 规模上做不出结论
「含完整手术过程视频」 只有三个离散时点的三维影像 无法做动作识别
「多模态已配准、可直接融合」 超声与术前 MR 之间无官方变换 当已配准数据训练会得到错误结论
「残余瘤掩膜覆盖全部病例」 五十八例有残余瘤分割 按最大病例数规划会取到大量空样本
「脑与脑室分割是金标准」 商业软件自动生成,官方明示仅作起点 当评测标签会低估算法真实水平
「有术后随访与生存」 临床表不含终点 无法做预后建模

1.3 它能给到的与给不到的

你的需求 它给的 够不够
术前到术中的多模态配准 术前 ceT1、T2 与术中三维超声配对 够,这是衍生基准的来源
脑移位形变场的真值估计 术中 MRI 与术前 MRI 的同患者配对 够小规模验证,不足以训练大模型
超声上的肿瘤与残余识别 三维超声加术前与残余瘤掩膜 部分够,需把术前掩膜搬到术中坐标
切除腔形变与拓扑变化建模 切除前后配对影像 够,是这类数据的主要稀缺点
术前 MRI 肿瘤分割训练 一百一十三例术前全瘤掩膜 够做对照,不够做主力
术中导航的临床前测试 真实手术室采集的完整链路 够,但只有一个中心
术后疗效与生存分析 无 不够
术中实时视频与器械轨迹 无 不够

1.4 你的处境与它能帮到的事

你的处境 它能帮你什么 下一步
手上有术前 MRI 的配准模型,想验证它在术中是否成立 术前与术后的真实配对,带大范围形变与组织缺失 按衍生基准的预处理对齐到同一栅格再比指标
在做术中超声的自动判读,缺带术前金标准的配对 超声与术前四序列 MR 同患者 把术前肿瘤掩膜经配准映射到超声,作弱标签
想评估导航系统的误差来源 三个时间点的超声加术中 MRI 分别算硬膜未开与切除完成后的配准误差
做多模态表示学习,需要不完美配对 术前序列并非人人齐全,超声时点也不齐 把缺失当作输入条件,而不是先补全
写神经外科教学材料,要讲清脑移位 同患者的术前与术中对照 挑一例切除前后差别明显的做演示
要做预后或生存分析 临床表不含终点 改用带随访的队列

1.5 一句话判断

它不是为了把肿瘤分得更准而存在,而是为了让「术中那一刻的脑」第一次有了可公开对照的术前版本。

1.6 不适合谁:五条边界

边界 具体表现 更适合的替代
追求分割样本量 术前全瘤掩膜只有一百一十三例 BraTS 系列、UCSF-PDGM、UPenn-GBM
追求术中超声的单独分割基准 超声上没有逐例独立的肿瘤掩膜 BraTioUS 一类以术中超声图像本身为对象的集合
追求多中心比较 全部来自一家医院的同一间手术室 多中心队列或跨机构拼合的研究集
追求随访与疗效终点 临床表止于手术当时的病理与影像描述 带生存与随访的肿瘤登记或队列
追求术中全过程记录 只有三个离散时间点的三维影像 腹腔镜或内镜手术视频集

§2 数据构成与规格

2.1 三个时点、两种检查、一个手术室

理解这个库的结构,最省事的办法是先画一条手术时间轴。轴上五个时刻,每个时刻留下一种影像:手术日之前的四序列 MR,开颅后硬膜未开、硬膜已开未切除、切除完成准备进磁共振的三次三维重建超声,以及切除完成后的术中 MRI。前三个时点用于观察位置与基线,最后两点才回答切了多少、剩多少。

集合页把每位患者归为两次检查:术前一次、术中一次。术前检查里只有 MR;术中检查里既有超声也有术中 MRI。两百二十八次检查因而不等于两百二十八台手术,而是每人固定的两个检查袋。

术前四序列是平扫 T1、增强 T1、平扫 T2 与 T2-FLAIR。论文点明这些扫描来自多家机构的不同机器,采集参数并不统一。术中 MRI 统一得多,全部在 AMIGO 手术室同一台 3T、七十厘米宽孔径扫描仪上完成,配八通道头线圈。超声硬件也统一:同一型号的二维神经颅脑凸阵探头,接触面约 29 毫米乘 10 毫米,频率范围 5 到 13 兆赫。

2.2 一条记录的解剖

以某位患者的匿名编号为例,把下载的目录摊开,会看到下面的层级。编号只是示意,真实的检查与序列编号由 DICOM 生成。

TCIA/ReMIND/ReMIND-001/
├── 术前检查(Study 1)
│   ├── T1        → 一个 MR 序列
│   ├── ceT1      → 一个 MR 序列
│   ├── T2        → 一个 MR 序列
│   ├── T2-FLAIR  → 一个 MR 序列
│   └── 分割      → 术前全瘤 / 靶区 / 既往切除腔 / 脑 / 脑室
├── 术中检查(Study 2)
│   ├── 超声 A    → 开颅后硬膜未开
│   ├── 超声 B    → 硬膜已开未切除
│   ├── 超声 C    → 切除完成前
│   ├── 术中 MR   → 切除后
│   └── 分割      → 残余瘤
└── 临床表         → 一行,对应本患者

层级不复杂,复杂的是每一格都可能为空。术前四序列不是人人齐全,超声三个时间点也不是人人都有,残余瘤分割只在一部分病例上做过。读取的第一件事不是加载像素,而是把「谁有什么」列成矩阵,否则批处理会在空目录上崩掉。

层级 主键 可变性 常见陷阱
患者 匿名编号 固定一百一十四个 编号不连续,不能按序号推断例数
检查 DICOM 检查实例编号 每人两个 超声只在术中检查里
序列 DICOM 序列实例编号 数目因患者而异 同一患者可能有多段超声,需按时间点区分
分割 与序列的引用关系 按结构类型分 NRRD 与 DICOM-SEG 两套并存,不要重复计数
临床行 匿名编号 每人一行 缺失时间点会在表里有文字说明

2.3 临床表:管的是分型,不是结局

临床表以 CSV 与 XLSX 提供,TCIA 上的主体是一份约 115 KB 的表格,记录手术当时就能确定的信息:年龄、性别、族裔;肿瘤类型与分级,按世界卫生组织 2021 年中枢神经系统肿瘤分类给出;增强后的影像学特征;肿瘤位置与功能区毗邻程度;是否再手术、是否清醒开颅。

功能区毗邻分三档:不在功能区、邻近功能区、在功能区内。这一档在别处少见,判定要结合功能磁共振、解剖底物与术中神经电生理监测,不能从图像直接读出。对做导航算法的人,价值在于能把配准误差与「误差是否落在功能区」联系起来。

字段组 内容 意义
人口学 年龄、性别、族裔 分层与偏倚分析
病理 肿瘤类型、分级(WHO 2021) 按病种切分任务
影像特征 增强与否、影像学表现 区分强化与非强化的勾画规则
解剖 肿瘤位置、功能区毗邻三档 判断配准误差的临床后果
流程 再手术、清醒开颅、超声缺失原因 解释数据缺口

2.4 分割的六种对象与它们的数量

官方的分割不是「一个肿瘤掩膜」,而是按手术需要拆成六类对象,各有适用条件,数量差别很大。

分割对象 病例数 谁做的 做在哪个影像上
术前全瘤 一百一十三 神经外科fellow,主治复核 术前 MRI
术前肿瘤靶区 三 同上 术前 MRI
既往切除腔 二十一 同上 术前 MRI
术中残余瘤 五十八 同上 术中 MRI
脑(自动) 八十九 商业规划软件 术前 MRI
脑室(自动) 五十四 商业规划软件 术前 MRI

有两处容易读错。靶区只有三例不是缺失,而是只有计划次全切除的病例才需单独标出「这次要切的那部分」,多数病例计划全切,全瘤掩膜就够。既往切除腔只有二十一例,对应再手术患者,他们在术前 MRI 上就能看到上次留下的空腔。

还有一处更重要的时间区别:脑、脑室与肿瘤的分割全部在术前规划阶段完成,残余瘤分割在术中、基于术中 MRI 完成。残余瘤掩膜与术前掩膜因而天然不在同一空间,中间隔着一次真实形变。

2.5 一条贯穿全文的病例

为后面几节不停留在抽象层面,这里挑一例典型的再手术病例作贯穿样本,称为第 037 号病例。它满足三个条件:术前四序列齐全、三个时间点都有超声、有残余瘤分割。这样的病例在库里是少数,正因少数,它把各类数据的关系展示得最完整。

第 037 号病例的术前 MRI 上,除本次强化病灶,还能看到上次手术留下的切除腔,对应二十一个既往切除腔分割之一。规划阶段勾出术前全瘤与既往切除腔两个掩膜。开颅后拍一次超声,硬膜打开后再拍一次,切到术者认为镜下全切时再拍一次。随后患者被送入手术室内的磁共振,图像显示还有一块强化残留,主治在术中 MRI 上把它勾出来,成为五十八个残余瘤分割之一。

这一例的用法在后续固定:讲两种模态的差别时用它,讲残余瘤分割怎么产生时用它,讲配准误差在功能区附近意味着什么时还是用它。第三段超声与术中 MRI 只隔几分钟,是全库最接近「同一时刻两种模态」的配对,也是配准研究最想要的那一对。两者之间没有官方变换,必须自己求。这一例还有个特点:镜下判断与影像判断不一致,术者认为全切,术中 MRI 却显示强化残留。

2.6 与同类资源的字段差异

同样是脑肿瘤影像,不同库在字段上的取舍差别很大。下表只比结构与覆盖,不比优劣。表里最要紧的是中间两列:前四行缺的那两列,在别处补不上;做术前分割可以随便挑一个,做术中导航只能挑第一行。

资源 术前多序列 MR 术中超声 术中 MRI 残余瘤掩膜 临床分型
ReMIND 有,四序列 有,三维重建 有 有,五十八例 WHO 2021,含功能区毗邻
BraTS 系列 有,四序列 无 无 无 部分赛道含
UCSF-PDGM 有,多序列 无 无 无 有
UPenn-GBM 有,多序列 无 无 无 有
BraTioUS 无 有,二维 B 模式 无 无 病种限定胶质瘤

§3 核心层 A:采集条件与坐标系

3.1 为什么先讲坐标系

评价一个多模态影像库,最容易被跳过、也最决定可用性的,是「这几个模态究竟在谁的坐标系里」。说不清坐标系,配准研究就无法判断自己解的是真问题还是伪问题。

ReMIND 的坐标系有三层。各模态自己的采集空间:术前 MRI 有各自栅格与方向,术中超声是扫掠后重建的体数据,术中 MRI 是扫描仪空间。导航系统的患者空间:术前 MRI 靠皮肤标记点配到患者头部。术中 MRI 空间:以术前影像为参考做对齐。

坐标层 由谁定义 与手术室物理空间的关系 是否随手术变化
术前 MRI 栅格 各扫描仪 间接,需经导航配准 不变,但对应关系会失效
术中超声体数据 导航系统重建 直接,由追踪探头获得 每次扫掠各自独立
术中 MRI 栅格 手术室内扫描仪 经扫描仪定位 采样时刻独立
患者空间 导航系统 定义基准 脑组织在其中移动

关键在最后一行:患者空间固定,脑组织在其中移动。所有配准本质上都在求「术前 MRI 里的某个体素现在落在患者空间哪一处」,答案随手术进度变化。这就是单靠术前影像训练的导航模型在术中会失准的原因。

3.2 术中超声是怎么变成三维的

这一节值得单讲,因为它是整批数据里最容易被误解的部分。探头只出二维切面,库里的三维超声不是三维探头扫出来的,而是把追踪过的二维扫掠拼起来重建的。

做法是:探头装上导航系统的追踪适配器,系统实时记录位置与姿态;术者贴着硬膜或脑表面,沿开颅窗单向匀速扫过去;系统把每帧二维图按当时姿态摆进患者空间,叠成体数据。整套由导航系统自带软件完成。体数据的精度取决于追踪精度;扫掠非匀速会让切片间距不均;扫掠方向原本要求尽量平行于轴、矢、冠之一,但开颅窗的形状与大小常常不允许;重建的伪影与插值方式不对使用者公开;覆盖范围则严格限于开颅窗之内。

扫掠必须单向匀速,是因为重建假设探头沿一个方向平移,速度变化会让相邻切片重叠不一致,体数据在扫掠方向上被拉伸或压缩。扫掠方向尽量平行解剖轴,是为了栅格方向好理解,实际方向多半是折中的。

几条限制合起来说明:重建三维超声的几何保真度并不完美。把它当成「三维超声机拍出来的体数据」用,会在精度评估上高估自己。

3.3 术中 MRI 的代价与它的用途

术中 MRI 珍贵,是因为它在同一位患者、同一台手术里给出一次高对比度的切除后快照,把「切了多少」「还剩多少」从术者的视觉判断变成可测量图像。

代价是时间。论文写明整套采集要一到一点五小时,含安全检查、器械清点、扫描准备,以及扫描后重新铺巾恢复手术。这一段是整台手术被打断的时间。正因为昂贵,每人只有一次术中 MRI,不在切除过程中反复拍。

项目 术中 MRI 术中超声
单次获取耗时 数十分钟,含准备一到一点五小时 数分钟
对比度 高,接近诊断级 低,颗粒噪声明显
覆盖范围 全脑 限于开颅窗
组织缺失的显示 清楚 腔壁不规则,不易判读
是否打断手术 是,需清场与重新铺巾 否,随时可拍
每人次数 一次 一到三次

这张表解释了为什么配准偏偏要用超声:它是唯一可反复、快速、不打断手术的术中模态;也解释了为什么超声判读需要训练:对比度与覆盖范围都不如磁共振。

3.4 采集窗口与时间线的边界

采集从 2018 年 11 月开始,到 2022 年 8 月结束,覆盖近四年。集合页把区间简述为 2018 至 2022,论文给出精确到月的起止。

这四年里手术室设备没有换代,导航、超声机与磁共振都是固定配置。内部一致性好于多数多中心集合,但反过来无法回答「设备换代后这些方法是否还成立」。边界可以压成三句话:起点 2018 年 11 月,终点 2022 年 8 月,版本冻结于 2023 年 9 月 26 日的 v1,集合页标注为已完成,不预期大规模增补。

3.5 排除的九例与它说明的事

原始筛查是一百二十三例连续患者,最终入库一百一十四例。排除的九例:一例术中 MRI 有大面积伪影,一例三维术中 MRI 数据损坏,七例硬膜打开前超声质量不佳。

九例中有七例卡在同一环节:开颅后、硬膜未开时的超声。这个时点本就不容易拍好,探头隔着硬膜,声窗受限、耦合困难,图像质量波动大。排除规则说明发布方对「可用」设了一道门槛,也说明这个时点的数据在真实使用中更稀疏。

留下的是「筛选后的可用数据」,不是「这家医院这段时间的全部手术」。对研究是好事,对估计真实失败率是缺口。

§4 核心层 B:两种模态之间的鸿沟

4.1 问题不是「图像不一样」,而是「不一样在一个没法用亮度对齐的层面」

把术中超声与术前 MRI 并排放,任何看过影像的人都会立刻发现它们不像。但「不像」太粗,不足以指导算法设计。要拆开看的是:差异在哪几个层面,哪些能靠预处理抹平,哪些只能靠模型学。

差异层面 术前 MRI 术中三维超声 能否靠预处理抹平
成像物理 核磁共振信号 声波回波 不能
对比机制 质子密度、弛豫时间、造影剂 声阻抗差异 不能
空间分辨率 通常亚毫米级 各向异性,扫掠方向更粗 部分,靠重采样
噪声形态 热电噪声、运动伪影 散斑噪声,乘性 部分,靠去噪
视野 全脑 限于开颅窗 不能
组织缺失显示 切除腔边界清楚 腔壁回声杂乱 不能
伪影来源 磁化率、运动 气腔、声影、混响 不能

前六行说的是「两种模态本来就不一样」,只有分辨率与噪声两项能靠预处理缓解;第七行是这个库特有的麻烦:气腔干扰。开颅后术野与外界相通,空气进入切除腔与硬膜下间隙,声波在组织与空气界面几乎全反射,图像上出现大片无信号暗区,位置取决于当时空气积在哪里。干扰在这里特别突出,是因为超声在切除过程中拍,正是空气最容易进入的时候。同一患者在硬膜未开时拍的与切除完成后拍的,干扰程度可以相差很大。

4.2 第 037 号病例的两次超声

第 037 号病例硬膜打开后拍的第二次超声里,脑表面形态完整,中线结构清晰,肿瘤区是一片回声不均的高信号,边界尚可辨认。切除完成后拍的第三次超声,同一位置完全变样:原肿瘤区成了边界不规则的暗区,周围一圈强回声带,那是腔壁与残留气体。

对配准算法来说,这两次超声的意义截然不同。第二次与术前 MRI 的差异主要来自硬膜打开造成的轻微塌陷,形变小、拓扑不变,是经典的刚性加小形变配准。第三次与术前 MRI 的差异既包含大范围塌陷,也包含一块组织被物理移除造成的拓扑变化,后者不是形变场能表示的。

对比项 第二次超声(硬膜已开未切除) 第三次超声(切除完成后)
与术前 MRI 的关系 同一套解剖,位置略移 解剖已改变,部分结构消失
形变性质 小范围弹性形变 大范围形变加组织缺失
是否存在拓扑变化 否 是,切除腔是新结构
适合的算法族 刚性加薄板样条一类 需不连续形变场或空洞约束
与术中 MRI 的关系 相隔较久 相隔数分钟

这张表解释了为什么术前到术中的配准是一个连续谱而不是一个任务:越靠近切除完成,问题越难,也越接近临床真正需要导航的时刻。

分割在这个库上有明确瓶颈:术前全瘤掩膜一百一十三例,残余瘤掩膜五十八例,两者还不在同一空间。当训练集样本不足,当测试集标签边界又与主流挑战赛不同。

配准恰恰相反。库提供「同一患者、同一手术、多个时点」的配对关系,而配对本身是稀缺资源。公开的术中脑影像库屈指可数,能同时给出术前 MRI、多次术中超声与术中 MRI 的更少。把配对用起来,产出的不是又一个分割模型,而是能把导航误差压回毫米级的算法。

任务 库内可用样本 标签性质 瓶颈
术前肿瘤分割 一百一十三例 手工,fellow 标、主治复核 规模不足
残余瘤分割 五十八例 手工,术中 MRI 上 规模与标注规则
脑与脑室分割 八十九与五十四例 商业软件自动 官方明示非金标准
术前 MR 到术中超声配准 全库配对 需自建地标或下游基准 无官方变换
术前 MR 到术中 MR 配准 全库配对 需自求变换 无官方变换
术中超声的切除程度判读 全库 需以术中 MRI 为参照 无独立标签

最后一行值得补一句。库里没有「超声上切除程度」的标签,但术中 MRI 提供了参照:切除完成前那次超声与随后的术中 MRI 只隔几分钟,可以把残余瘤掩膜当作那个时刻的答案。这种间接标签价值不小,前提是自己完成从术中 MRI 到超声的映射。

4.4 地标标注:一个已被公开的做法

配准需要可量化的评价基准,基准通常靠地标。官方做法写在衍生基准的说明里:先在切除前影像上用三维尺度不变特征变换检出候选点,经仿射变换映射到切除后影像,再由两位专家人工精修核验,直到一致。

这个流程承认了一个事实:切除后的影像上许多解剖标志已经消失。地标只能选「切除前存在、切除后仍可辨」的结构,比如脑沟拐角、脑回凸点。这类点数量有限,组织塌陷后位置会移,人工核验不可省。

环节 做法 目的
候选检出 三维尺度不变特征变换 在切除前影像上找稳定几何特征
初对齐 仿射变换 把候选点带到切除后影像
人工精修 两位专家独立核验 剔除因组织缺失失效的点
一致性 讨论至一致 降低观察者差异

这条链条还有副产品:地标本身的观察者间差异可量化。衍生基准报告的手工地标差异约 1.89 毫米,标准差 0.37 毫米。低于这个值,意味着算法已达到人类标注者彼此之间的一致程度。

4.5 残余瘤分割是怎么产生的

残余瘤分割在术中 MRI 上做,由神经外科fellow 用导航系统的规划软件勾出,主治按需修正。勾画规则与术前全瘤一致:强化病例勾强化区加坏死核心,非强化病例勾 T2 或 T2-FLAIR 高信号区内的实性成分。

后果是:两套掩膜解剖定义相同,立足影像不同。术前全瘤多半勾在增强 T1 上,残余瘤勾在术中 MRI 上,对比机制一致,但体位与脑组织位置全变了。

项 术前全瘤掩膜 残余瘤掩膜
立足影像 术前 MRI 术中 MRI
勾画时点 术前规划 术中,切除完成后
勾画规则 强化区加坏死核心;非强化勾实性成分 同上
例数 一百一十三 五十八
与对方的关系 手术要切掉的量 手术没切掉的量

两套掩膜放在一起,天然构成「计划切多少」与「实际剩多少」的对照。对做切除程度评估的人是少见的可直接用的配对,代价是先解决两套影像之间的配准。

4.6 观察者之间的一致度是多少

官方在十例上量过手工肿瘤分割的观察者间一致度,五例强化、五例非强化。强化肿瘤在增强 T1 上的 Dice 为 92.2%,标准差 2.8%,平均对称表面距离 0.68 毫米;非强化肿瘤在 T2 上为 86.4%,标准差 3.7%,平均对称表面距离 1.24 毫米。

这两个数要说清含义。Dice 九十以上听起来高,但这是两位标注者在同一套影像上互相比较,不是算法与真值比较。它给出的是标签本身的天花板:任何声称在同类数据上超过这个数的模型,都要检查是不是边界本就模糊,或评估集太小。

对象 影像 Dice 平均对称表面距离
强化肿瘤 增强 T1 92.2%(标准差 2.8%) 0.68 毫米(标准差 0.34 毫米)
非强化肿瘤 T2 86.4%(标准差 3.7%) 1.24 毫米(标准差 0.22 毫米)

非强化肿瘤一致度明显更低。非强化病灶在 T2 高信号区里没有清晰边界,勾到哪算哪,两位标注者对「实性成分」的理解也有差别。把它当训练标签时尤其要记得。

4.7 自动分割的适用边界

脑与脑室的自动分割由商业导航规划软件生成,八十九例脑、五十四例脑室。论文对此有明确提醒:尽管软件临床广泛使用,误差仍可能出现,尤其在复发肿瘤再手术的病例上;这批分割不宜当分割问题的金标准,更适合当可进一步精修的起点。

这句话值得原样对待。不是自动分割不能用,而是不能拿它做评测的参照答案。一篇论文报告「在 ReMIND 的脑分割上达到某 Dice」,分数里有多少来自参照本身的不准,无法判断。

§5 核心层 C:怎么取到、怎么用起来

5.1 三条通道与各自的门槛

通道 内容 门槛 适合谁
TCIA 影像与分割 全部 DICOM 影像、NRRD 与 DICOM-SEG 分割 需 TCIA 下载工具,需引用 DOI 需要原始数据的全部使用者
TCIA 临床表 一份 CSV 与一份 XLSX 直接下载 先做样本筛选的人
衍生配准基准 预处理后的配准任务子集 直接下载,独立登记 只做配准对比实验的人

第一条通道要用官方检索器,它按清单批量取,手工点下载极慢。第二条只有一百多 KB,先看它再决定要不要下载 43 GB 影像更省事。第三条是官方在外部资源里挂出的衍生集,独立托管、独立登记,不是集合的一部分。

5.2 先读临床表再决定下载什么

临床表是一行的表,读进来先确认哪些患者同时具备术前 MR、术中超声、残余瘤掩膜。这一步能把可用样本从一百一十四例缩到更小的数,避免下载完才发现目标病例缺模态。

import pandas as pd

#-- 临床表来自 TCIA 集合页的 Clinical data 下载项(CSV 或同名 XLSX)
clin = pd.read_csv("remind_clinical.csv")

#-- 列名以官方表格为准,下面按语义挑出需要的几列
need = [c for c in clin.columns
        if any(k in c.lower() for k in ("id", "age", "sex", "who", "grade", "eloquent", "reop"))]
sub = clin[need].copy()

#-- 按功能区毗邻程度分组计数,判断能做出多大分层的评估
if "eloquent" in sub.columns:
    print(sub["eloquent"].value_counts(dropna=False))
print("cases", len(sub))

这段代码不是为了做完筛选,而是先把「能不能按功能区毗邻分层」问清楚。三档若严重不均,分组报告时会有一组几乎没有样本。

四项筛理由都很具体:残余瘤掩膜只有五十八例,不先筛就会按全库规模取到一半空样本;术前四序列并非人人齐全,缺序列会让多序列融合模型在部分病例上无法前向;功能区毗邻档位决定分层报告能否成立,某一档极少时不宜单独报告;是否再手术影响自动分割的可信度,复发病例更需要人工复核。

5.3 从 DICOM 里读出三类模态

拿到目录后第一件事是按模态把序列分开。下面这段只读文件头、不读像素,适合在上百 GB 的目录上快速摸底。

import os
import pydicom

root = "ReMIND_DICOM"
rows = []
for dirpath, _, files in os.walk(root):
    dcm = [f for f in files if f.lower().endswith(".dcm")]
    if not dcm:
        continue
    ds = pydicom.dcmread(os.path.join(dirpath, dcm[0]), stop_before_pixels=True)
    rows.append({
        "study": getattr(ds, "StudyInstanceUID", ""),
        "series": getattr(ds, "SeriesInstanceUID", ""),
        "modality": getattr(ds, "Modality", ""),
        "desc": getattr(ds, "SeriesDescription", ""),
        "n": len(dcm),
        "rows": getattr(ds, "Rows", None),
        "cols": getattr(ds, "Columns", None),
    })

import pandas as pd
idx = pd.DataFrame(rows)
print(idx.groupby("modality")["n"].agg(["count", "sum"]))

输出按模态分三组:MR、US 与分割用的 SEG,一眼看出各模态的序列数与切片总量,也顺带确认同一患者的超声是否被拆成多个序列。对照时可以直接看三个数:MR 的序列数应与术前三百六十九加术中三百零一相符,US 的序列数应与三百二十相符,每序列切片数则用来看是否为完整重建体。超声重建在 DICOM 里的组织方式与常规断层不同,一个序列可能对应一次扫掠,也可能把多次并在一起,具体看序列描述。

5.4 把三维超声载入并检查几何

超声体数据最常见的坑是几何信息:像素间距与层间距写在头里,但扫掠方向与解剖轴的关系要从方向余弦读。下面的读法会把这些信息一并暴露出来。size 若某个方向远小于另两个,说明覆盖窄;spacing 通常不是各向同性,需按方向分别处理;direction 的方向余弦偏离单位阵越多,说明扫掠方向越偏斜;强度分布若明显长尾,多半是气腔造成的低值拉了左尾。

import SimpleITK as sitk
import numpy as np

img = sitk.ReadImage("case037_us_c.nii.gz")
print("size", img.GetSize())
print("spacing", img.GetSpacing())
print("origin", img.GetOrigin())
print("direction", img.GetDirection())

arr = sitk.GetArrayFromImage(img).astype(np.float32)
#-- 散斑噪声是乘性的,取对数后再做强度归一更接近加性噪声假设
arr = np.log1p(np.clip(arr, 0, None))
arr = (arr - arr.mean()) / (arr.std() + 1e-6)
print("median", float(np.median(arr)), "p99", float(np.percentile(arr, 99)))

spacing 的三个数通常不相等,这是扫掠式重建的正常结果:平面内分辨率由探头决定,扫掠方向的分辨率由帧间距决定。把三个方向当等间距处理,会在扫掠方向上引入系统偏差。

5.5 用官方扩展做地标

官方提供了一个三维切片扩展,用于在多模态影像上标地标,装好后可在切片视图里同时看到术前 MR 与术中超声并打点。自建配准评价时,这是最省事的起点。

#-- 在 3D Slicer 的扩展管理器中检索并安装,或从源码目录构建
git clone https://github.com/koegl/SlicerMRUSLandmarking.git
cd SlicerMRUSLandmarking
#-- 装好后在 Slicer 的 Modules 列表里会出现 MRUS Landmarking

立地标时值得记三件事:点在切除前影像上的坐标、在切除后影像上的坐标、以及标注者对该点是否「两侧都确实认得出」的判断。第三条在切除腔边缘最重要,那里最容易出现一侧有、另一侧已消失的点。坐标建议体素与物理坐标各存一份,前者便于重采样,后者直接用来算距离;可辨认性分强、弱、勉强三档,剔除勉强档之后再算指标更稳。

5.6 存储与算力预算

43 GB 是原始体量,不是内存占用。真正吃资源的是重采样到统一栅格之后的数组:一个两百五十六立方的浮点数组约 67 兆,四个术前序列加三次超声加一次术中 MR,单例轻松过 500 兆,一百多例就是几十 GB 驻留内存。批量实验按病例流式处理,别在内存里堆全会话。分割包两百多兆、临床表一百多 KB,这两项可以整份常驻。

5.7 三条容易踩空的操作

第一条,把 DICOM-SEG 与 NRRD 同时读进来再按结构计数。两套是同一批掩膜的两种编码,重复读会让分割数翻倍。第二条,靠序列描述判断时间点。描述用词并不总一致,DICOM 头里的时间戳或采集顺序更可靠。第三条,把术前与术中检查当成两次独立扫描而不追究是否同一患者。同患者关系靠匿名编号连接,编号一旦被改写,配对关系就断了。

§6 与库内词条的关系

6.1 关系图谱

围绕这个库,站内有六条直接相关的词条,关系是互补与对照而非同源。前四条在「术前分割」上与它对话,第五条在「超声图像本身」上对话,第六条在「临床与分子信息」上对话。没有任何一条能替代它在配对关系上的位置。

站内条目 编号 与 ReMIND 的关系
BraTS 24 同为四序列术前 MRI 加肿瘤分割,是本库的术前侧参照
UCSF-PDGM 469 术前弥漫性胶质瘤多序列 MR 队列,对照标注口径
UPenn-GBM 462 胶质母细胞瘤影像基因组学,对照临床变量组织方式
BraTS-MEN 949 脑膜瘤术前四序列分割,对照病种覆盖差异
BraTioUS 987 同为术中超声,但对象是超声图本身而非术前配对
TCGA-GBM 1692 大样本术前影像与分子配对,对照临床信息深度

6.2 与术前分割四条的边界

BraTS、UCSF-PDGM、UPenn-GBM、BraTS-MEN 的共同点是都在手术之前拍,手术之后无处可去。这不是缺点,术前影像是绝大多数临床决策的基础,做成大规模分割基准也是它们的设计目标。

分界线在术后这一侧。这四条没有术中超声、没有术中 MRI、没有残余瘤掩膜,无法回答「切完之后还剩什么」。要回答这个问题,需要的不是更大的术前队列,而是像这个库一样的同手术前后配对。

对照项 术前分割四条 ReMIND
采集时刻 手术前 手术前、术中、切除后
主要模态 MR MR 加三维超声加术中 MR
分割对象 肿瘤子区 全瘤、靶区、既往腔、残余瘤、脑、脑室
适合任务 分割与亚区分类 配准、切除评估、术中判读
典型样本量 数百到上千 一百一十四

6.3 与 BraTioUS 的边界

这两条最容易被认错:都带「术中超声」四个字,对象却完全不同。

BraTioUS 的对象是超声图像本身:二维 B 模式图,逐张配肿瘤掩膜,多中心采集,用于训练模型在超声上认肿瘤。ReMIND 的对象是配对关系:三维重建超声加同患者的术前多序列 MR,用于研究两种模态怎么对齐。

对照项 BraTioUS ReMIND
超声形态 二维 B 模式 三维重建体数据
是否有术前 MR 无 有,四序列
超声上的肿瘤标签 逐张有 无,需经配准从术前掩膜映射
采集中心 多国多中心 单一机构
主要用途 超声肿瘤分割 术前术后配准

两者是接力而不是替代:在 BraTioUS 上训练超声肿瘤分割模型,再拿到 ReMIND 的术中超声上做外部验证,正好补上「多中心训练、单中心验证」这一环。反过来,在这里研究出的配准方法,能让 BraTioUS 上的模型在真实导航场景里用起来。

6.4 检索路径

想找的病例 筛选路径 落点
有残余瘤的 临床表按残余瘤掩膜是否存在筛 五十八例
再手术的 临床表按再手术状态筛 二十一例有既往切除腔分割
功能区病灶 临床表按功能区毗邻筛「在功能区内」 论文口径约三分之二
三时点超声齐全的 序列目录按三个时间点逐个核对 需自行统计,二十二例有缺口
强化与非强化分开 临床表按影像特征筛 影响勾画规则

6.5 组合使用的三种配方

第一种,术前分割分工:用大规模术前集训练分割主干,用这里的一百一十三例做域外测试,检验模型在不同机构、不同扫描仪的数据上是否稳定。第二种,术中接力:用多中心超声集训练超声识别,用这里做外部验证与配准对齐。第三种,切除评估:用残余瘤掩膜定义切除程度,把术前肿瘤体积与残余体积相减,得到切除率这一连续指标,再用它去标注其他只有术前影像的队列。

配方 主数据 辅数据 产出
域外测试 大规模术前集 ReMIND 术前 泛化性报告
术中接力 多中心术中超声 ReMIND 术中 超声识别加配准
切除率标注 ReMIND 残余瘤 其他术前队列 可迁移的切除程度指标

§7 质量评估与局限性

7.0 阅读本节前的一次校正

用评价普通影像数据集的标准看这个库,结论会很糟:一百一十四例太少,分割只有三百五十六个,掩膜边界规则与主流挑战赛不一致,还缺随访。按这个框架打分,它落在「勉强可用」一档。

问题出在框架。它的设计目标不是「提供一个能训练大模型的分割集」,而是「提供一个能研究术中配准的配对集」。配对集框架下,一百一十四例乘以每人一到三次超声、一次术中 MRI、一套术前四序列,得到一批高价值配对单元;分割集框架下,同样的数据只是「一百多个标注样本」。

第二,别把「术中」理解成「全流程」。它记录三次离散快照,不是连续影像流。想看脑组织如何一步步塌陷,只能拿到切除前后两个端点。第三,别把「没有变换矩阵」当缺陷。配准的任务就是求变换,官方若给了变换,这个库就失去基准的意义。缺失在这里是功能,不是遗漏。

7.1 DAIMS 评分表

评分采用十分制,按数据集资产信息模型的三个层、八项指标逐项给分并写明理由。分数不是排名,用于快速判断哪一层需要额外投入。

DAIMS 指标 分数 依据
描述层 · 身份与边界 8 集合页、主论文、预印本三处一致给出全称、作者、采集窗口与单机构边界;纳入与排除规则写明
描述层 · 文档完备度 9 主论文含采集、分割、去标识、验证四个环节的完整说明,另有集合页与软件工具说明
结构层 · 标识体系 8 匿名编号与 DICOM 检查、序列实例编号构成三级标识,临床表以同一编号对齐
结构层 · 层级一致性 9 每位患者固定两次检查,术前与术中的划分在所有病例上一致,超声只出现在术中一侧
结构层 · 模态配对 9 术前 MR、术中超声、术中 MRI 在患者与手术层严格配对,残余瘤掩膜单独挂在术中一侧
访问层 · 开放程度 9 全量影像与临床表公开,无需申请,不设受控层
访问层 · 可复现性 6 版本冻结于 v1 且体量可核对;但预处理与重建依赖商业导航软件,开源环境无法完整复现
访问层 · 许可清晰度 9 CC BY 4.0,允许含商业用途的使用,仅需引用数据集 DOI

八项平均约 8.4。最高的三项是文档完备度、层级一致性与模态配对,恰好也是最难被别人复制的部分。最低的可复现性并不意外:采集链路依赖手术室里的商业导航系统与磁共振,任何人在自己的服务器上都造不出第二份。读分时的经验是:9 到 10 可直接依赖,7 到 8 记录版本并做一次体量核对,5 到 6 要预留工时处理预处理差异,3 到 4 只作补充,1 到 2 建议换掉。

7.2 局限的逐条清点

第一条,单中心。全部病例来自同一家医院的同一间手术室,导航、超声、磁共振与手术团队都是同一套配置,论文也把单中心列为需要突破的限制。在这里取得的性能,不等于在别的医院也能达到。

第二条,超声覆盖不均。二十二例在某些时点没有超声,十五例因术者偏好、七例因硬膜切开。缺口不是随机的:术者偏好与病例难度、手术习惯有关,硬膜切开与既往手术史有关,两者都可能与目标变量相关。

第三条,自动分割不宜作金标准。任何以它为参照的评测,都把参照本身的误差算进了结果。第四条,术前序列异质。术前 MR 来自多家机构的不同扫描仪,序列间的几何对齐由导航系统在规划阶段完成,这个对齐的质量没有逐例公开。

第五条,无随访与终点。临床表止于手术当时,不含生存、无进展时间与术后并发症。第六条,残余瘤掩膜的判读依赖术中 MRI 质量:患者体位特殊、术野开放,图像与常规诊断扫描不同,腔壁附近的边界尤其难定。

局限 来源 影响方向 缓解方式
单中心 一家医院一间手术室 泛化性未知 与其他术中库拼合做留中心验证
超声不齐 术者偏好与硬膜切开 样本选择与目标可能相关 分层报告,缺超声的病例单列
自动分割误差 商业软件 以它为参照会低估真实差距 只作初值,人工复核后再用
术前参数不一致 多机构扫描 模型可能学到扫描仪特征 按厂商与场强分层,做强度归一
无随访 采集止于手术 无法做预后 与带随访队列按可对齐的特征拼合
术中 MRI 质量 术中条件下的扫描 残余瘤边界不稳 报告时说明判读条件

7.3 外部验证矩阵

一个数据集被外部用过多少次,比它自己宣称的局限更能说明问题。围绕这个库已经形成的几类外部工作中,配准这条线最扎实。

结论或用途 内部证据 外部进展 可信度
术前到切除后的配准可独立成为一个任务 主论文提出这一方向 已有专门基准与挑战赛,训练九十九例、验证五例、测试十例 高
配准误差可量化到毫米级 地标观察者间差异约 1.89 毫米 挑战赛以目标配准误差与最差百分之三十地标误差为指标 高
术中超声可作术中判读 主论文与教学用途说明 已有独立方法报告同类任务上的误差水平 中到高
术前四序列可做域外测试 一百一十三例术前全瘤掩膜 独立检验报告有限 中
残余瘤分割可直接用于训练 五十八例 未见独立的规模复现 低到中

第三行不是最高,因为同类方法在其他术中数据上的表现与此处不能直接互换。第五行最低:五十八例不足以支撑规模复现,更像研究方向。

7.4 它为何能持续

这个库 2023 年 9 月定版后没有再出大版本,价值却没有随时间衰减,反而因下游工作增多而上升。原因有三层。

第一层,替代品造不出来。它依赖一间专为术中影像设计的复合手术室,导航、术中磁共振、追踪超声在同一空间协同工作,一位患者一次手术就能收齐三个时点的数据。全世界具备这套配置且愿意公开的机构屈指可数。

第二层,任务被下游固化。配准的标准答案变成「在这批数据上把误差压到多少毫米」,一旦有了公开基准与被引用的指标,后来的方法就必须在这里报数,报数就得用数据。

第三层,它被当作教学材料。论文明确把「解读术中超声与术中 MRI」列为预期用途,教学材料使用周期长、更新压力小,与科研数据集追新版本的节奏不同。

支撑条件 具体表现 弱点
硬件不可复制 复合手术室的三个时点采集 无法扩容
任务被固化 下游方法必须在此报数 指标单一化风险
教学用途 术中影像的解读训练 教学需求不推动更新
许可宽松 四类文件全部可用 无强制回馈机制

弱点同样重要:硬件不可复制意味着数据量停在原处,任务固化意味着评价围绕一套指标打转,教学需求不推动更新,意味着它可能长期停在 v1。

§8 生态位与历史

8.1 从一间手术室说起

这个库的来历可以追到 AMIGO 手术室。它是这家医院专为影像引导手术建的多模态套间,术中磁共振、导航系统与多种术中影像设备在同一空间,患者不必在手术室与影像科之间转运。要研究脑移位,这套配置几乎必要:只有在同一台手术里连续采到术前、术中、术后的影像,才可能把位移量出来。

作者群跨越神经外科与影像计算两侧。外科提供病例、手术判断与掩膜精修,工程负责采集流程、去标识与数据组织。数据里因而既有临床判断的痕迹,也有工程规范(DICOM 组织、NRRD 转换、去标识验证)的痕迹。

阶段 时间 关键动作 留下的东西
设备准备 2018 年前后 复合手术室投用 连续采集的物理条件
连续采集 2018 年 11 月至 2022 年 8 月 一百二十三例连续入组 排除后的主体数据
整理与去标识 2022 至 2023 年 去标识、分割、格式转换 可公开的数据形态
首次发布 2023 年 9 月 预印本与集合页同月上线 v1 数据
主论文 2024 年 期刊正式发表 方法与验证的正式记录
下游基准 2024 年起 配准子集与挑战赛 独立托管的任务基准

8.2 两篇文献的分工

同一份数据有两份正式文档。预印本 2023 年 9 月上线,与集合页几乎同时;期刊论文 2024 年发表在数据类期刊。期刊版经同行评审,方法细节更完整;预印本上线更早,常被引为首次发布。

文档 时间 形态 常见用途
集合页 2023 年 9 月 官方数据页 引规模数字与下载入口
预印本 2023 年 9 月 预印本服务器 引用首次发布
期刊论文 2024 年 同行评审论文 引用方法与验证细节

引用规范上,数据本身应引集合页给出的数据集 DOI,而不是论文 DOI。数据集 DOI 指向数据,论文 DOI 指向对数据的描述,两者不是一回事。

8.3 下游的衍生资源

发行方在集合页的外部资源栏挂出一个衍生基准,目标是解决术前多参数 MRI 与术中三维超声之间的配准,并把「术前到切除后」单列为最具挑战的场景,因为要估计大范围形变与组织切除。

这个衍生集不是 TCIA 集合的一部分:独立托管、独立登记、独立许可,图像转为统一容积格式,裁到超声视野内并统一到相仿的栅格与间距。它给配准提供了统一起跑线,代价是丢掉原始 DICOM 里的一些采集信息。原始集合给的是全部一百一十四例的原始形态、分割与临床表,用途开放;衍生集给的是按任务筛过的子集,训练不提供标注,验证与测试用隐藏地标,专用于方法对比。

8.4 挑战赛把任务固定下来

2025 年,以这个库为基础的配准任务进入学习型配准的挑战赛序列,指标定为地标上的目标配准误差、最差百分之三十地标误差与运行时间,运行时间在固定型号的图形处理器上测。训练集不提供标注,逼着方法走无监督或自监督路线。

这一安排把这批数据从「可以自由发挥的数据集」变成「有标准答案赛道的基准」。标准答案不是掩膜而是地标,不是分割准确率而是毫米级误差。§4.4 的地标流程服务的正是这个指标;输入固定为配对的 ceT1、T2 与切除后超声,迫使方法同时吃两种模态;划分固定,防止在测试集上调参;实时性进排名,因为手术室等不起慢方法。

8.5 为什么它没有同类的第二个

从 2023 年发布至今,公开的术中脑肿瘤多模态影像库仍只有这一个量级。不是没人想做,是条件难凑:需要同时具备术中磁共振与追踪超声的手术室,需要连续几年的病例积累,需要外科与工程长期协作,还需要愿意把手术影像公开的伦理与合规路径。

伦理路径本身也值得一说:医院伦理委员会批准方案,每位参与者签署含公开共享的知情同意,磁共振影像经仿射配准加面部掩膜去标识,并逐例目视检查。这套流程是公开的前提,缺一环数据都出不了医院。

条件 情况 难以复制的程度
硬件 术中磁共振、导航、追踪超声同室 高
病例 四年连续入组 中
团队 外科与工程长期协作 中
合规 含公开共享的知情同意 高
意愿 主动上传至公共归档 高

§9 使用指引

9.1 三种角色的路径

做配准研究:先读采集与坐标系,再取衍生基准复现基线,最后回到原始 DICOM 做子任务。跳过第一步直接用预处理版,遇到预处理没覆盖的情况会无从下手。

做临床判读:先按功能区毗邻与病种把临床表分层,再取对应的术前与术中影像,最后用术中 MRI 的残余瘤掩膜作切除程度的参照。最要小心的是别把自动分割当真值。

做模型工程:先跑通单例的读取与重采样,再把缺失模态当输入的一部分而不是要补的洞,最后按患者划分训练与测试,绝不让同一患者的两个时点落在不同集合。

角色 第一件事 最容易错的一步 交付前的检查
配准研究者 读坐标系与地标流程 把预处理版当成全部信息 报指标时写明地标来源
做临床判读的人 按临床表分层 把自动分割当真值 报告里标注分割来源
模型工程师 单例跑通 按切片而非患者划分 确认无患者级泄漏

9.2 一条最短的可用流程

只想在半天内判断这个库是否适合自己,三步就够。读临床表,数自己关心的子集有多大;下载两三例的术前 MR 与术中超声并排看一眼,确认受得了那个模态差别;数这两三例里有多少个时间点有超声,体会覆盖不均。

import pandas as pd

clin = pd.read_csv("remind_clinical.csv")
print(len(clin), "cases")
for col in ("residual", "prior_cavity", "eloquent", "reoperation"):
    if col in clin.columns:
        print(col, clin[col].notna().sum())

输出里四个数分别回答「子集有多大」「多少例有残余瘤」「多少例有既往切除腔」「多少例在功能区」,它们决定多数研究设计的上限。病例数太小就与其他库拼合;残余瘤例数太少就改用术中 MRI 描述而非掩膜;既往切除腔太少就放弃再手术分层;功能区样本太少就把「邻近」与「在功能区内」合并成一档。

9.3 引用方式

引用这个库要引数据集本身,而不是只引论文。集合页给出的规范格式是作者列表加年份加数据集全称加版本加归档名,最后附数据集 DOI。论文另引一处,用期刊论文的 DOI。

引用对象 标识 何时用
数据集 集合页给出的数据集 DOI 报告数据来源时的必引项
期刊论文 期刊论文 DOI 引用方法、验证与设计说明时
预印本 预印本 DOI 追溯首次发布时间时

9.4 合规清单

事项 要求 常见疏漏
许可 CC BY 4.0,需署名 只写「公开数据」不写许可
去标识 已去标识,但仍应视为敏感数据 在公开场合展示含面部残留的图
二次分发 许可允许,但须保留署名 转手时丢掉 DOI
衍生作品 允许,须注明改动 预处理后仍称为原始数据
临床用途 不得用于临床决策 把算法误差当作可接受的手术精度

9.5 在 AI 流程里的位置

把影像 AI 的流程画成一条线,这个库的位置很明确:它不在训练集那一端,而在部署前验证那一端。预训练与模态适配两个环节它不参与;配对关系学习与部署前验证是它的主场;需要随访终点的临床前评估,它承担不了。

§10 AI 使用声明

项目 声明
数据来源 TCIA 集合页、Scientific Data 主论文、预印本、衍生基准页、挑战赛论文
生成方式 人工撰写,AI 辅助整理结构与措辞
数字口径 只采用官方页面与论文的原始表述,未做二次统计
数量形态 硬数字以中文数字给出,阿拉伯数字仅用于文件大小与度量
分布统计 不提供,避免把探索性统计写成规格
医学建议 无,本文不构成诊疗建议
版本 对应数据集 v1,2023 年 9 月 26 日
责任边界 使用后果由使用者承担,引用以官方为准

常见误读(避坑清单)

常见说法 实际情况 证据
「这是比 BraTS 更大的脑肿瘤分割集」 一百一十四例,比主流术前集小一个量级 集合页受试者数
「只有术前 MRI,和别的脑肿瘤库差不多」 另有术中三维超声与术中 MRI 两个模态 集合页数据类别与论文介绍
「术中超声是三维探头直接扫的」 追踪二维探头单向扫掠后由导航系统重建 论文采集方法
「多模态已经配准好,可以直接融合训练」 超声与术前 MR 之间没有官方变换矩阵 集合页与论文均未提供变换
「每个病例都有残余瘤掩膜」 五十八例有,约占一半略多 论文分割数量细分
「脑与脑室分割可以直接当评测真值」 商业软件自动生成,官方明示仅作起点 论文技术验证一节
「每个病例都有三个时间点的超声」 二十二例在部分时间点缺失 论文采集说明
「术中是完整录像,可做动作识别」 只有三个离散时点的三维影像,无视频 集合页数据类型
「有术后随访与生存」 临床表不含随访与终点 集合页临床数据字段
「这是个多中心集合」 全部来自一家医院的同一间手术室 论文作者单位与采集说明
「原始筛查一百二十三例全部入库」 排除九例后为一百一十四例 论文病例构成
「残余瘤掩膜与术前掩膜在同一空间」 前者在术中 MRI 上,后者在术前 MRI 上 论文分割时间点说明

FAQ

Q1:它和 BraTS 最根本的区别是什么?
不是规模,也不是病种。BraTS 及其同类的影像全部在手术之前采集,任务是把肿瘤的子区认出来;这个库的影像跨越手术前、中、后三个时刻,任务是让术中看到的东西对齐回术前坐标。前者回答「肿瘤在哪里」,后者回答「我切到哪里了」。

Q2:一百一十四例很小,能训练出可用的模型吗?
按分割任务看,确实小。按配准任务看,每位患者提供的是一组配对单元,而不是一个样本:术前四序列、一到三次超声、一次术中 MRI,交叉起来形成的约束远多于病例数。真正限制它的是单中心,而不是例数。

Q3:术中超声为什么那么难配到 MRI 上?
至少四层原因叠加:成像物理完全不同,一边是核磁共振信号一边是声波回波;对比机制不同;空间分辨率与各向异性不同,重建体数据在扫掠方向上更粗;术中还有气腔与组织缺失的干扰。任何一层单独存在都还能应付,四层叠在一起就必须用专门的多模态方法。

Q4:残余瘤掩膜只有五十八例,为什么这么少?
掩膜在术中 MRI 上勾画,前提是有术中 MRI,且术者认为有必要确认残余。镜下已明确全切、或术中 MRI 判读无明显的病例,未必都做了勾画。这个数反映临床需要,不是数据丢失。

Q5:脑与脑室分割是自动的,还能不能用?
能用作初值或预处理,不宜用作评测的参照答案。官方明确说过,这些分割在复发肿瘤再手术的病例上误差可能较大,应视为可进一步精修的起点。

Q6:超声有时缺失,缺的是哪些病例?
二十二例在部分时点没有超声,十五例是术者偏好,七例是开颅或既往手术造成的硬膜切开。缺失与临床特征相关,统计时不能当作完全随机缺失。

Q7:我能不能只用术前 MRI 部分?
可以,一百一十三例有术前全瘤掩膜,四个序列覆盖也不错。但这样用等于放弃它唯一不可替代的部分,得到的是一个规模很小的术前分割集。

Q8:能不能直接拿到术前到术中的配准变换?
官方不提供。这正是它作为配准基准存在的理由。需要统一起点的,可以用发行方挂出的衍生配准基准,那里做了统一重采样,但仍不提供变换答案。

Q9:这个库适合做术中实时导航的端到端训练吗?
不适合直接做端到端。它没有器械轨迹、没有视频、没有术中连续的影像流,只有三个时点的快照。它适合做配准这一环的训练与评估,实时性的一部分要靠下游的工程实现补上。

Q10:可以商用吗?
许可为 CC BY 4.0,允许含商业用途的使用与再分发,条件是按集合页给出的格式署名并引用数据集 DOI。需要注意的是,许可宽松不等于可用于临床决策,算法在手术中的使用仍需另行验证与审批。

术语表

术语 解释
ReMIND Brain Resection Multimodal Imaging Database,本文所述数据集的全称
iUS intraoperative ultrasound,术中超声
iMRI intraoperative MRI,术中 MRI
脑移位 开颅后脑组织因压力、重力与切除而发生的位移与形变
神经导航 把术前影像与术中器械位置对齐的辅助系统
配准 求两幅影像之间空间对应关系的过程
形变场 描述逐点位移的向量场
拓扑变化 组织被物理移除导致的结构连通性改变
散斑噪声 超声成像固有的乘性颗粒噪声
气腔干扰 术野进入空气后声波全反射造成的无信号区
凸阵探头 接触面呈弧形的超声探头,常用于经颅与开颅窗
扫掠 探头沿一个方向平移以覆盖更大范围的采集动作
体数据重建 把追踪过的二维切面按姿态叠成三维数据
TRE target registration error,地标上的目标配准误差
TRE30 最差百分之三十地标误差,用于衡量尾部稳健性
Dice 重叠度指标,两倍交集除以体积和
平均对称表面距离 两条分割边界之间双向距离的平均值
强化病灶 注射造影剂后信号升高的病灶区域
T1-FLAIR 液体衰减反转恢复序列,抑制脑脊液信号以突出病变
WHO 2021 分类 世界卫生组织第五版中枢神经系统肿瘤分类
功能区毗邻 分不在功能区、邻近功能区、在功能区内三档
再手术 同一部位此前做过手术,本次为再次切除
清醒开颅 患者在清醒状态下接受开颅与部分切除
DICOM-SEG 以 DICOM 编码的分割对象
NRRD 一种常用的医学影像与分割文件格式
DAIMS 数据集资产信息模型,按描述、结构、访问三层组织元数据
AMIGO 布列根和妇女医院的影像引导手术套间

附录 A:核心数字核对表

项 值 来源
最终病例数 一百一十四 集合页与论文
原始筛查数 一百二十三 论文
排除例数 九 论文
检查数 两百二十八 集合页
序列数 一千三百四十六 集合页
图像数 八万五千七百三十三 集合页
术前 MR 序列 三百六十九 集合页与论文
术中三维超声序列 三百二十 集合页与论文
术中 MRI 序列 三百零一 集合页与论文
分割总数 三百五十六 集合页与论文
术前全瘤掩膜 一百一十三 论文
术前靶区掩膜 三 论文
既往切除腔掩膜 二十一 论文
残余瘤掩膜 五十八 论文
自动脑分割 八十九 论文
自动脑室分割 五十四 论文
影像体量 约 43 GB 集合页
分割包 约 208 MB 集合页
临床表 约 115 KB 集合页
结构项 值 来源
顶层单位 患者(匿名编号) 论文数据记录
每人检查数 两次,术前与术中 论文数据记录
超声所属检查 仅术中 论文数据记录
主键 匿名编号与 DICOM 实例编号 论文数据记录
影像形态 DICOM 集合页
分割形态 NRRD 原件与 DICOM-SEG 集合页
临床形态 CSV 与 XLSX 集合页
采集窗口 2018 年 11 月至 2022 年 8 月 论文
机构 布列根和妇女医院 论文
许可 CC BY 4.0 集合页

附录 B:数字的来源分层

层级 数字 说明
官方页面 病例、检查、序列、图像、体量、分割总数 集合页 v1,2023 年 9 月 26 日
论文正文 一百二十三例与九例排除、三百六十九、三百二十、三百零一 Scientific Data 2024
论文正文 各类掩膜例数、观察者一致度、地标差异 同上
衍生基准页 训练与验证划分、配对方式、栅格 发行方外部资源
挑战赛论文 划分、指标、硬件、地标流程 2025 年挑战赛说明
未核实 三个时间点各自的实际病例数、按病种的超声覆盖 官方未给,本文不做二次统计

附录 C:完整参考文献

  1. Juvekar P, Dorent R, Kögl F, Torio E, Barr C, Rigolo L, Galvin C, Jowkar N, Kazi A, Haouchine N, Cheema H, Navab N, Pieper S, Wells WM, Bi WL, Golby A, Frisken S, Kapur T. The Brain Resection Multimodal Imaging Database (ReMIND) (Version 1) [dataset]. The Cancer Imaging Archive, 2023. DOI: 10.7937/3RAG-D070.
  2. Juvekar P, Dorent R, Kögl F, et al. ReMIND: The Brain Resection Multimodal Imaging Database. Scientific Data, 2024, 11. DOI: 10.1038/s41597-024-03295-z.
  3. Juvekar P, Dorent R, Kögl F, et al. ReMIND: The Brain Resection Multimodal Imaging Database. Cold Spring Harbor Laboratory preprint, 2023. DOI: 10.1101/2023.09.14.23295596.
  4. Dorent R, Wells W, Kapur T. ReMIND2Reg dataset (2023), Version 2.3. Zenodo, 2024. DOI: 10.5281/zenodo.11098847.
  5. Dorent R, Rigolo L, Galvin C, Chen J, Heinrich MP, Carass A, Colliot O, Wassermann D, Golby A, Kapur T, Wells WM. The Brain Resection Multimodal Image Registration (ReMIND2Reg) 2025 Challenge. arXiv:2508.09649, 2025.
  6. Wang J, Liu Z, Liu M, Chen X, Yu X, Wang Y, Zhang H. Unsupervised MR-US Multimodal Image Registration with Multilevel Correlation Pyramidal Optimization. In: Learn2Reg 2025 Challenge Proceedings, 2025.
  7. Kögl F, et al. SlicerMRUSLandmarking: a 3D Slicer extension for multimodal MR-US landmarking. https://github.com/koegl/SlicerMRUSLandmarking.
  8. The Cancer Imaging Archive. ReMIND collection page. https://www.cancerimagingarchive.net/collection/remind/.

附录 D:任务代码

下面这段把「配准前的一步预处理」写完整:读入术前增强 T1 与切除后超声,重采样到统一栅格,再算一个互信息驱动的初始对齐,作为后续形变配准的起点。

import SimpleITK as sitk

fixed = sitk.ReadImage("case037_ceT1.nii.gz", sitk.sitkFloat32)
moving = sitk.ReadImage("case037_us_c.nii.gz", sitk.sitkFloat32)

#-- 统一到相同间距,避免互信息在不同分辨率上被过度平滑
resample = sitk.ResampleImageFilter()
resample.SetReferenceImage(fixed)
resample.SetInterpolator(sitk.sitkLinear)
moving_rs = resample.Execute(moving)

init = sitk.CenteredTransformInitializer(
    sitk.Cast(fixed, sitk.sitkFloat32),
    sitk.Cast(moving_rs, sitk.sitkFloat32),
    sitk.Euler3DTransform(),
    sitk.CenteredTransformInitializerFilter.GEOMETRY,
)

method = sitk.ImageRegistrationMethod()
method.SetMetricAsMattesMutualInformation(numberOfHistogramBins=48)
method.SetMetricSamplingStrategy(method.RANDOM)
method.SetMetricSamplingPercentage(0.05, seed=42)
method.SetOptimizerAsGradientDescent(learningRate=1.0, numberOfIterations=200)
method.SetOptimizerScalesFromPhysicalShift()
method.SetInitialTransform(init, inPlace=False)

out = method.Execute(sitk.Cast(fixed, sitk.sitkFloat32), sitk.Cast(moving_rs, sitk.sitkFloat32))
print("metric", method.GetMetricValue(), "iters", method.GetOptimizerIteration())
print(out)

这段代码只做刚性初对齐,不做形变。它的用处是把两个模态大致摆正,让后续的形变优化不至于从太远的地方起步。互信息对两种成像物理之间的强度映射不敏感,这正是选它的理由;而采样比例压到百分之五,是因为三维互信息计算在完整体数据上很慢,且随机采样加固定种子能保证可复现。

参数 取值 理由
直方图分箱 四十八 强度分布差异大,分箱过少会抹平细节
采样比例 百分之五 平衡速度与稳定性
优化器 梯度下降两百步 初对齐不需要收敛到极值
初始变换 几何中心对齐 患者体位差异不大,中心对齐够用

附录 E:如果只记五件事

序号 要点
一 它是全库唯一同时带术前 MR、术中三维超声与术中 MRI 的脑肿瘤影像库
二 一百一十四例乘三个时点,价值在配对关系,不在样本量
三 超声是追踪二维探头扫掠重建的三维体数据,几何保真度有限
四 超声与术前 MR 之间没有官方变换,配准是要自己求的答案
五 残余瘤掩膜五十八例,自动脑与脑室分割仅作起点,都不宜当评测真值

编辑说明

本篇核验日期为 2026 年 10 月 29 日。规模与结构数字取自 TCIA 集合页与 Scientific Data 2024 主论文,两处对病例数、检查数、序列数、图像数、分割数完全一致;下游信息取自发行方在集合页外部资源栏挂出的配准基准页与 2025 年挑战赛说明。体量的写法对简报作了收窄:集合页摘要写 43.73 GB,影像下载项标注 43.53 GB,两者相差约 0.2 GB,正文统一写「约 43 GB」,不裁定哪一个更准。

另一处口径冲突已核实:挑战赛论文摘要把采集时间写作 2018 至 2024,而集合页与主论文均为 2018 年 11 月至 2022 年 8 月,正文按官方与主论文的窗口成稿;挑战赛侧重采信的是旧版稿件,不是数据本身有第二个版本。

正文的分布类数字(按病种、按功能区毗邻的具体例数)一律不写,只在 §6.4 的检索路径里保留论文的定性口径「约三分之二位于功能区」,不作为规格数字。术前 MR 的观察者一致度数值与自动分割的来源说明取自论文技术验证一节,属方法学证据而非分布统计。

未做全量下载与逐例统计,三个时间点各自的实际病例数、按病种的超声覆盖情况官方未给,标注为未核实。集合页的 Status 标为 Complete 表示编辑状态,不表示后续不会修订;若官方发布新版本,优先更新附录 A、附录 B 与 §8.1 的时间线,再同步正文概览表,并核对下游衍生基准与挑战赛页面是否同步更新了划分与指标。


相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集,按相关度降序排列:

  • crossmoda-2023 — 共享标签:医学影像 / 脑肿瘤 / 多模态影像 / 医学图像分割
  • cfb-gbm — 共享标签:医学影像 / 脑肿瘤 / 医学图像分割 / 神经科学
  • bratious — 共享标签:医学影像 / 脑肿瘤 / 医学图像分割
  • kg-brain-tumor-classification-mri — 共享标签:医学影像 / 脑肿瘤 / 医学图像分割
  • kg-lgg-mri-segmentation — 共享标签:医学影像 / 脑肿瘤 / 医学图像分割
  • ivy-gap — 共享标签:医学影像 / 脑肿瘤 / 神经科学
  • crossmoda2022 — 共享标签:医学影像 / 医学图像分割 / 神经科学
  • brats-africa — 共享标签:医学影像 / 脑肿瘤 / 医学图像分割
  • adam-aneurysm — 共享标签:医学影像 / 医学图像分割 / 神经科学
  • spinal-multiple-myeloma-seg — 共享标签:医学影像 / 多模态影像 / 医学图像分割

导航说明:本章节由全站统一标签体系自动计算生成(标签重合度算法),双向可达;点击链接可跳转至对应数据集词条。

返回 AI-Ready 数据集