D4D 腹部非刚性手术场景四维重建数据集

D4D（The Dresden Dataset for 4D Reconstruction of Non-Rigid Abdominal Surgical Scenes）是由德累斯顿国家肿瘤疾病中心（NCT/UCC Dresden）与德累斯顿工业大学团队发布的腹部软组织四维重建基准，数据以 CC BY-4.0 许可托管于德累斯顿工业大学机构库 OPARA（DOI 10.25532/OPARA-1033），配套工具代码公开在 GitHub 仓库 reubendocea/d4d。数据采自六只猪尸体，核心内容由达芬奇 Xi 立体内窥镜视频与 Zivid 2+ M60 结构光点云配对构成，总规模约半 TB。

微创手术图像导航长期受制于一个基础问题：腹部软组织持续变形，而多数重建方法默认场景刚性。要在「组织形变后算法还能不能正确重建」上做定量评估，就需要同一场景在变形前后都有可靠的几何真值——这在真实手术中无法获得。D4D 的回答是用结构光相机在片段起止时刻扫描组织表面，为内窥镜视频配上成对的稠密点云真值，并按「整体变形、增量变形、移动相机」三类序列分别考察算法对非刚性运动、变形幅度与视野外更新的鲁棒性。整套采集经光学跟踪与人工精化配准，使重建结果可以逐点对比几何误差。

适合做非刚性 SLAM、手术场景四维重建或内窥镜深度估计的算法团队，以及需要遮挡区定量评估协议的图像导航研究者。第一件事是按 OPARA 页面下载感兴趣标本的目录并阅读 GitHub 仓库的数据说明。先注意两点：位姿精化后仍可能残留毫米级错位；Specimen 5 的左右通道曾在录制中互换，使用 tf/ 目录需按论文说明处理。

§1 它是什么：定义、身份与版本

1.1 一句话定义与官方口径

D4D 是一个「配对数据」基准：同一片腹部软组织，一端是手术机器人的立体内窥镜连续视频，另一端是片段起止时刻由结构光相机（Structured-Light Camera，SLC）扫出的稠密三维点云。前者代表算法的实际输入，后者代表该时段的几何真值。数据论文对它的定位是一个综合基准（comprehensive benchmark），用于开发与评估非刚性 SLAM、四维重建与深度估计方法——这三类方法的共同诉求是「既要跟得上组织变形，又要在相机移动、组织被遮挡时不出错」。

数据集的名字来自发布地：采集与发布均在德累斯顿完成，采集地点是 NCT（National Center for Tumor Diseases）的实验手术室，发布平台是德累斯顿工业大学机构库 OPARA。缩写 D4D 中的「4D」指三维空间加时间维度的连续重建，「D」既指 Dresden 也指 Dataset。

1.2 团队与分工

数据论文署名 13 位作者，横跨四个机构。第一作者兼通讯作者是 NCT 转化外科肿瘤学系的 Reuben Docea；香港中文大学的 Qi Dou 与 Yonghao Long 参与其中，带来手术场景重建方法侧的经验；德累斯顿工业大学外科系与触觉互联网研究中心（CeTI）的 Martin Wagner 与 Stefanie Speidel 为共同资深作者，两人长期从事图像引导手术与手术数据科学研究。这种「工程平台 + 算法团队」的组合决定了数据集的设计取向：它不是单纯堆镜头拍视频，而是围绕「评估协议能不能闭环」来组织采集。

1.3 一分钟版本：给不同角色的快速入口

工程负责人关心的第一个问题通常是「这东西能不能直接进我们的评测管线」：答案是格式标准、许可宽松，主要工作量在位姿对齐与目录管理。算法研究者关心的第一个问题是「误差能不能量化到我能接受的程度」：几何真值只落在片段起止两端，中间时刻靠位姿链外推，做逐帧精度声称前必须先想清楚这一点。数据管理者关心的第一个问题是「合规负担多重」：CC BY-4.0 加动物标本来源，几乎免除了医疗数据集常见的授权摩擦。三个角色的共同前置动作是读论文的后处理章节——它决定了所有数字的口径。

1.4 时间线与版本状态

采集窗口为 2025 年 2 月至 9 月；数据集于 2025 年 12 月 10 日在 OPARA 上线（DOI 10.25532/OPARA-1033）；配套数据论文于 2026 年 3 月 3 日提交 arXiv（编号 2603.02985），目标期刊为 Scientific Data，投稿时仍在审。截至目前数据集为单一版本，OPARA 页面未见修订记录；GitHub 仓库承担数据说明与工具的持续更新职能。引用时应把 OPARA DOI 作为数据引用、arXiv 编号作为论文引用，两者不可混用。

1.5 与「手术场景重建数据集」谱系的关系

此前的手术场景重建资源大体分两类：一类是真实手术视频（如胆囊切除录像集），真实但无几何真值，评估只能靠视图合成的光度指标间接推断；另一类是仿真或 phantom 数据，有真值但与真实组织外观差距大。D4D 走第三条路：用猪尸体实验把「视频的真实感」与「结构光真值的可量化」放进同一数据包，并以光学跟踪保证两条数据流可配准。它不取代真实手术视频集，而是补上「有几何真值的中间层」，使定量几何评估第一次在腹部非刚性场景可行。

从方法演进的角度看，这类中间层资源的价值在于把研究从「端到端试错」推向「分模块诊断」。没有几何真值时，一个重建管线的失败只能整体归因；有了起止点云，跟踪、建图、地图更新、渲染各环节的误差可以被分别检验。D4D 的三类序列进一步把「场景变量」本身做了控制变量处理，这让消融实验的结论更接近因果解释而非相关性观察。

1.6 问题背景：为什么腹部手术重建难做

图像引导手术系统（Image Guidance System，IGS）在骨科与神经外科已相对成熟，其前提是骨骼等刚性结构在术中形状不变，术前影像配到术中坐标系后可以长期有效。腹腔软组织完全不同：气腹压力、器械牵拉、重力和组织本身的水分迁移都会让器官表面在几分钟内发生厘米级形变。刚性配准一旦失效，导航显示的「肿瘤在这里」就可能与真实位置脱节，这也是腹部手术中此类系统渗透率低的核心原因之一。

要从工程上解决这个问题，研究者需要回答一串可量化的问题：重建算法在组织形变后还能维持多高的表面精度？误差随形变幅度怎么增长？相机移开再回来，算法对视野内发生过变化的结构会不会错误地保留旧地图？回答这些问题需要一个共同前提——存在一种基准，能同时给出「算法看到的视频」和「同一时刻组织表面的可信几何」。D4D 的全部设计都服务于这个前提：结构光相机在片段起止时刻扫描点云，光学跟踪把相机与扫描仪绑进同一坐标系，三类序列把失效模式拆开分别加压。

1.7 数据集、论文与代码三位一体

理解 D4D 的发布形态要注意三个组件的分工。数据本体在 OPARA，是评估工作的对象；数据论文（arXiv:2603.02985，投稿 Scientific Data）承担「说明书」职能，写清采集协议、后处理流水线、位姿质量自评与使用建议，是引用的学术出口；GitHub 仓库承担「工具箱」职能，提供数据读取示例与对齐脚本，也会随反馈持续更新。三者缺一都可能让评估走偏：只拿数据不读论文，容易忽略位姿残余误差与 Specimen 5 的通道例外；只读论文不碰仓库，则会把文件解析的功夫重复做一遍。

§2 数据构成：规格、字段与问答

2.1 十问十二答

Q1：D4D 采集自什么对象，是真实病人手术吗？
不是。数据采自六只猪尸体（Specimen 0–5），在德累斯顿 NCT 实验手术室于 2025 年 2 月至 9 月完成采集，属受控实验环境而非临床现场。这意味着没有患者隐私与伦理负担，但也意味着组织形变的生理特性（呼吸、搏动、灌注）与活体有差距，且部分标本的组织在前序实验中已被操作过。

Q2：用什么设备采集，参数是什么？
达芬奇 Xi 手术机器人立体内窥镜（30° 或 0° 镜头）负责视频，原始分辨率 894×714，发布版统一缩放至 640×512；Zivid 2+ M60 结构光相机负责点云真值；NDI Polaris 光学跟踪系统实时追踪两台设备上的光学标记；ROS2 rosbags 按系统时钟时间戳同步全部数据流。

Q3：三类序列分别考察什么？
整体变形（whole deformation）序列覆盖一次完整的组织操作，考察端到端鲁棒性；增量变形（incremental deformation）序列把变形拆成小步，便于细粒度研究组织形变；移动相机（moved camera）片段则考察相机运动与视野外结构更新的处理能力。

Q4：序列总量与分布如何？
原始采集 150 条，过滤后保留核心序列 98 条，来自 Specimen 1–5 共 49 个采集实例：整体变形 49 条、增量变形 39 条、移动相机 10 条。另有 30 条质量存疑的序列一并发布，但未做完整后处理。Specimen 0 的全部 24 条采集因质量问题被整体剔除。

Q5：帧数与点云规模多大？
核心序列合计超过 30 万帧内窥镜图像，结构光点云共 369 个（每个采集实例对应片段起止的成对扫描）。对深度学习而言，30 万帧量级足够支撑监督式深度估计的微调实验，但对从零预训练来说仍属小规模——它的定位是评估基准而非预训练语料。

Q6：每条片段提供哪些数据？
校正后立体图像（左右各一，PNG）、每帧二值器械掩码、逐帧立体深度（NPY，由 IGEV++ 立体匹配生成）、片段起止结构光点云、精选相机位姿（curated_camera_pose_start.txt 与 end.txt）及发布分辨率下的相机内参 YAML。

Q7：结构光点云起什么作用？
它是片段首尾两时刻的高质量几何真值。重建算法输出的四维场景可与起止点云对齐比较，得到可见与遮挡区域的定量几何误差；SLC 视角与内窥镜不同，因此能覆盖内窥镜看不到的区域——这是该数据集评估协议的核心设计。

Q8：器械掩码怎么来的？
内窥镜侧用 Segment and Track Anything（SAM-Track）与 SAM2 半自动分割再人工核查；SLC 侧为手动分割。掩码为二值（器械/非器械），用于把器械像素从几何评估中剔除，并支撑「工具后方遮挡区」的近似评估方案。

Q9：数据怎么组织？
层级为 specimen_X/日期时间/{子目录}：clips/ 存操作片段，camera_info/ 存标定，color_images/ 与 depth_images/ 存 SLC 帧，pointcloud/ 存点云，masks/ 存分割输出，tf/ 存时间戳变换，clips.json 与 info.csv 记录片段切分与操作组织类型。

Q10：立体深度是测出来的还是算出来的？
算出来的。论文使用 IGEV++ 立体匹配算法从校正后的双目图像计算逐帧视差并转为深度。它为深度估计研究提供了很强的输入基线，但不能当作独立于算法的深度真值使用——真值职能由结构光点云承担。

Q11：标定链路是怎样的？
相机内参用 Zhang 氏标定法获得，内窥镜与结构光相机之间的外参关系靠手眼标定加光学跟踪维持，片段起止位姿再经 LightGlue 特征匹配、PnP+RANSAC 与 ICP 精配修正。整条链路的每一环都有失败可能，论文为此提供了质量自评（见 §4.1）。

Q12：数据是同步的吗？
是。全部设备接入 ROS2，以 rosbags 记录并通过系统时钟时间戳对齐，SLC 图像、深度、位姿变换均带时间戳。做时序建模时可直接按时间戳插值对齐，无需额外同步硬件方案。

Q13：掩码可以拿来训练分割模型吗？
可以，但要知道它的口径：掩码是二值的器械/非器械轮廓，不区分器械种类与部件，训练多类分割需另行标注。掩码由半自动流水线生成并经人工核查，作为训练源时建议在论文中说明这一来源，避免被读者当作纯人工像素级标注。

Q14：SLC 的彩色图像和深度图有什么用？
结构光相机自带的彩色与深度帧主要用于配准链路：点云配准、信噪比检查（snr_images）与人工核查点云质量。它们也可作为「扫描仪视角」的辅助素材，但分辨率与视角与内窥镜不同，不能直接当作内窥镜帧的替代品。

2.2 数据规格表（含字段可靠性标注）

数据项	规格	格式	可靠性
立体图像	发布版 640×512（原始 894×714 校正缩放），左右双路	PNG	论文正文可证
立体深度	逐帧，IGEV++ 立体匹配生成	NPY	论文正文可证
器械掩码	每帧二值，内窥镜侧 SAM-Track/SAM2 半自动	PNG	论文正文可证
SLC 点云	片段起止各一，Zivid 2+ M60	点云文件	论文正文可证
相机位姿	精选起止位姿 + 时间戳变换	TXT/NPY	语义存疑（Specimen 5 的 tf 代表右相机）
相机内参	发布分辨率口径，Zhang 标定 + 手眼标定	YAML	论文正文可证
SLC 彩色/深度/信噪比图	带时间戳	PNG	论文正文可证
元数据	片段切分、操作组织类型、相机是否移动	JSON/CSV/TXT	论文正文可证

2.3 三类序列的设计逻辑

三类序列不是随意切分，而是对应重建算法的三个失效模式。整体变形序列回答「算法扛不扛得住从头到尾的组织操作」；增量变形序列把同一场操作切成连续短片段，使变形幅度成为可控变量，可以做「误差随变形量增长曲线」这类细粒度研究；移动相机片段则针对视野外更新——相机挪走再挪回后，之前没看到的地方组织可能已经变形，算法必须决定保留还是更新旧地图。论文特别指出：实际上所有序列都存在视野外变形，移动相机只是把它放大到最显著。

这种设计的直接好处是把「算法为什么错了」变成可分解的问题。若某方法在增量变形上表现好而在整体变形上崩溃，问题多半出在误差累积；若在移动相机上失败，问题在于地图更新策略而非跟踪精度。单一混合序列无法做出这种归因。

2.4 从原始采集到发布版本：后处理流水线

原始 rosbags 到可用片段之间隔着一条多级流水线。第一步是片段切分：从连续记录中按操作语义切出 clips，并过滤质量不达标的采集——原始采集只有约三分之二进入核心集。第二步是立体校正与深度计算：图像缩放到发布分辨率，IGEV++ 生成逐帧深度。第三步是位姿链：光学跟踪给出名义位姿（nominal），人工精化得到精选位姿（curated），必要时叠加 ICP 自动精配；特征匹配用 LightGlue，失败场景回退到半自动的 region-based ICP。第四步是掩码生成：内窥镜侧由 SAM-Track/SAM2 半自动完成，SLC 侧手动完成。每一步的选择都以「片段起止点云对齐质量」为最终裁判，论文明确提示部分环节仍需人工目检把关。

2.5 一次数据走查：以单个片段为例

设想使用者打开 specimen_4 下某采集日的一条整体变形片段。进入 clip 目录，首先看到的左路图像文件夹存放校正后的内窥镜帧，右路与其逐帧对齐；每帧旁边有同名掩码文件圈出画面中的手术器械。stereo_depth 子目录里的 NPY 数组给出每像素深度，形状与图像一致，加载后可直接可视化组织表面的粗糙深度图。片段根目录下两个精选位姿文本分别对应片段首尾，各是一个 3×4 变换矩阵，把相机坐标系连到结构光坐标系；起止点云则给出首尾两个时刻组织表面的稠密采样。

走查时应确认四件事：图像帧数与掩码帧数一致；深度数组的分辨率声明与内参文件一致；起止点云非空且密度正常；clips.json 中该片段的时间区间与其所在采集实例吻合。任何一项不符，都应先怀疑下载不完整或误入存疑序列目录，而不是直接进入评估流程。这个五分钟的例行检查能拦住大部分后续会静默污染结果的问题。

2.6 场景多样性：标本、组织与操作

数据集的场景多样性来自三个维度。标本维度：核心数据来自五具猪尸体，各标本的序列数量差异明显，最多的一个贡献了超过三分之一的片段，最少的也有两位数的增量变形序列可取。组织维度：specimen 级的 info.csv 记录了每个采集日操作的组织类型，涉及不同腹腔结构与表面性状，为跨场景泛化测试提供了起码的多样性。操作维度：三类序列叠加器械对组织的推、抓、牵拉等不同操作方式，使形变的幅度与速度天然分布在一定区间内。

同时要清醒地看到多样性的边界：所有场景都来自同一实验手术室的同一套设备，光照、视角与器械种类高度一致；动物标本数量决定了个体解剖差异的覆盖有限。把在该数据集上测得的指标外推到不同医院、不同设备配置的真实手术时，应保留足够的保守余地。

§3 怎么拿到：获取路径、许可与合规

3.1 两条获取通道

通道一是 OPARA 机构库：访问 DOI 10.25532/OPARA-1033 或 handle 123456789/1882，页面直接提供整包下载，总量约 480 GB，无需注册或审批，建议按 specimen 目录分批下载。通道二是 GitHub 仓库 reubendocea/d4d：不存放数据本体，而是提供数据说明、读取示例与后处理工具，适合先克隆仓库了解目录结构再决定下载范围。两条通道互相独立，均公开可达。

对带宽受限的团队，推荐的下载顺序是：先取一个中等体量标本（如 Specimen 2，核心序列 14 条）跑通全流程，再补齐其余标本；最后视需要决定是否纳入存疑序列——它们未经完整后处理，贸然并入评估集会把质量问题误算成算法误差。

3.2 许可与使用边界

OPARA 元数据标注许可为 CC BY-4.0：可自由使用、修改、再分发，唯一义务是署名——引用数据论文并注明数据来源 DOI 即满足要求。这使 D4D 可以直接进入商业评测或产品管线，不必像许多医疗数据集那样处理二次授权。猪尸体来源也避开了人类数据的伦理审查与去标识化负担。署名格式建议：Docea, R. et al. The Dresden Dataset for 4D Reconstruction of Non-Rigid Abdominal Surgical Scenes. Sci. Data (2025)，附 OPARA DOI。

需要提醒的是 CC BY-4.0 不含任何性能背书：许可回答的是「能不能用」，不回答「用起来准不准」。位姿残余误差、掩码半自动来源等质量边界（§4）仍然由使用者自行消化，尤其在把数据用于安全攸关的导航系统验证时。

对照同类医疗数据资源的授权实践，这套许可安排的便利性更加突出：临床上采集的手术视频集通常需要在机构层面签署数据使用协议，部分还需要伦理委员会批文；带患者影像的资源普遍要处理去标识化验证。D4D 的使用者只需在成果中完成署名即可，这让跨机构协作与竞赛式评测的组织成本显著降低。当然，宽松许可是双刃的：任何人（包括商业团队）都可以基于它构建衍生资源，选用衍生资源时应核查其是否保留了本数据集的质量分层信息。

3.3 存储与工程准备

按整包体量规划磁盘（约半 TB），解压后建议保留原始目录层级，因为论文的读取示例按 specimen/日期/clip 三级路径检索。数据以标准开源 Python 工具可读（PNG、NPY、YAML、JSON、点云文件），无需私有格式解析器。深度与位姿文件是 NPY 数组，配合 curated_camera_pose 文件即可把重建坐标系对齐到结构光坐标系。

下载后的第一件事是核对包完整性：OPARA 页面提供整包字节规模，解压前后各做一次体量比对，可以第一时间发现断点续传导致的截断。对于按目录分批下载的团队，建议维护一份本地清单记录每个 specimen 目录的文件数与字节数，后续排查异常时有据可依。

工程上有三个实践建议。其一，图像文件量巨大，训练管线应直接消费时间戳索引而非遍历目录；其二，点云文件建议一次性转成统一中间格式缓存，避免每次评估重复解析；其三，克隆 GitHub 仓库后先跑通其读取示例，再接入自有管线，可以省掉大部分文件格式踩坑。

3.4 合规与引用清单

使用者需要遵守三条：第一，CC BY-4.0 的署名义务覆盖一切衍生品，包括论文、开源代码与产品文档；第二，存疑序列与核心序列在论文中地位不同，引用规模时应明确口径（见 §6 误读表）；第三，若评估协议涉及调参，应采用论文建议的划分协议（见 §5.3），这既是学术规范，也是结果可比的前提。

3.5 下载与复现检查清单

开工前过一遍这份清单，能避免绝大多数返工：

• 磁盘余量按整包体量留足，并预留解压与缓存的临时空间；
• 先下载 GitHub 仓库并通读其数据说明，确认文件版本与 OPARA 当前发布一致；
• 首个标本下载完成后跑通读取示例，再批量下载其余标本；
• 记录下载日期与 OPARA 页面修订状态，便于论文发表后核对是否有更新；
• 评估脚本中显式声明所用位姿版本（精选或 ICP）与分辨率口径，写入结果元数据；
• 若纳入存疑序列，必须在实验设置中单独声明并在结果中分层报告。

§4 质量与已知问题

4.1 位姿配准质量：论文唯一的定量自评

把内窥镜视频坐标与结构光点云坐标对齐是整套评估协议的地基。论文用结构光点云间的距离分布验证了三级位姿的质量（Table 2，样本为全部点云对共 540 个点云）：

位姿版本	中位距离（mm）	<1mm 内点率	<3mm 内点率	<10mm 内点率
Nominal（光学跟踪原始值）	5.63	8.60%	30.65%	73.56%
Curated（人工精化）	2.37	33.90%	57.89%	85.71%
ICP（自动精配）	2.70	26.02%	55.74%	86.68%

结论有两层：人工精化把毫米以下内点率从不到一成提到约三分之一，是必要步骤；但在 10mm 宽松阈值下自动 ICP 反超，说明两种精化各有盲区。使用者若做精细几何评估，应优先采用精选位姿并留意残余误差；若评估对毫米级误差不敏感，ICP 位姿亦可接受。这张表同时提示了一个元问题：重建算法报告的误差下限会被位姿误差垫高，解读亚毫米级差异时应格外谨慎。

4.2 真值体系的结构性限制

D4D 的几何真值不是逐帧、逐点的理想真值，而是「片段起止两个时刻的稠密点云 + 中间时刻的位姿链」。这个结构带来三重限制。其一，中间时刻的组织表面没有独立测量，重建误差只能在起止两端检验，片段中段的漂移要靠外推推断。其二，点云与重建结果之间缺乏逐点对应关系，论文原文承认这种对应在实践中难以实现，评估只能落在统计分布层面。其三，遮挡区评估依赖近似假设——工具遮住的地方，只有当工具随后移开、且该区域在片段内被观察过时才能纳入评估。这三重限制不是实现缺陷而是方法边界，任何使用该数据集的论文都应在实验设置中显式说明。

为什么要把限制写得如此具体？因为手术导航是安全攸关场景，误差的「不可见部分」比「可见部分」更危险：可见的重建失败会被操作者察觉并绕开，而配准层的系统性偏差会让整个界面「自信地错」。数据集作者把假设与近似逐条写明的做法，值得每一个在其上做评估的团队沿用。

在操作层面，这些限制转化为具体的解读纪律：报告的几何误差如果与位姿残余误差同量级，不能声称算法达到了该精度；遮挡区指标不能与可见区指标直接加权平均，因为两者的真值可信度不同；跨方法比较时必须核对双方使用的是同一批序列与同一位姿版本——存疑序列或位姿版本的不一致都会让对比失去意义。

4.3 假设—支持—反对：把「不确定」写成有信息量的陈述

假设	支持证据	反对/限制证据
结构光起止点云可作为可靠的几何真值	Zivid 2+ M60 为工业级相机；SLC 侧手动分割保证掩码质量；点云覆盖内窥镜视野外区域	论文承认点云与重建点云间缺乏理想逐点对应；部分 ICP 配准不可信需人工核查
猪尸体模型足以代表腹部软组织变形特性	组织外观与器械操作的真实感显著优于仿真；采集贯穿 2025 年 2 月至 9 月、批次多样	无呼吸搏动等活体生理运动；部分标本组织在前序手术中已被操作过，非初始状态
三级位姿精化后误差可接受	精选位姿中位距离约 2.4mm；10mm 阈值内点率超 85%	小于 1mm 内点率仅约三分之一；论文原文声明残留微小错位可能存在
移动相机序列能检验视野外更新	该类片段显式包含相机挪移与回看	数量仅十条，规模有限；论文指出全部序列其实都有视野外变形

清单中的每一项都有论文原文或 OPARA 元数据背书，属于「作者已声明」的边界而非外部猜测——这一点在评估其严重程度时应与使用者自己发现的未声明问题区分对待。

4.4 已知问题清单

一，数据质量分层：原始 150 条采集仅部分通过质量过滤进入核心集，另 30 条存疑序列未做完整后处理，直接混用会污染评估。二，Specimen 5 通道互换：左右图像流在标定与录制中曾被错误互换，后处理已修正图像，但 tf/ 目录的变换仍代表右相机位姿，做位姿级分析时必须单独处理。三，评估真值的近似性：遮挡区评估依赖「工具已移开且后方组织此前被观察过」的假设，并非严格逐点真值。四，采集期相机基本静止，位姿对齐策略在连续大幅相机运动下的表现未被充分覆盖。五，论文未报告内窥镜帧率与 Zivid 点云精度数值，需要精确时序建模的团队需自行从时间戳推断。六，部分标本的组织状态受前序操作影响，同一标本不同采集日之间不可假设组织外观一致。

4.5 如何在自己的论文里诚实使用这些局限

参考论文的写法，使用 D4D 做评估的研究至少应在实验设置部分交代四件事：位姿版本与残余误差量级；遮挡区评估所用的近似假设；所用序列范围（核心集还是含存疑序列）；猪尸体模型与活体条件的差异对结论外推的限制。把这四点写清楚，结果才具备与他人对比的资格——尤其是当报告的误差量级与位姿残余误差同阶时，任何精度声称都必须先扣除配准噪声的贡献。这不是形式主义，而是这类几何基准固有的「误差传递链」问题：采集误差、标定误差、精化误差、评估误差层层叠加，只在最末端报告一个数字等于把上游全部不确定性都记在了算法头上。

§5 能做什么：任务清单与最小可执行路径

选择从哪类任务切入，取决于团队的目标场景。目标是导航系统的团队应优先做几何腿并覆盖遮挡区，因为导航的置信度取决于视野外结构是否正确；目标是渲染与示教的团队可以光度腿为主，但至少保留一条几何指标作锚，防止「看起来对」替代「量出来对」。无论哪种切入点，都建议先复跑一遍官方协议认可的划分与指标口径，再谈方法改进——基准工作的可累加性恰恰建立在这种口径一致上。

5.1 四类主任务

一，非刚性 SLAM 与增量重建：用连续视频维护随时间变形的地图，用起止点云检验地图在片段末端是否仍然正确，包括被器械遮挡或曾离开视野的区域。这一任务是数据集的主靶：三类序列与位姿链的设计全部围绕它展开。实践上，建议先在增量变形序列上验证跟踪稳定性，再上整体变形序列测累积误差，最后用移动相机片段压测地图更新逻辑。

二，深度估计：以逐帧立体深度为输入基线、以点云为几何参照，评估单目或立体深度模型在形变组织上的表现。单目方法尤其值得在此测试——组织形变会打破单目网络从静态场景学到的先验，误差分布能直接暴露泛化短板。

三，视图合成与神经渲染：对非掩码像素计算 PSNR、SSIM、LPIPS，评估新视角合成在手术场景的光度质量。注意光度指标与几何误差可能背离：纹理幻觉可以拉高 PSNR 却把几何做错，两条指标应同时报告、分开解读。

四，器械分割与掩码利用：自带每帧二值掩码可直接训练或评测内窥镜器械分割模型，也是几何评估的预处理件。掩码由半自动流水线生成，做分割基准时应注明其来源与人工核查程度。

在四类任务之外，还有一类隐性用法值得一提：把数据集当作「失败案例库」。由于核心序列明确记录了质量过滤的过程与原因，研究鲁棒性的团队可以分析被剔除采集的共性问题，反推真实场景中哪些条件最容易让采集与配准失败——这类元研究不需要跑任何重建算法，却是导航系统工程化最缺的知识。

四类任务共享同一批文件，但预处理要求不同：几何评估依赖位姿与点云对齐，深度评估依赖内参与校正质量，分割评估只需图像与掩码对齐。建议在代码库里把三类预处理写成独立模块，按任务组合调用，避免为了一个任务把整条流水线都跑一遍。

5.2 评估协议的两条腿

几何腿：把重建输出与结构光起止点云对齐，计算点级距离分布，可在全部区域、可见区域与遮挡区域分别统计——遮挡区采用「工具后方已观察」近似。光度腿：视图合成结果在非掩码像素上算三个经典指标。两条腿互补：光度指标高不代表几何正确，几何误差直接但依赖配准质量。论文建议两条腿同时报告。

报告规范上，几何结果建议给出距离分布的分位数而非只给均值——非刚性重建的误差通常是长尾分布，均值会掩盖个别大错。遮挡区结果应单独成列，因为其真值近似度低于可见区，混在一起会抬高表观精度。

5.3 划分协议与最小示例

需要调参或训练时的官方建议：在 Specimen 1–5 的核心序列上按 4:1 做训练-测试划分，套入 5 折留一交叉验证（Leave-One-Out），避免同一采集日的数据同时出现在训练与测试侧造成泄漏。

最小可执行路径（四步）：第一步，克隆 GitHub 仓库 reubendocea/d4d，按其说明下载一个 specimen 的目录；第二步，读 clips.json 选一条 clip，用 curated_camera_pose 文件把起止点云对齐到相机坐标系；第三步，跑通论文演示过的 ForPlane（正交神经平面，IEEE TMI 2024）风格重建或自己的方法，输出末端点云；第四步，按几何腿协议计算点级距离并按可见/遮挡分层报告。仓库内的读取示例覆盖了大部分文件解析工作。

5.4 不适合做什么

不适合作为活体手术动态建模的训练源——猪尸体缺乏生理运动，器官形变主要来自器械操作；不适合跨模态影像研究——数据只有内窥镜 RGB 与深度，没有 CT/MRI 配对；也不适合做工具-组织交互力学的定量研究——掩码只标器械轮廓，无接触状态标注。此外，把它当作「真实手术分布」的代理用于临床声称（如导航精度合规验证）超出了数据支撑范围，论文与 OPARA 页面均未做此类背书。

5.5 结果报告清单

按官方协议做完实验后，结果部分建议包含以下要素，方便社区复用：

• 序列范围与划分协议（是否遵循留一交叉验证建议）；
• 位姿版本、分辨率口径与对齐方式；
• 几何指标的距离分位数（如中位数与高位分位数），可见区与遮挡区分列；
• 光度指标的掩码处理方式（非掩码像素口径）；
• 是否使用了立体深度作为输入或监督，避免与纯几何方法混淆比较；
• 硬件与运行时间（非刚性重建的实时性是核心应用约束，缺时间数据的结果难以进入导航场景讨论）。

§6 常见误读与引用陷阱

常见说法	实际口径	证据位置
「D4D 有 128 条序列」	核心序列与一批存疑序列后处理程度不同，混用会污染评估	论文正文与 OPARA 说明
「数据来自真实病人手术」	全部采自六只猪尸体（Specimen 0–5），实验环境采集	论文摘要与正文
「六只猪的数据都可用」	Specimen 0 的 24 条采集整体剔除，核心集只含 Specimen 1–5	论文正文分布表
「论文给出过重建算法的定量基线」	仅演示 ForPlane 单条序列的定性结果，无任何定量基线数字	数据论文正文
「位姿真值是精确的」	精选位姿亚毫米内点率约三分之一，论文明示可能残留错位	论文 Table 2 与 OPARA 说明
「许可需要申请或仅限学术」	全集 CC BY-4.0，OPARA 公开直链，无需审批，仅需署名	OPARA 元数据
「立体深度是传感器直接测得」	立体深度由 IGEV++ 算法从双目图像计算生成，属算法产物而非独立测量	论文后处理章节
「有官方排行榜」	无排行榜；评估协议由论文建议但结果需使用者自行产出	数据论文与 GitHub 仓库
「所有猪尸体的序列数差不多」	各标本过滤后差异悬殊：最多 32 条，Specimen 0 为零	论文正文分布表
「帧率和点云精度论文里查得到」	论文未报告这两项参数，需从时间戳自行推断或向作者询问	数据论文全文

为什么这一节重要：该数据集规模口径多（采集、核心、存疑三层）、许可宽松、真值结构特殊，传播中被简化误读的概率高于一般数据集。上表的每一行都对应一个可能在论文评审中被抓住的口径问题，引用前逐行对照一遍，成本远低于事后更正。

纯技术性陷阱：Specimen 5 的左右图像流在标定与录制中曾被互换，图像已修正但 tf/ 目录变换仍代表右相机位姿，做位姿分析时需单独换算；相机内参一律以发布分辨率口径为准，与原始分辨率不同，混用内参会产生系统性畸变；arXiv 编号（论文引用）与 OPARA DOI（数据引用）不可互相替代；精选位姿与 ICP 位姿在窄阈值与宽阈值下互有胜负，选择应写明版本；存疑序列目录结构与核心集一致，仅凭文件名无法区分，须以论文清单为准。

§7 在生态中的位置

7.1 中性参见：库内相邻条目

以下条目与本数据集处于同一技术谱系，可按需互参：

• endovis-2026（rid 936）：内窥镜视觉挑战赛序列合集，代表「真实手术视频、无几何真值」一端；
• endomapper（rid 428）：内窥镜定位与建图数据集，与非刚性 SLAM 任务直接相邻；
• slam-3d-endoscopic-legacy（rid 82）与 slam-laparoscopic-motions（rid 762）：早期内窥镜 SLAM 资源，可作为方法演进对照；
• surgtoolloc-2022（rid 821）与 cholectrack20（rid 886）：器械定位与跟踪任务集，与 D4D 的器械掩码流互补；
• surgvu-2026（rid 971）：大规模手术视频资源，代表体量一端而真值粒度另一端。

7.2 谱系定位

在这条谱系上，D4D 占据「几何真值密度」的最高一档：它不追求视频量或场景多样性，而追求每条片段都具备可量化的起止几何。与真实手术视频集相比它牺牲了临床多样性（无患者、器官状态受限），换来的是误差可以被逐点测量。对方法研究者而言，合理的用法是以 D4D 做几何能力标定，再在真实视频集上验证泛化。

7.3 互链条目说明

与 endovis-2026 相比，D4D 的序列规模小得多，但前者没有几何真值，两者在评估链上互补；endomapper 与内窥镜 SLAM 任务直接同题，其场景与协议可作为方法验证的第二环境；slam-laparoscopic-motions 与 slam-3d-endoscopic-legacy 记录了这一任务方向的早期探索，适合写相关工作时建立脉络；surgtoolloc-2022 与 cholectrack20 提供器械定位与跟踪的独立评测，可与 D4D 的掩码流交叉验证分割组件；surgvu-2026 代表真实手术视频的体量一端，适合在 D4D 上标定后的方法做规模化验证。以上条目均可从库内对应页面直达，rid 已列于 §7.1。

7.4 上下游数据生态

从数据生态看，D4D 处在「采集平台研究」向「算法社区基准」过渡的位置。上游是采集端资源：实验手术室的机器人平台、结构光扫描设备与光学跟踪系统，这些在论文方法节有完整描述，具备复制采集的机构可参照搭建类似管线。下游是消费端：非刚性 SLAM、神经渲染与深度估计三类方法的论文社区。当前下游尚处于早期——数据发布时间不长，公开可见的第三方评测还少，这既是使用者的机会（容易做出首批可比结果），也是风险（缺乏社区基线时，自评结果容易高估）。观察 GitHub 仓库的 issue 与引用情况是跟踪生态成熟度的便捷窗口。

§8 总结

适用：非刚性 SLAM 与四维重建的定量评估；内窥镜深度估计的几何校验；遮挡区评估协议研究；视图合成的光度评测；器械分割模型训练与评测。

不适用：活体生理运动建模；跨模态影像配对研究；临床结果预测；需要大规模场景多样性的预训练。

在适用与不适用之外，判断「该不该用 D4D」还有一个时间维度：数据集发布不久，社区基线稀缺，首批在其上发布完整评测的团队天然获得引用与可见性；但随着使用量增长，若后续出现协议修订或补充发布，早期结果可能需要按新口径重跑。因此采用它时值得在项目计划里预留一次「口径复核」的成本，并持续关注 OPARA 页面与 GitHub 仓库的变更记录。
三句话：关于命名再提醒一次——检索文献时同时使用全称与缩写 D4D 可避免漏检，中文文献与报告中建议首现给出全称。D4D 用猪尸体实验把手术场景重建的评估从「看起来对」推进到「逐点量得出」，三类序列与结构光真值构成了一套可复用的评估闭环。它的边界同样清晰：真值依赖位姿配准质量、无活体生理运动、基线数字需自产。对做腹部手术导航感知的团队，它是目前该任务上少有的系统化公开选择。
除了任务维度的适用性，还有两个使用姿势值得点名。其一，把 D4D 当作教学素材：它的文档链完整、局限声明诚实，适合作为「如何构建可复现医学视觉基准」的案例来读。其二，把它的协议当作设计模板：需要自建采集的团队可以直接复用「三类序列 + 起止点云 + 位姿三级体系」的框架，其评估协议的许多设计决策都已在论文里替后来者踩过坑。

§9 相关资源与引用

9.1 一手来源

• 数据集：OPARA，DOI 10.25532/OPARA-1033（https://opara.zih.tu-dresden.de/handle/123456789/1882），CC BY-4.0；
• 数据论文：Docea, R., Younis, R., Long, Y. et al. The Dresden Dataset for 4D Reconstruction of Non-Rigid Abdominal Surgical Scenes. arXiv:2603.02985（2026-03-03 提交，投稿 Scientific Data）；
• 工具代码：https://github.com/reubendocea/d4d；
• 机构页：TU Dresden 研究门户（fis.tu-dresden.de）收录条目含完整摘要与作者信息。

9.3 延伸阅读线索

想理解这套评估协议背后的学术脉络，可以沿三条线延伸。第一条是手术场景重建的方法线：正交神经平面类方法（如论文演示的 ForPlane）代表了把神经渲染引入手术视图合成的一支，读其原始论文有助于理解光度指标的解释方式。第二条是内窥镜 SLAM 与场景坐标回归线：§7 列出的库内相邻条目覆盖了这一方向的主要公开资源。第三条是数据集方法论线：数据论文对「质量过滤、位姿三级体系、留一交叉验证」的处理方式可整体当作构建医学视觉基准的模板来研读。三条线的公共起点都是数据论文的 Background & Summary 节。

9.2 引用格式建议

引用数据用 OPARA DOI；引用数据论文用 arXiv 编号（正式发表后切换为期刊卷期）；方法对比中提及基线 ForPlane 时引其原始论文（IEEE TMI 2024）。三项各司其职，不要混引。

§10 AI 使用声明卡

• 可直接喂给模型的部分：校正立体图像、立体深度、器械掩码、内参——均为标准格式，可直接进入 DataLoader；
• 需要预处理的部分：结构光点云与精选位姿需先做坐标对齐；tf/ 目录需按标本检查（Specimen 5 例外处理）；
• 不应让模型做的事：把立体深度当作传感器真值学习（它是算法产物）；把存疑序列混入训练集；
• 评估自动化提示：几何评估脚本应输出可见/遮挡分层指标，便于与后续方法公平对比；
• 数据卡完整性：论文与 OPARA 页面覆盖了采集设备、协议、过滤标准与已知问题，未覆盖帧率与点云精度数值。

附录 A 关键数字速查

数字	含义
6 只	猪尸体（Specimen 0–5），核心数据来自 Specimen 1–5
98 条	核心序列（49 整体变形 + 39 增量变形 + 10 移动相机）
约 480 GB	数据总量（OPARA 元数据字节数折算）
发布分辨率	图像与内参统一口径（原始 894×714）
2.37 mm	精选位姿点云对齐中位距离
CC BY-4.0	全集许可

附录 B 缩写表

缩写	全称与含义
D4D	Dresden Dataset for 4D Reconstruction（德累斯顿四维重建数据集）
SLC	Structured-Light Camera（结构光相机，本文指 Zivid 2+ M60）
NCT	National Center for Tumor Diseases（国家肿瘤疾病中心，德累斯顿）
CeTI	Centre for Tactile Internet with Human-in-the-Loop（触觉互联网研究中心）
ICP	Iterative Closest Point（迭代最近点配准）
SLAM	Simultaneous Localization and Mapping（同步定位与建图）
LOOCV	Leave-One-Out Cross-Validation（留一交叉验证）
IGS	Image Guidance System（图像引导手术系统）
SAM / SAM2	Segment Anything Model 及其第二代（分割基础模型）
MIS	Minimally Invasive Surgery（微创手术）

附录 C DAIMS 评估表

DAIMS 维度	评分（1–5）	说明
D - Data Availability 数据可得	5	CC BY-4.0 公开直链，无需注册审批
A - Annotation Quality 标注质量	4	器械掩码半自动+人工核查；无像素级语义分割
I - Documentation Integrity 文档完备	4	数据论文+OPARA 说明+GitHub 示例齐备；帧率与点云精度数值缺失
M - Machine Readability 机器可读	5	PNG/NPY/YAML/JSON 标准格式，标准 Python 栈可解析
S - Standards Compliance 规范合规	4	模型卡式的局限性声明完整；无正式版本号体系

附录 D 检索模板

• 找特定任务序列：specimen_4/**/clips/Clip_*（该标本序列最多）；
• 找移动相机场景：查 session_details.txt 中相机移动标记；
• 找点云真值：**/pointcloud/（SLC 帧）与 clip 内起止点云文件；
• 找组织类型：specimen 级 info.csv；
• 排查位姿异常：优先检查 Specimen 5 的 tf/ 目录。

附录 E 使用前检查清单

• 已通读数据论文的后处理章节，知晓位姿三级体系与其质量表；
• 已确认所用序列全部来自核心集，或已对存疑序列做显式分层；
• 已确认相机内参、图像分辨率与深度数组三者口径一致；
• 已确认 Specimen 5 的 tf 处理方式并在代码中固定下来；
• 已在结果元数据中记录位姿版本、序列清单与划分协议；
• 已计划同时报告几何与光度两类指标，且几何指标给出分位数；
• 已在论文的实验设置中交代猪尸体模型对结论外推的限制。

附录 F 未覆盖内容

以下内容属于数据集明确不覆盖、或一手来源未披露的范畴，检索者不应在本数据集内寻找：患者级临床结局与病理诊断；CT/MRI 等跨模态影像配对；活体生理运动（呼吸、心搏）驱动的组织形变；器械-组织接触力与力学参数；工具姿态的六自由度标注（掩码仅为轮廓）；内窥镜帧率与结构光点云精度的官方数值；任何官方方法排行榜或预训练权重。

编辑说明

• 核验时间：2026-10-17；核验方式：三源互证（TU Dresden FIS 研究门户、OPARA 机构库元数据页、arXiv:2603.02985 摘要与 HTML 正文），DB 与 writing/ 目录查重 0 命中。
• 双口径冲突存照：①摘要称「六只猪尸体场次」与正文「Specimen 0–5 共六只、Specimen 0 全部剔除」并存，正文按后者成稿；②摘要称「98 条精选录制」与正文「150 条采集、98 核心 + 30 存疑发布」并存，按后者成稿；③OPARA 元数据称论文「Sci. Data (2025)」与 arXiv「2026-03-03 仍在投稿」并存，按投稿状态成稿。
• 遗留疑点：内窥镜帧率、Zivid 2+ M60 点云精度数值、重建基线定量结果——一手来源均未给出，本稿不作推断。
• 关键数字去重执行：核心规模数字各在全篇出现不超过两次（定义处 + 附录速查表）。
• 版本日志：v1.0（2026-10-17，agent-e-dresden 初稿）。
• 下次复核建议：数据论文在 Scientific Data 正式发表后复核卷期与任何修订；GitHub 仓库如发布新版工具需同步 §5.3 路径。

---

相关数据集导航

以下为站内 AI-Ready 数据集百科中与本词条共享多个主题标签的相关数据集，按相关度降序排列：

• cholectriplet2021 — 共享标签：医学影像 / 内窥镜影像 / 手术视频 / 评测基准
• slam-laparoscopic-motions — 共享标签：医学影像 / 内窥镜影像 / 手术视频 / 评测基准
• cholectrack20 — 共享标签：医学影像 / 内窥镜影像 / 手术视频 / 评测基准
• cholectriplet2022 — 共享标签：医学影像 / 内窥镜影像 / 手术视频 / 评测基准
• slam-3d-endoscopic-legacy — 共享标签：医学影像 / 内窥镜影像 / 手术视频
• jigsaws — 共享标签：医学影像 / 内窥镜影像 / 手术视频
• m2cai16-tool-legacy — 共享标签：医学影像 / 内窥镜影像 / 手术视频
• multibypass140 — 共享标签：医学影像 / 内窥镜影像 / 手术视频
• scared — 共享标签：医学影像 / 内窥镜影像 / 手术视频
• hamlyn-datasets — 共享标签：医学影像 / 内窥镜影像 / 手术视频

导航说明：本章节由全站统一标签体系自动计算生成（标签重合度算法），双向可达；点击链接可跳转至对应数据集词条。