基于高斯泼溅驱动的表面法线感知跟踪与映射推进密集内窥镜重建
计算机视觉与模式识别
2025-02-03 v1 机器人学
摘要
同时定位与地图构建（SLAM）对于微创手术中的精确手术干预和机器人任务至关重要。尽管3D高斯泼溅（3DGS）的最新进展通过高质量的新视角合成和快速渲染改进了SLAM，但这些系统由于多视图不一致性而在精确深度和表面重建方面存在困难。简单地将SLAM和3DGS结合会导致重建帧之间的不匹配。在这项工作中，我们提出了Endo-2DTAM，一个带有2D高斯泼溅（2DGS）的实时内窥镜SLAM系统，以应对这些挑战。Endo-2DTAM包含一个表面法线感知流水线，由跟踪、映射和光束法平差模块组成，用于几何精确的重建。我们的鲁棒跟踪模块结合了点对点和点对面距离度量，而映射模块利用法线一致性和深度畸变来增强表面重建质量。我们还引入了一种姿态一致的策略，用于高效且几何一致的关键帧采样。在公开内窥镜数据集上的大量实验表明，Endo-2DTAM在手术场景深度重建上实现了1.87±0.63 mm的均方根误差（RMSE），同时保持了计算高效的跟踪、高质量的视觉外观和实时渲染。我们的代码将在github.com/lastbasket/Endo-2DTAM发布。
引用
@article{arxiv.2501.19319,
title = {Advancing Dense Endoscopic Reconstruction with Gaussian Splatting-driven Surface Normal-aware Tracking and Mapping},
author = {Yiming Huang and Beilei Cui and Long Bai and Zhen Chen and Jinlin Wu and Zhen Li and Hongbin Liu and Hongliang Ren},
journal= {arXiv preprint arXiv:2501.19319},
year = {2025}
}
备注
Accepted by ICRA 2025