RTG-SLAM：基于高斯溅写的大规模实时 3D 重建

我们提出了基于高斯溅写的实时 3D 重建 SLAM（RTG-SLAM），用于大规模环境中的 RGBD 相机实时重建。该系统具备紧凑的高斯表示和高度有效的即时高斯优化方案。我们要求每个高斯要么不透明要么接近透明，其中不透明的高斯拟合表面和主导颜色，而透明的高斯拟合残余颜色。通过以不同于颜色渲染的方式渲染深度，我们让单个不透明高斯在局部表面区域无需多个重叠高斯即可良好拟合，从而大幅降低内存和计算成本。对于即时高斯优化，我们为每帧的三类像素显式添加高斯：新观测像素、颜色误差较大的像素以及深度误差较大的像素。我们还将所有高斯分为稳定型和不稳定型，其中稳定型高斯预期能良好拟合之前观察到的 RGBD 图像，而不稳定型则不然。我们仅优化不稳定型高斯，仅渲染被不稳定型高斯占据的像素。如此一来，需优化的高斯数量和渲染像素数均大幅降低，优化可实时完成。我们展示了对多种大场景的实时重建。与基于 NeRF 的最新 RGBD SLAM 方法相比，本系统在可比质量的重建方面实现了约为其速度的一倍和一半的内存消耗，同时在新视角合成的真实性和相机跟踪精度方面表现出优势。