MM3DGS SLAM：利用视觉、深度和惯性测量的多模态 3D 高斯泼溅 SLAM
计算机视觉与模式识别
2024-04-02 v1 人工智能
机器人学
摘要
同步定位与建图对于位置跟踪和场景理解至关重要。基于 3D 高斯的地图表示能够使用多个已标定位姿的相机实现场景的逼真重建和实时渲染。我们首次表明，使用 3D 高斯进行地图表示，结合未标定位姿的相机图像和惯性测量，可以实现精确的 SLAM。我们的方法 MM3DGS 通过实现更快的渲染、尺度感知和改进的轨迹跟踪，克服了以往基于神经辐射场表示的局限性。我们的框架利用结合了来自预积分惯性测量、深度估计和光度渲染质量度量的相对位姿变换的损失函数，实现了基于关键帧的建图与跟踪。我们还发布了一个多模态数据集 UT-MM，该数据集采集自配备相机和惯性测量单元的移动机器人。在数据集的多个场景上的实验评估表明，与当前 3DGS SLAM 的 SOTA 相比，MM3DGS 在跟踪方面实现了 3 倍的提升，在光度渲染质量上实现了 5% 的提升，同时允许实时渲染高分辨率密集 3D 地图。项目网页：https://vita-group.github.io/MM3DGS-SLAM
引用
@article{arxiv.2404.00923,
title = {MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements},
author = {Lisong C. Sun and Neel P. Bhatt and Jonathan C. Liu and Zhiwen Fan and Zhangyang Wang and Todd E. Humphreys and Ufuk Topcu},
journal= {arXiv preprint arXiv:2404.00923},
year = {2024}
}
备注
Project Webpage: https://vita-group.github.io/MM3DGS-SLAM