中文

MM-Gaussian:基于 3D 高斯的多模态融合用于无限场景中的定位与重建

机器人学 2024-04-08 v1 计算机视觉与模式识别

摘要

定位和地图构建是各种应用(如自动驾驶和机器人)的关键任务。户外环境所面临的挑战在其无限特性方面 presents particular complexities。在本工作中,我们提出了 MM-Gaussian,一个用于无限场景中定位和地图构建的激光雷达-相机多模态融合系统。我们的方法灵感来自 recently developed 3D 高斯,这些方法在实现高渲染质量和快速渲染速度方面显示出惊人的能力。具体而言,我们充分利用固态激光雷达提供的几何结构信息,以解决仅依赖视觉解决方案在无限户外场景中遇到的深度不准问题。此外,我们利用 3D 高斯点云辅助像素级梯度下降,充分利用照片中的颜色信息,从而实现逼真的渲染效果。为了进一步增强系统的鲁棒性,我们设计了一个 relocalization 模块,用于在定位失败时帮助返回正确的轨迹。在多个场景中的实验表明了我们方法的有效性。

关键词

引用

@article{arxiv.2404.04026,
  title  = {MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes},
  author = {Chenyang Wu and Yifan Duan and Xinran Zhang and Yu Sheng and Jianmin Ji and Yanyong Zhang},
  journal= {arXiv preprint arXiv:2404.04026},
  year   = {2024}
}

备注

7 pages, 5 figures