用于 RGB NeRF-SLAM 的三态透明度与混合里程计
计算机视觉与模式识别
2024-09-24 v3
摘要
在本工作中，我们探讨了在缺乏深度信息且仅依赖 RGB 输入的条件下，将神经辐射场应用于同时定位与建图（SLAM）的挑战。在此类充满挑战的背景下释放 NeRF 全部潜力的关键在于融合现实世界的先验。我们探索的一个关键先验是具有不透明物体的 3D 空间的二值透明度先验。为了将这一先验有效融入 NeRF 框架，我们转而引入了一种三态透明度（TT）模型，该模型将与表面相交的光线上的点划分为三个区域：表面前、表面上和表面后。这使得深度渲染更加准确，进而提升了图像扭曲技术的性能。因此，我们进一步提出了一种融合了束调整与基于扭曲定位的混合里程计（HO）方案。我们集成的 TT 与 HO 方法在合成和真实世界数据集上均实现了速度与精度上的 SOTA 性能。这一突破突显了 NeRF-SLAM 在高保真导航复杂环境方面的潜力。
关键词
引用
@article{arxiv.2312.13332,
title = {Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM},
author = {Junru Lin and Asen Nachkov and Songyou Peng and Luc Van Gool and Danda Pani Paudel},
journal= {arXiv preprint arXiv:2312.13332},
year = {2024}
}
备注
IROS 2024