NIS-SLAM：面向3D一致场景理解的神经隐式语义RGB-D SLAM
计算机视觉与模式识别
2024-07-31 v1
摘要
近年来，神经隐式表示范式在同时定位与建图（SLAM）领域获得了广泛关注。然而，现有方法在场景理解方面存在显著差距。在本文中，我们介绍了NIS-SLAM，一个高效的神经隐式语义RGB-D SLAM系统，该系统利用预训练的2D分割网络来学习一致的语义表示。具体来说，为了实现高保真表面重建和空间一致的场景理解，我们结合了基于高频多分辨率四面体的特征和低频位置编码作为隐式场景表示。此外，为了解决来自多个视角的2D分割结果不一致的问题，我们提出了一种融合策略，将先前非关键帧的语义概率整合到关键帧中，以实现一致的语义学习。此外，我们实现了一种基于置信度的像素采样和渐进优化权重函数，用于鲁棒的相机跟踪。在各种数据集上的大量实验结果表明，与其他现有的神经稠密隐式RGB-D SLAM方法相比，我们的系统表现出更好或更具竞争力的性能。最后，我们还展示了我们的方法可用于增强现实应用。项目页面：\href{https://zju3dv.github.io/nis_slam}{https://zju3dv.github.io/nis\_slam}。
引用
@article{arxiv.2407.20853,
title = {NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding},
author = {Hongjia Zhai and Gan Huang and Qirui Hu and Guanglin Li and Hujun Bao and Guofeng Zhang},
journal= {arXiv preprint arXiv:2407.20853},
year = {2024}
}
备注
Accept by TVCG (ISMAR 2024 Journal Track)