DNS SLAM：基于稠密神经语义信息的 SLAM
计算机视觉与模式识别
2023-12-04 v1
摘要
近年来，基于坐标的神经隐式表示在同时定位与地图构建（SLAM）任务中展现出有前景的结果。尽管在小型合成场景上取得了令人印象深刻的性能，这些方法常遭受过度平滑的重建，尤其是对于复杂的真实世界场景。在本工作中，我们提出 DNS SLAM，一种具有混合表示的新型神经 RGB-D 语义 SLAM 方法。仅依赖 2D 语义先验，我们提出了首个语义神经 SLAM 方法，其训练类别级场景表示，同时提供稳定的相机跟踪。我们的方法将多视图几何约束与基于图像的特征提取相集成，以改善外观细节并输出颜色、密度和语义类别信息，从而支持许多下游应用。为了进一步实现实时跟踪，我们引入了一种轻量级粗粒度场景表示，其在潜空间中以自监督方式训练。我们的实验结果在合成数据与真实世界数据跟踪上均达到了最先进性能，同时在现成硬件上保持了可观的运行速度。此外，我们的方法输出了具有更好纹理捕捉外观与几何细节的类别级分解重建。
引用
@article{arxiv.2312.00204,
title = {DNS SLAM: Dense Neural Semantic-Informed SLAM},
author = {Kunyi Li and Michael Niemeyer and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2312.00204},
year = {2023}
}