VRS-NeRF: 基于稀疏神经辐射场的视觉重定位
计算机视觉与模式识别
2024-04-16 v1 机器人学
摘要
视觉重定位是自动驾驶、机器人和虚拟/增强现实的关键技术。经过数十年的探索，绝对位姿回归（APR）、场景坐标回归（SCR）和分层方法（HMs）已成为最流行的框架。然而，尽管效率高，APR和SCR在大型室外场景中精度有限；HMs准确但需要存储大量2D描述符用于匹配，导致效率低下。在本文中，我们提出了一种高效且准确的框架，称为VRS-NeRF，用于基于稀疏神经辐射场的视觉重定位。具体来说，我们引入了一个显式几何地图（EGM）用于3D地图表示，以及一个隐式学习地图（ILM）用于稀疏块渲染。在这个定位过程中，EGM提供稀疏2D点的先验，ILM利用这些稀疏点通过稀疏NeRF渲染块用于匹配。这使我们能够丢弃大量2D描述符，从而减小地图大小。此外，仅对有用点而不是整个图像中的所有像素进行块渲染，显著减少了渲染时间。该框架继承了HMs的准确性，并摒弃了其低效率。在7Scenes、CambridgeLandmarks和Aachen数据集上的实验表明，我们的方法比APR和SCR具有更好的准确性，性能接近HMs但效率更高。
引用
@article{arxiv.2404.09271,
title = {VRS-NeRF: Visual Relocalization with Sparse Neural Radiance Field},
author = {Fei Xue and Ignas Budvytis and Daniel Olmeda Reino and Roberto Cipolla},
journal= {arXiv preprint arXiv:2404.09271},
year = {2024}
}
备注
source code https://github.com/feixue94/vrs-nerf