神经辐射场的并行反演用于鲁棒位姿估计
计算机视觉与模式识别
2023-03-13 v2 机器人学
摘要
我们提出一种基于快速神经辐射场(NeRF)的并行化优化方法，用于估计相机相对于物体或场景的 6-DoF 位姿。给定目标的一张观测 RGB 图像，我们可通过最小化从快速 NeRF 模型渲染的像素与观测图像中像素之间的残差来预测相机的平移与旋转。我们将基于动量的相机外参优化过程集成到 Instant Neural Graphics Primitives（一种近期异常快速的 NeRF 实现）中。通过将并行蒙特卡洛采样引入位姿估计任务，我们的方法克服了局部极小值，并在更广阔的搜索空间中提升了效率。我们还展示了采用更鲁棒的基于像素的损失函数以降低误差的重要性。实验表明，我们的方法在合成与真实世界基准上均能实现改进的泛化性与鲁棒性。
引用
@article{arxiv.2210.10108,
title = {Parallel Inversion of Neural Radiance Fields for Robust Pose Estimation},
author = {Yunzhi Lin and Thomas Müller and Jonathan Tremblay and Bowen Wen and Stephen Tyree and Alex Evans and Patricio A. Vela and Stan Birchfield},
journal= {arXiv preprint arXiv:2210.10108},
year = {2023}
}
备注
ICRA 2023. Project page at https://pnerfp.github.io/