单目相机在神经隐式表示中的连续位姿优化
计算机视觉与模式识别
2024-03-05 v3
摘要
在本文中，我们展示了将单目相机位姿优化为时间的连续函数的有效性。相机位姿使用隐式神经函数表示，该函数将给定时间映射到相应的相机位姿。随后，映射得到的相机位姿被用于同样需要联合相机位姿优化的下游任务。在此过程中，隐式表示相机位姿的网络参数被优化。我们在四种不同的实验设置中应用了所提方法，即：(1) 从含噪声位姿的 NeRF；(2) 从异步事件的 NeRF；(3) 视觉同步定位与建图 (vSLAM)；(4) 带 IMU 的 vSLAM。在所有四种设置中，所提方法均显著优于对比基线和当前最优 (SOTA) 方法。此外，利用连续运动假设，我们也认识到位姿变化实际上可能存在于自由度 (DOF) 低于 6 的流形中。我们将这种低自由度运动表示称为“内在运动”(intrinsic motion)，并在 vSLAM 设置中使用该方法，展示了令人印象深刻的相机跟踪性能。
引用
@article{arxiv.2311.17119,
title = {Continuous Pose for Monocular Cameras in Neural Implicit Representation},
author = {Qi Ma and Danda Pani Paudel and Ajad Chhatkuli and Luc Van Gool},
journal= {arXiv preprint arXiv:2311.17119},
year = {2024}
}