NVINS：融合 NeRF 增强相机姿态估计与不确定性量化的鲁棒视觉惯性导航
机器人学
2024-08-20 v2
摘要
近年来，神经辐射场（NeRF）已成为3D重建和新视角合成的强大工具。然而，NeRF 渲染的计算成本以及因存在瑕疵而导致的质量下降，构成了在嵌入式系统上应用于实时和鲁棒机器人任务的主要挑战。本文引入一种新型框架，将 NeRF 提供的定位信息与视觉惯性 odometry（VIO）集成，提供一种实时机器人导航的鲁棒解决方案。通过训练一个使用从 NeRF 渲染的增强图像数据进行绝对姿态回归网络并量化其不确定性的方法，本方案有效抵消位置漂移并增强系统可靠性。我们还在贝叶斯框架下建立了将视觉惯性导航与相机定位神经网络结合的严格数学基础，考虑不确定性。在光照逼真的仿真环境中的实验验证表明，与传统 VIO 方法相比，我们的方法在精度上实现了显著提升。
关键词
引用
@article{arxiv.2404.01400,
title = {NVINS: Robust Visual Inertial Navigation Fused with NeRF-augmented Camera Pose Regressor and Uncertainty Quantification},
author = {Juyeop Han and Lukas Lao Beyer and Guilherme V. Cavalheiro and Sertac Karaman},
journal= {arXiv preprint arXiv:2404.01400},
year = {2024}
}
备注
Accepted to IROS 2024, 8 pages, 5 figures, 2 tables