VERF：基于神经辐射场的位姿估计运行时监测
机器人学
2023-08-14 v1
摘要
我们提出 VERF，一种包含两种方法（VERF-PnP 和 VERF-Light）的集合，用于在不依赖直接深度测量的情况下，对单目相机的相机位姿估计的正确性提供运行时保证。我们利用 NeRF（Neural Radiance Fields，神经辐射场）渲染场景新视角 RGB 图像的能力。我们仅需输入待估计位姿的相机图像、我们想要监测的相机位姿估计值，以及一个包含该相机所拍摄场景的 NeRF 模型。我们随后可预测该位姿估计是否位于距真实值期望距离之内，并以一定置信度佐证我们的预测。VERF-Light 通过在估计位姿处用 NeRF 渲染一个视点，并估计其与传感器图像的相对偏移（至多差一个尺度）来实现这一点。由于场景尺度未知，该方法渲染另一张辅助图像，并对三张图像间光流的一致性进行推理。VERF-PnP 采取不同方法，利用 NeRF 渲染立体图像对并采用 Perspective-n-Point（PnP）算法。我们在 LLFF 数据集、Unitree A1 四足机器人的数据，以及从 Blue Origin 的亚轨道 New Shepard 火箭收集的数据上评估了两种方法，以证明所提位姿监测方法在一系列场景尺度上的有效性。我们还展示了在 3090 GPU 上监测可在半秒内完成。
引用
@article{arxiv.2308.05939,
title = {VERF: Runtime Monitoring of Pose Estimation with Neural Radiance Fields},
author = {Dominic Maggio and Courtney Mario and Luca Carlone},
journal= {arXiv preprint arXiv:2308.05939},
year = {2023}
}