利用神经辐射场进行不确定性感知的视觉定位
计算机视觉与模式识别
2023-10-12 v1 机器人学
摘要
作为视觉定位的一种有前景的方式,场景坐标回归(SCR)在过去十年中取得了巨大进展。最近的方法通常采用神经网络来学习从图像像素到 3D 场景坐标的映射,这需要大量标注训练数据。我们提出利用神经辐射场(NeRF)为 SCR 生成训练样本。尽管 NeRF 在渲染上高效,但许多渲染数据被伪影污染或仅包含最小信息增益,这会阻碍回归精度或带来冗余数据的不必要计算成本。本文从三方面应对这些挑战:(1) 设计 NeRF 分别预测渲染彩色与深度图像的不确定性,在像素级揭示数据可靠性。(2) 将 SCR 表述为具有认知不确定性的深度证据学习,用于评估信息增益与场景坐标质量。(3) 基于三类不确定性,形成一种新的视角选择策略,显著提升数据效率。在公开数据集上的实验表明,我们的方法能选择带来最多信息增益的样本,并以最高效率提升性能。
引用
@article{arxiv.2310.06984,
title = {Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization},
author = {Le Chen and Weirong Chen and Rui Wang and Marc Pollefeys},
journal= {arXiv preprint arXiv:2310.06984},
year = {2023}
}
备注
8 pages, 5 figures