PNeRFLoc：基于点神经辐射场的视觉定位
计算机视觉与模式识别
2023-12-19 v1
摘要
由于能够合成高质量的新视角，Neural Radiance Fields (NeRF) 最近被用于改进已知环境中的视觉定位。然而，现有方法大多利用 NeRFs 进行数据增强以改进回归模型训练，且由于缺乏几何约束，在新视角和外观下的性能仍然有限。在本文中，我们提出了一种新颖的视觉定位框架，即 PNeRFLoc，基于统一的基于点的表示。一方面，PNeRFLoc 像传统的基于结构的方法一样，通过匹配 2D 和 3D 特征点来支持初始位姿估计；另一方面，它也通过使用基于渲染的优化进行新视角合成来实现位姿细化。具体而言，我们提出了一个新颖的特征自适应模块，以弥合视觉定位特征与神经渲染特征之间的差距。为了提高基于神经渲染的优化的有效性和效率，我们还开发了一个带有 warping loss 的高效基于渲染的框架。此外，还开发了多种鲁棒性技术，以处理户外场景中的光照变化和动态物体。实验表明，当 NeRF 模型能够被很好地学习时，PNeRFLoc 在合成数据上表现最佳，并在视觉定位基准数据集上与 SOTA 方法表现相当。
引用
@article{arxiv.2312.10649,
title = {PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields},
author = {Boming Zhao and Luwei Yang and Mao Mao and Hujun Bao and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2312.10649},
year = {2023}
}
备注
Accepted to AAAI 2024