LENS:基于 NeRF 合成增强的相机重定位
计算机视觉与模式识别
2021-10-14 v1 人工智能
机器学习
机器人学
摘要
神经辐射场(NeRF)近期在新视角合成任务中展示了照片级真实感的结果。本文提出将新视角合成应用于机器人重定位问题:我们证明了借助 NeRF 类算法渲染的额外合成数据集,相机位姿回归得以改进。为避免在无关位置生成新视角,我们从 NeRF 对场景三维几何的内部表示中选取虚拟相机位置。我们进一步利用合成的真实且几何一致的图像作为训练时的数据增强,提升了位姿回归器的定位精度。在发表之时,我们的方法在 Cambridge Landmarks 和 7-scenes 数据集上以低 60% 的误差改进了最优水平。由此,所得精度变得可与基于结构的方法相媲美,且无需任何架构修改或域适应约束。由于我们的方法几乎可无限生成训练数据,我们考察了在公开基准上相机位姿回归受训练数据规模与分布所限的瓶颈。我们得出结论:位姿回归精度主要受制于相对较小且有偏的数据集,而非位姿回归模型解决定位任务的能力。
引用
@article{arxiv.2110.06558,
title = {LENS: Localization enhanced by NeRF synthesis},
author = {Arthur Moreau and Nathan Piasco and Dzmitry Tsishkou and Bogdan Stanciulescu and Arnaud de La Fortelle},
journal= {arXiv preprint arXiv:2110.06558},
year = {2021}
}
备注
Accepted at CoRL 2021