用于视觉重定位的地图相对位姿回归
计算机视觉与模式识别
2024-04-16 v1 机器学习
摘要
位姿回归网络预测查询图像相对于已知环境的相机位姿。在这类方法中，绝对位姿回归 (APR) 最近展现出了厘米级的位置误差精度。APR 网络在其权重中隐式编码了场景几何。为了实现高精度，它们需要大量训练数据，而现实中这些数据只能通过新视角合成在长达数天的过程中生成。这一过程必须针对每个新场景一次又一次地重复。我们提出了一种新的位姿回归方法，即地图相对位姿回归 (marepo)，以一种与场景无关的方式满足位姿回归网络的数据渴求。我们以特定场景的地图表示为条件对位姿回归器进行约束，使其位姿预测相对于场景地图。这使我们能够跨数百个场景训练位姿回归器，以学习特定场景地图表示与相机位姿之间的通用关系。我们的地图相对位姿回归器可立即应用于新的地图表示，或仅需几分钟的微调即可达到最高精度。我们的方法在两个公开数据集（室内和室外）上远远优于以往的位姿回归方法。代码可用：https://nianticlabs.github.io/marepo
引用
@article{arxiv.2404.09884,
title = {Map-Relative Pose Regression for Visual Re-Localization},
author = {Shuai Chen and Tommaso Cavallari and Victor Adrian Prisacariu and Eric Brachmann},
journal= {arXiv preprint arXiv:2404.09884},
year = {2024}
}
备注
IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR) 2024, Highlight Paper