基于RGB与RGB-D图像利用DSAC的视觉相机重定位
计算机视觉与模式识别
2020-10-12 v4 机器学习
摘要
我们描述了一种基于学习的系统，该系统从单张输入图像中估计相机相对于已知环境的位置与朝向。该系统在测试时与训练时可用的信息量方面具有灵活性，以适应不同应用。输入图像可以是RGB-D或RGB，环境的3D模型可用于训练但非必需。在最小情况下，我们的系统训练时仅需RGB图像与真实位姿，测试时仅需单张RGB图像。该框架由深度神经网络与完全可微的位姿优化组成。神经网络预测所谓的场景坐标，即输入图像与环境3D场景空间之间的稠密对应关系。位姿优化使用可微RANSAC（DSAC）实现位姿参数的鲁棒拟合，以促进端到端训练。该系统作为DSAC++的扩展被称为DSAC*，在多个公开的基于RGB的重定位数据集上达到了最先进的精度，并在基于RGB-D的重定位上取得了具有竞争力的精度。
引用
@article{arxiv.2002.12324,
title = {Visual Camera Re-Localization from RGB and RGB-D Images Using DSAC},
author = {Eric Brachmann and Carsten Rother},
journal= {arXiv preprint arXiv:2002.12324},
year = {2020}
}