通过从虚拟世界学习实现尺度一致的单目视觉里程计
计算机视觉与模式识别
2022-03-14 v1
摘要
单目视觉里程计（VO）因能从经济高效的相机图像提供实时车辆运动而受到广泛研究关注。然而，最先进的基于优化的单目 VO 方法在长时预测中存在尺度不一致问题。深度学习近期被引入以利用训练数据集中的立体序列或真实运动来解决此问题。但这带来了数据采集的额外成本，且此类训练数据并非在所有数据集中都可得。本工作中，我们提出 VRVO，一种从虚拟数据中恢复绝对尺度的新框架，虚拟数据可轻易从现代仿真环境中获取，而在真实域中训练与推理阶段均无需立体或真实数据。具体而言，我们首先使用单目真实图像与立体虚拟数据训练一个尺度感知视差网络。通过对抗训练策略将两域图像映射至共享特征空间，弥合了虚拟到真实的域间隙。所得尺度一致视差随后通过构建确保长轨迹上尺度一致性的虚拟立体目标函数，与直接 VO 系统相集成。此外，为解决分离优化后端与学习过程导致的次优问题，我们进一步提出一种互增强流水线，允许学习与优化间的双向信息流，从而提升彼此的鲁棒性与精度。我们在 KITTI 与 vKITTI2 数据集上展示了我们框架的有效性。
引用
@article{arxiv.2203.05712,
title = {Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World},
author = {Sen Zhang and Jing Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2203.05712},
year = {2022}
}
备注
Accepted to IEEE International Conference on Robotics and Automation (ICRA) 2022