SelfVIO：自监督深度单目视觉-惯性里程计与深度估计
计算机视觉与模式识别
2020-07-24 v2 机器学习
图像与视频处理
摘要
在过去十年中，针对视觉-惯性里程计（VIO）和深度图估计提出了大量需要大量标注数据的监督深度学习方法。为克服数据限制，自监督学习作为一种有前景的替代方案应运而生，其利用场景中的几何与光度一致性等约束。在本研究中，我们引入一种新颖的基于自监督深度学习的 VIO 与深度图恢复方法（SelfVIO），使用对抗训练和自适应视觉-惯性传感器融合。SelfVIO 学习从未经标注的单目 RGB 图像序列和惯性测量单元（IMU）读数中联合估计 6 自由度（6-DoF）自运动与场景深度图。所提方法能够在无需 IMU 内参和/或 IMU 与相机间外参标定的情况下执行 VIO。我们提供了对所提框架全面的定量与定性评估，在 KITTI、EuRoC 和 Cityscapes 数据集上将其性能与最先进的 VIO、VO 和视觉同步定位与建图（VSLAM）方法进行比较。详细对比证明，SelfVIO 在姿态估计与深度恢复方面优于最先进的 VIO 方法，使其成为文献中现有方法里一种有前景的途径。
引用
@article{arxiv.1911.09968,
title = {SelfVIO: Self-Supervised Deep Monocular Visual-Inertial Odometry and Depth Estimation},
author = {Yasin Almalioglu and Mehmet Turan and Alp Eren Sari and Muhamad Risqi U. Saputra and Pedro P. B. de Gusmão and Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:1911.09968},
year = {2020}
}
备注
15 pages, submitted to The IEEE Transactions on Robotics (T-RO) journal, under review