DeepVIO：利用三维几何约束的自监督深度学习单目视觉惯性里程计
机器人学
2019-07-01 v2 计算机视觉与模式识别
摘要
本文提出一种用于单目视觉惯性里程计的自监督深度学习网络（命名为 DeepVIO）。DeepVIO 通过直接融合二维光流特征（OFF）与惯性测量单元（IMU）数据来提供绝对轨迹估计。具体而言，它首先利用立体序列估计每个场景的深度和稠密三维点云，然后获取包括三维光流和六自由度位姿在内的三维几何约束作为监督信号。值得注意的是，这种三维光流对动态物体和无纹理环境表现出鲁棒性和准确性。在 DeepVIO 训练中，二维光流网络受其对应三维光流投影的约束，而 LSTM 风格的 IMU 预积分网络和融合网络则通过最小化自运动约束的损失函数来学习。此外，我们采用一种 IMU 状态更新方案，通过更新额外的陀螺仪和加速度计偏置来改善 IMU 位姿估计。在 KITTI 和 EuRoC 数据集上的实验结果表明，DeepVIO 在准确性和数据适应性方面优于最先进的基于学习的方法。与传统方法相比，DeepVIO 减少了不准确的相机-IMU 标定、数据不同步和缺失的影响。
引用
@article{arxiv.1906.11435,
title = {DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry using 3D Geometric Constraints},
author = {Liming Han and Yimin Lin and Guoguang Du and Shiguo Lian},
journal= {arXiv preprint arXiv:1906.11435},
year = {2019}
}
备注
Accepted by IROS 2019, demo video: https://www.youtube.com/watch?v=fMeqCcpBCdM&feature=youtu.be