通过自监督长期建模学习单目视觉里程计
计算机视觉与模式识别
2020-07-22 v1
摘要
单目视觉里程计（VO）在逐帧位姿估计中深受误差累积之苦。本文中，我们提出一种自监督VO学习方法，特别考虑了较长序列上的一致性。为此，我们使用一个具有两层卷积LSTM模块的位姿网络对位姿预测中的长期依赖建模。我们以纯自监督损失训练网络，包括模仿几何VO中回环检测模块的循环一致性损失。受先前几何系统启发，我们通过一种引入时间上遥远（如O(100)）帧的新损失，使网络在训练时能看到超出小时间窗的范围。鉴于GPU显存限制，我们提出分阶段训练机制：第一阶段在局部时间窗内运作，第二阶段利用第一阶段的特徵以“全局”损失精炼位姿。我们在包括KITTI与TUM RGB-D在内的多个标准VO数据集上展示了具有竞争力的结果。
引用
@article{arxiv.2007.10983,
title = {Learning Monocular Visual Odometry via Self-Supervised Long-Term Modeling},
author = {Yuliang Zou and Pan Ji and Quoc-Huy Tran and Jia-Bin Huang and Manmohan Chandraker},
journal= {arXiv preprint arXiv:2007.10983},
year = {2020}
}
备注
ECCV 2020. Project page: https://yuliang.vision/LTMVO