面向基于流的无监督视觉里程计的 Transformer 引导几何模型
计算机视觉与模式识别
2021-01-07 v1
摘要
现有的无监督视觉里程计（VO）方法要么匹配成对图像，要么利用循环神经网络在长图像序列上整合时序信息。它们要么不准确，要么训练耗时，要么误差累积。本文中，我们提出一种由两种相机位姿估计器组成的方法，分别处理来自成对图像和短图像序列的信息。对于图像序列，采用类 Transformer 结构在局部时间窗上构建几何模型，称为基于 Transformer 的辅助位姿估计器（TAPE）。同时，提出流到流位姿估计器（F2FPE）以利用成对图像间的关系。两个估计器在训练中通过简单而有效的的一致性损失进行约束。实证评估表明，所提方法在 KITTI 和 Malaga 数据集上大幅优于最先进的基于无监督学习的方法，并与有监督及传统方法性能相当。
引用
@article{arxiv.2101.02143,
title = {Transformer Guided Geometry Model for Flow-Based Unsupervised Visual Odometry},
author = {Xiangyu Li and Yonghong Hou and Pichao Wang and Zhimin Gao and Mingliang Xu and Wanqing Li},
journal= {arXiv preprint arXiv:2101.02143},
year = {2021}
}