探索自注意力在视觉里程计中的应用
计算机视觉与模式识别
2020-11-18 v1 机器学习
机器人学
摘要
视觉里程计网络通常使用预训练的光流网络来推导连续帧之间的自运动。这些网络提取的特征表示帧间所有像素的运动。然而，由于场景中存在动态物体和无纹理表面，每个图像区域的运动信息可能因动态物体在推导位置增量变化中的无效性而不可靠。该领域近期的工作在其结构中缺乏注意力机制，以便对特征图进行动态重加权以提取更精细的自运动信息。本文中，我们探索了自注意力在视觉里程计中的有效性。我们给出了与SOTA方法的定性与定量对比结果。此外，利用基于显著性的研究以及专门设计的实验来考察自注意力对视觉里程计（VO）的影响。我们的实验表明，与使用缺乏此类结构的网络相比，使用自注意力能够提取更好的特征，同时取得更好的里程计性能。
引用
@article{arxiv.2011.08634,
title = {Exploring Self-Attention for Visual Odometry},
author = {Hamed Damirchi and Rooholla Khorrambakht and Hamid D. Taghirad},
journal= {arXiv preprint arXiv:2011.08634},
year = {2020}
}
备注
8 pages, 7 figures, 1 table