一种基于注意力的深度学习架构用于实时单目视觉里程计：GPS 自由无人机导航应用

无人机在工业、医疗、科研、灾难救援、国防和安保等领域日益受到重视。诸如在 GPS 被剥夺的环境中进行导航等技术挑战阻碍了其进一步的采用。视觉里程计研究正在不断 advancement，potentially 解决 GPS-free navigation issues。传统的视觉里程计方法使用基于几何的管道，虽然流行，但常常 suffer from error accumulation and high computational demands。最近利用深度神经网络（DNN）的研究显示出 improved performance，addressing these drawbacks。深度视觉里程计通常采用卷积神经网络（CNN）和序列建模网络如循环神经网络（RNN）来解释场景并从视频序列中推断视觉里程计。本文提出一种新颖的实时单目视觉里程计模型，用于无人机，采用带有自注意力模块的深度神经网络架构。它估计相机在无人机上的ego-motion，使用连续的视频帧。一个推理工具处理实时视频流，利用深度学习估计无人机的轨迹。该架构将 CNN 用于图像特征提取和长短期记忆（LSTM）网络配合多头注意力模块用于视频序列建模。在两个视觉里程计数据集上进行测试，该模型比以前的 RNN 模型快 48%，平均平移漂移减少 22%，平均平移绝对轨迹误差改进 12%，显示其对噪声的鲁棒性更强。