通过改进遮挡处理实现自监督单目视觉无人机模型识别

在 GPS 被抑制的环境中，姿态估计对无人机至关重要。视觉方法在飞行速度提高且靠近目标物导致视觉条件困难（显著运动模糊和大范围遮挡）时表现困难。为此，通常会辅以状态估计滤波器，该滤波器将无人机模型与惯性测量数据相结合。然而，这些无人机模型目前是以监督方式学习的，需依赖外部动作捕捉系统的真值数据，限制了其在不同环境和无人机上的可扩展性。本文提出一种自监督学习方案，仅利用 onboard 单目视频和飞行控制器数据（IMU 与马达反馈）即可训练基于神经网络的无人机模型。我们首先训练一个自监督相对姿态估计模型，随后将其作为无人机模型的教师。为实现在高速度靠近障碍物时的工作，本文为训练自监督姿态估计模型提出改进的遮挡处理方法。通过此方法，最终姿态估计的均方根误差平均降低 15%。此外，学生神经网络无人机模型可从 onboard 数据中成功获得，且在较高速度下相对于其教师——基于视觉的自监督模型——具有更高精度。我们通过将其集成到传统滤波器基于 VIO 系统 (ROVIO) 中，展示了神经网络无人机模型的价值——在激进的 3D 赛跑轨迹上靠近障碍物时，姿态估计精度显著提升。自监督学习的姿态估计代表了将飞行从受控、昂贵的实验室环境推向真实世界无人机应用的重要一步。视觉与无人机模型的融合将实现更高速度的飞行，并提升状态估计精度——任何无人机在任何环境下均可实现。