视觉注意力预测提升自主无人机竞速智能体性能

人类驾驶无人机的速度快于为端到端自主飞行训练的神经网络。这可能与人类飞行员有效选择任务相关视觉信息的能力有关。本研究探讨能够模仿人类眼动注视行为和注意力的神经网络，是否能提升神经网络在基于视觉的自主无人机竞速这一挑战性任务中的表现。我们假设，在基于模拟器的无人机竞速任务中，基于注视的注意力预测可作为一种高效的视觉信息选择与决策机制。我们利用来自 18 名人类无人机飞行员的眼动注视与飞行轨迹数据训练视觉注意力预测模型来检验该假设。随后，我们使用该视觉注意力预测模型，通过模仿学习训练一个用于基于视觉的自主无人机竞速的端到端控制器。我们将该注意力预测控制器的竞速表现与使用原始图像输入和基于图像的抽象（即特征轨迹）的控制器进行比较。对比自主飞行完成高难度赛道的成功率，我们的结果表明，基于注意力预测的控制器（成功率 88%）优于 RGB 图像（成功率 61%）和特征轨迹（成功率 55%）的控制器基线。此外，在留出的参考轨迹上评估时，视觉注意力预测与基于特征轨迹的模型比基于图像的模型表现出更好的泛化性能。我们的结果表明，人类视觉注意力预测提升了基于视觉的自主无人机竞速智能体的性能，并为最终实现可达到甚至超越人类表现的基于视觉的快速敏捷自主飞行提供了重要一步。