基于边缘计算的无人机视觉手势识别控制

手势识别因其直观性和潜在的精确交互能力，成为与无人机（UAV）接口的有前景的途径。本研究对针对无人机控制所特有的视觉手势检测方法进行了全面的比较分析。现有手势识别方法涉及裁剪、放大和基于颜色的分割，对这种应用在动态条件下的表现不佳，且在距离增加和环境噪声存在时性能下降。我们提出一种新方法，利用手部关键点绘制和分类进行手势识别。通过实验结果我们显示，我们提出的方法在准确性、噪声鲁棒性和不同距离下的有效性方面均优于其他现有方法，从而提供稳健的控制决策。然而，在无人机 onboard 计算机上实现基于深度学习的计算密集型手势识别算法在性能方面具有显著挑战。因此，我们提出一种基于边缘计算的框架卸载计算密集型任务，以实现闭环实时性能。我们在AirSim模拟器以及真实世界无人机上展示了基于端到端手势识别的无人机控制系统的优势。