基于卷积神经网络的可见光与热成像无人机监测

本文报道了一种集成基于深度学习的检测与跟踪模块的可见光与热成像无人机监测系统。采用深度学习方法进行无人机检测的最大挑战是训练无人机图像的匮乏,尤其是热成像无人机图像。为解决此问题,我们开发了两种数据增强技术。一种是基于模型的无人机增强技术,可自动生成带有无人机位置边界框标签的可见光无人机图像。另一种是利用对抗性数据增强方法生成热成像无人机图像。为跟踪小型飞行无人机,我们利用连续图像帧之间的残差信息。最后,我们提出了一个集成检测与跟踪的系统,其性能优于仅含检测或仅含跟踪的单个模块。实验表明,即使仅在合成数据上训练,所提系统在具有复杂背景的真实世界无人机图像上仍表现良好。带有用户标注边界框的 USC 无人机检测与跟踪数据集已向公众开放。