基于RGB/IR融合的无人机目标检测
计算机视觉与模式识别
2022-01-12 v1
摘要
近年来，利用航拍无人机图像进行目标检测受到了广泛关注。虽然可见光图像在大多数场景下足以检测目标，但热成像相机可将目标检测能力扩展到夜间或被遮挡目标。因此，用于目标检测的RGB与红外（IR）融合方法十分有用且重要。将深度学习方法应用于RGB/IR目标检测的最大挑战之一是缺乏可用的无人机红外图像训练数据，尤其是夜间数据。在本文中，我们开发了多种利用AIRSim仿真引擎和CycleGAN生成合成红外图像的策略。此外，我们利用一种光照感知融合框架来融合RGB与IR图像以进行地面目标检测。我们对模拟数据和实际数据的方法进行了表征与测试。我们的方案部署在运行于实际无人机上的NVIDIA Jetson Xavier上，每对RGB/IR图像的处理耗时约28毫秒。
引用
@article{arxiv.2201.03786,
title = {Drone Object Detection Using RGB/IR Fusion},
author = {Lizhi Yang and Ruhang Ma and Avideh Zakhor},
journal= {arXiv preprint arXiv:2201.03786},
year = {2022}
}
备注
Accepted to Electronic Imaging Symposium, Computational Imaging XX Conference, 2022