基于无人机RGB-红外跨模态车辆检测的不确定性感知学习
计算机视觉与模式识别
2021-10-15 v2 机器学习
图像与视频处理
摘要
基于无人机的车辆检测旨在在航拍图像中找出车辆的位置与类别。它赋能智慧城市交通管理与灾害救援。研究者已在该领域付出大量努力并取得可观进展。然而,当目标难以分辨时,尤其在低光照条件下,这仍是一项挑战。为应对此问题,我们构建了一个大规模的基于无人机的RGB-红外车辆检测数据集,称为DroneVehicle。我们的DroneVehicle收集了28,439对RGB-红外图像,涵盖城市道路、居民区、停车场及从白天到夜晚的其他场景。由于RGB与红外图像间存在巨大差异,跨模态图像既提供有效信息也带来冗余信息。为解决这一困境,我们进一步提出一种不确定性感知的跨模态车辆检测(UA-CMDet)框架,从跨模态图像中提取互补信息,可显著提升低光照条件下的检测性能。设计了一个不确定性感知模块(UAM)来量化各模态的不确定性权重,该权重由跨模态交并比(IoU)与RGB光照值计算得出。此外,我们设计了一种光照感知的跨模态非极大值抑制算法,以在推理阶段更好地整合模态特有信息。在DroneVehicle数据集上的大量实验证明了所提方法在跨模态车辆检测中的灵活性与有效性。该数据集可从 https://github.com/VisDrone/DroneVehicle 下载。
引用
@article{arxiv.2003.02437,
title = {Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning},
author = {Yiming Sun and Bing Cao and Pengfei Zhu and Qinghua Hu},
journal= {arXiv preprint arXiv:2003.02437},
year = {2021}
}