SuperYOLO：多模态遥感影像中超分辨率辅助的目标检测
计算机视觉与模式识别
2023-04-11 v2
摘要
从遥感图像（RSI）中准确且及时地检测包含数十像素的多尺度小目标仍然具有挑战性。现有多数方案主要设计复杂的深度神经网络以学习从背景中分离目标的强特征表示，常导致沉重计算负担。本文提出一种准确且快速的 RSI 目标检测方法，名为 SuperYOLO，其融合多模态数据并利用辅助超分辨率（SR）学习进行高分辨率（HR）多尺度目标检测，同时兼顾检测精度与计算成本。首先，我们利用对称紧凑多模态融合（MF）从各类数据中提取补充信息以改善 RSI 中小目标检测。此外，我们设计了一个简单灵活的 SR 分支，以低分辨率（LR）输入学习可区分广阔背景中小目标的 HR 特征表示，从而进一步提升检测精度。并且，为避免引入额外计算，推理阶段丢弃 SR 分支，且因 LR 输入网络模型计算量减少。实验结果表明，在广泛使用的 VEDAI RS 数据集上，SuperYOLO 达到 75.09% 的精度（以 mAP50 计），比 YOLOv5l、YOLOv5x 及 RS 设计的 YOLOrs 等 SOTA 大模型高出 10% 以上。同时，SuperYOLO 的参数规模和 GFLOPs 约为 YOLOv5x 的 1/18 和 1/3.8。相较最先进模型，我们所提模型展现出良好的精度与速度权衡。代码将于 https://github.com/icey-zhang/SuperYOLO 开源。
引用
@article{arxiv.2209.13351,
title = {SuperYOLO: Super Resolution Assisted Object Detection in Multimodal Remote Sensing Imagery},
author = {Jiaqing Zhang and Jie Lei and Weiying Xie and Zhenman Fang and Yunsong Li and Qian Du},
journal= {arXiv preprint arXiv:2209.13351},
year = {2023}
}
备注
The article is accepted by IEEE Transactions on Geoscience and Remote Sensing