CLIP引导的航拍图像无源目标检测
计算机视觉与模式识别
2024-05-31 v2
摘要
领域自适应在航拍图像中至关重要，因为这些图像的视觉表示会因地理位置、时间和天气条件等因素而显著变化。此外，高分辨率航拍图像通常需要大量的存储空间，并且可能不易为公众所获取。为应对这些挑战，我们提出了一种新颖的无源目标检测（SFOD）方法。具体而言，我们的方法始于一个自训练框架，该框架显著提升了基线方法的性能。为减轻自训练中的噪声标签，我们利用对比语言-图像预训练（CLIP）来引导伪标签的生成，称为CLIP引导聚合（CGA）。通过利用CLIP的零样本分类能力，我们将其得分与原始预测的边界框进行聚合，从而能够为伪标签获得精炼的得分。为验证我们方法的有效性，我们基于DIOR数据集构建了两个来自不同领域的新数据集，分别命名为DIOR-C和DIOR-Cloudy。实验结果表明，我们的方法优于其他对比算法。代码可在 https://github.com/Lans1ng/SFOD-RS 获取。
引用
@article{arxiv.2401.05168,
title = {CLIP-Guided Source-Free Object Detection in Aerial Images},
author = {Nanqing Liu and Xun Xu and Yongyi Su and Chengxin Liu and Peiliang Gong and Heng-Chao Li},
journal= {arXiv preprint arXiv:2401.05168},
year = {2024}
}
备注
Accepted by IGARSS2024