面向开放词汇航拍目标检测：基于CLIP激活的师生学习
计算机视觉与模式识别
2024-10-29 v4
摘要
海量遥感图像的增长推动了可扩展目标检测器的发展，这类检测器无需耗费成本收集新标注数据即可检测训练类别之外的目标。本文旨在发展航拍图像中的开放词汇目标检测(OVD)技术，将目标词汇量扩展至训练数据之外。OVD的性能高度依赖于类无关区域提议和新物体类别伪标签的质量。为同时生成高质量提议与伪标签，我们提出CastDet，一种CLIP激活的师生开放词汇目标检测框架。我们这一端到端框架遵循师生自学习机制，采用RemoteCLIP模型作为具备丰富知识的额外全知教师。由此，我们的方法不仅提升了新物体提议，也改善了分类。此外，我们设计了一种动态标签队列策略，以在批次训练期间维持高质量伪标签。我们在多个现有航拍目标检测数据集上进行了充分实验，这些数据集均按OVD任务设置。实验结果表明我们的CastDet取得了优越的开放词汇检测性能，例如在VisDroneZSD新类别上达到46.5% mAP，比当前最优开放词汇检测器高出21.0% mAP。据我们所知，这是首项将开放词汇目标检测技术应用于并发展于航拍图像的工作。代码见https://github.com/lizzy8587/CastDet。
引用
@article{arxiv.2311.11646,
title = {Toward Open Vocabulary Aerial Object Detection with CLIP-Activated Student-Teacher Learning},
author = {Yan Li and Weiwei Guo and Xue Yang and Ning Liao and Dunyun He and Jiaqi Zhou and Wenxian Yu},
journal= {arXiv preprint arXiv:2311.11646},
year = {2024}
}
备注
Accepted by ECCV2024