OS-W2S：一种用于语言引导开放集航拍目标检测的自动标注引擎
计算机视觉与模式识别
2025-09-29 v2 数据库
摘要
近年来，语言引导的开放集航拍目标检测因其更好地契合现实世界应用需求而受到广泛关注。然而，由于数据集有限，大多数现有语言引导方法主要关注词汇级描述，无法满足细粒度开放世界检测的需求。为解决这一局限，我们提出构建一个大规模语言引导开放集航拍检测数据集，涵盖三个层次的语言引导：从单词到短语，最终到句子。围绕一个开源大型视觉-语言模型，并整合基于图像操作的预处理与基于 BERT 的后处理，我们提出了 OS-W2S 标注引擎，这是一个能够处理航拍图像多样化场景标注的自动标注流程。利用此标注引擎，我们为现有航拍检测数据集扩展了丰富的文本标注，并构建了一个名为 MI-OAD 的新型基准数据集，解决了当前遥感定位数据的局限性，并实现了有效的语言引导开放集航拍检测。具体而言，MI-OAD 包含 163,023 张图像和 200 万对图像-标题对，大约是同类数据集的 40 倍。为证明 MI-OAD 的有效性和质量，我们评估了三个代表性任务。在语言引导开放集航拍检测中，使用 MI-OAD 训练使 Grounding DINO 在零样本迁移下，以句子级输入提升了 +31.1 AP50 和 +34.7 Recall@10。此外，使用 MI-OAD 进行预训练在多个现有开放词汇航拍检测和遥感视觉定位基准上取得了最先进的性能，验证了数据集的有效性及其 OS-W2S 标注的高质量。更多细节请访问 https://github.com/GT-Wei/MI-OAD。
引用
@article{arxiv.2505.03334,
title = {OS-W2S: An Automatic Labeling Engine for Language-Guided Open-Set Aerial Object Detection},
author = {Guoting Wei and Yu Liu and Xia Yuan and Xizhe Xue and Linlin Guo and Yifan Yang and Chunxia Zhao and Zongwen Bai and Haokui Zhang and Rong Xiao},
journal= {arXiv preprint arXiv:2505.03334},
year = {2025}
}