RefAerial: 用于航空图像中指称检测的基准数据集与方法
计算机视觉与模式识别
2026-04-24 v2
摘要
指称检测指通过自然语言指示定位目标，近日受到广泛关注。然而现有数据集局限于地面图像，对象居中且场景规模较小。本文引入用于航空图像指称检测的大规模具挑战性数据集，称作 RefAerial。其区别于传统地面指称检测数据集体现在四个方面：(1) 对象与场景比例呈低但多样化分布，(2) 目标与干扰项数量众多，(3) 指称描述复杂且细粒度，(4) 航空视角下的场景具有多样性和广度。我们还开发了用于高效半自动指称配对标注的人类在环指称扩写与标注引擎 (REA-Engine)。此外，我们发现现有地面指称检测方法在航空数据集上表现严重下降，原因在于航空图像中的尺度差异问题。因此，我们进一步提出一种规模全面且灵敏 (SCS) 的框架，用于航空图像中的指称检测。该框架包含粒度混合注意力 (mixture-of-granularity attention) 和两阶段全面到灵敏 (comprehensive-to-sensitive, CtS) 解码策略。具体而言，粒度混合注意力用于实现尺度全面的目标理解；两阶段全面到灵敏解码策略用于实现从粗到细的指称目标解码。最终，所提出的 SCS 框架在航空指称检测数据集上取得优异性能，并在传统地面指称检测数据集上实现显著提升。
引用
@article{arxiv.2604.20543,
title = {RefAerial: A Benchmark and Approach for Referring Detection in Aerial Images},
author = {Guyue Hu and Hao Song and Yuxing Tong and Duzhi Yuan and Dengdi Sun and Aihua Zheng and Chenglong Li and Jin Tang},
journal= {arXiv preprint arXiv:2604.20543},
year = {2026}
}