中文

RQFormer:面向端到端有向目标检测的旋转查询 Transformer

计算机视觉与模式识别 2024-12-17 v4

摘要

有向目标检测是一项具有挑战性的任务,因为存在多方向、尺度多变且密集分布的目标实例。近来,端到端检测器通过采用注意力机制并经由连续解码器层精炼固定数量的查询取得了显著进展。然而,现有的端到端有向目标检测器仍面临两个主要挑战:1)位置查询与键之间的错位,导致分类与定位的不一致;2)存在大量相似查询,使一对一标签分配与优化复杂化。为应对这些局限,我们提出一种称为旋转查询 Transformer 的端到端有向检测器,其集成了两项关键技术:旋转 RoI 注意力(RRoI Attention)与选择性差异查询(SDQ)。首先,RRoI Attention 通过交叉注意力将位置查询与来自有向感兴趣区域的键对齐。其次,SDQ 从中间解码器层收集查询并过滤掉相似查询以生成差异查询,从而促进一对一标签分配的优化。最后,在四个遥感数据集和一个场景文本数据集上进行的大量实验证明了我们方法的有效性。为进一步验证其泛化能力,我们还将该方法扩展至水平目标检测。代码发布于 \url{https://github.com/wokaikaixinxin/RQFormer}。

关键词

引用

@article{arxiv.2311.17629,
  title  = {RQFormer: Rotated Query Transformer for End-to-End Oriented Object Detection},
  author = {Jiaqi Zhao and Zeyu Ding and Yong Zhou and Hancheng Zhu and Wenliang Du and Rui Yao and Abdulmotaleb El Saddik},
  journal= {arXiv preprint arXiv:2311.17629},
  year   = {2024}
}

备注

This article is accepted by Expert Systems With Applications (ESWA) 2024