OrientedFormer：一种用于遥感图像中有向目标检测的端到端Transformer模型

遥感图像中的有向目标检测是一个具有挑战性的任务，因为目标以多方向分布。最近的端到端Transformer方法通过消除传统CNN方法中后处理算子的需求而取得了成功。然而，直接将Transformer扩展到有向目标检测存在三个主要问题：1)目标可以任意旋转， necessitating 对角度、位置和大小进行编码；2)由于缺乏内容查询与位置查询之间的相互作用，Transformer中的自注意力机制缺乏有向目标的几何关系；3)有向目标导致值和位置查询在交叉注意力中的错位，使得准确的分类和定位变得困难。为此，本文提出一种端到端Transformer-based 有向目标检测器，包含三个专门的模块来解决上述问题。首先，提出高斯位置编码以使用高斯分布对有向框的角度、位置和大小进行编码。其次，提出Wasserstein自注意力以利用高斯Wasserstein距离得分引入几何关系，促进内容查询与位置查询之间的相互作用。最后，提出有向交叉注意力通过根据角度将采样点围绕位置查询旋转来实现值和位置查询的对齐。在六个数据集DIOR-R、一系列DOTA、HRSC2016和ICDAR2015上的实验表明我们方法的有效性。与以往的端到端检测器相比，OrientedFormer在DIOR-R和DOTA-v1.0上分别获得了1.16和1.21的AP$_{50}$提升，同时将训练周期从3倍缩短到1倍。代码已公开于 https://github.com/wokaikaixinxin/OrientedFormer。