一种新型基于形状引导的变换器网络用于遥感图像的实例分割

遥感图像（RSIs）的实例分割性能受到两个问题的显著影响：如何从通过动态大气介质的遥感成像中提取准确的物体边界，以及如何整合广阔空间区域上散布的相关对象实例之间的相互信息。为此，本文提出一种新型形状引导变换器网络（Shape Guided Transformer Network, SGTN）以在实例层面准确提取物体。灵感来自自注意力机制的全局语境建模能力，我们提出一种有效的变换器编码器称为 LSwin，它融合了垂直和水平 1 维全局自注意力机制，以获得比流行的基于局部偏移窗口的 Swin 变换器更好的 RSIs 全局感知能力。为实现准确的实例掩码分割，我们引入一种形状引导模块（SGM）以强调物体边界和形状信息。SGM 强调局部细节信息而 LSwin 关注全局上下文关系的结合，实现了优异的 RSI 实例分割。通过详尽的消融实验验证了其有效性。尤其，LSwin 在相同效率水平下优于流行的 ResNet 和 Swin 变换器编码器。与其他实例分割方法相比，SGTN 在两个单类公开数据集（WHU 数据集和 BITCC 数据集）以及一个多类公开数据集（NWPU VHR-10 数据集）上实现了最高的平均精度（AP）得分。代码将在 http://gpcv.whu.edu.cn/data/ 提供。