由Transformer驱动的光学遥感图像显著性目标检测

现有光学遥感图像显著性目标检测（ORSI-SOD）方法主要采用卷积神经网络（CNNs）作为骨干网络，如VGG和ResNet。由于CNN只能在特定感受野内提取特征，多数ORSI-SOD方法通常遵循由局部到全局的范式。本文中，我们提出一种新颖的遵循由全局到局部范式的全局提取局部探索网络（GeleNet）用于ORSI-SOD。具体而言，GeleNet首先采用transformer骨干网络生成具有全局长程依赖的四级特征嵌入。随后，GeleNet采用方向感知混洗加权空间注意力模块（D-SWSAM）及其简化版本（SWSAM）来增强局部交互，并采用知识迁移模块（KTM）进一步增强跨层级上下文交互。D-SWSAM通过方向卷积全面感知最低层特征中的方向信息，以适应ORSI中显著性目标的各种朝向，并利用改进的注意力机制有效增强显著性目标细节。SWSAM舍弃D-SWSAM的方向感知部分，专注于在最高层特征中定位显著性目标。KTM基于自注意力机制对两个不同尺度的中间层特征的上下文相关信息建模，并将该知识迁移至原始特征以生成更具判别力的特征。最后，显著性预测器基于上述三个模块的输出生成显著性图。在三个公开数据集上的大量实验表明，所提GeleNet优于相关SOTA方法。我们方法的代码与结果可在 https://github.com/MathLee/GeleNet 获取。