面向小目标检测的选择性结构化状态空间用于多光谱融合

高分辨率遥感图像中的目标检测面临小目标识别准确率低和计算成本高的挑战。Transformer 架构的计算复杂度随图像分辨率呈二次增长，而卷积神经网络（CNN）架构则因堆叠更深的卷积层来扩大感受野，导致计算需求指数级增长。为解决这些计算约束，我们利用 Mamba 的线性复杂度实现效率。然而，Mamba 在小目标检测中性能下降，主要原因是小目标在图像中占据有限面积且语义信息有限。准确识别小目标不仅需要 Mamba 的全局注意力能力，还需要精确捕获细粒度局部细节。为此，我们开发了增强小目标检测（ESTD）模块和卷积注意力残差门（CARG）模块。ESTD 模块增强局部注意力以捕获细粒度细节，而 CARG 模块基于 Mamba，强调空间和通道维度信息，整体提升模型捕获小目标独特表征的能力。此外，为突出小目标的语义表征，我们设计了掩码增强像素级融合（MEPF）模块用于多光谱融合，通过有效融合可见光和红外多模态信息来增强目标特征。