FusionMamba: 基于状态空间模型的高效遥感图像融合

遥感图像融合旨在通过将具有有限光谱数据的高分辨率图像与富含光谱信息的低分辨率图像相结合，生成高分辨率多/高光谱图像。当前的深度学习方法通常采用卷积神经网络或 Transformer 进行特征提取与信息整合。CNNs 虽然高效，但其有限的感受野限制了其捕获全局上下文的能力。Transformer 擅长学习全局信息，但计算成本高昂。状态空间模型的最新进展，特别是 Mamba，通过以低复杂度实现全局感知，提供了一种有前景的替代方案。然而，SSM 在信息整合方面的潜力仍有待深入探索。因此，我们提出了 FusionMamba，一种用于高效遥感图像融合的创新方法。我们的贡献有两方面。首先，为了有效融合空间和光谱特征，我们将单输入 Mamba 块扩展为可容纳双输入，创建了 FusionMamba 块，作为信息整合的即插即用解决方案。其次，我们将 Mamba 和 FusionMamba 块整合到一个专为遥感图像融合定制的可解释网络架构中。我们的设计利用两个 U 型网络分支，每个分支主要由四向 Mamba 块组成，分别分层提取空间和光谱特征。生成的特征图在由 FusionMamba 块构建的辅助网络分支中进行充分融合。此外，我们通过增强的通道注意力模块改进了光谱信息的表示。在六个数据集上的定量和定性评估结果表明，我们的方法实现了 SOTA 性能。代码可在 https://github.com/PSRben/FusionMamba 获取。