谱空间 Mamba 用于 hyperspectral 图像分类

最近，深度学习模型在高光谱图像 (HSI) 分类中取得了优异性能。在众多深度模型中，Transformer 因其在建模高光谱特征空间-光谱依赖性方面的卓越表现而逐渐受到关注。然而，Transformer 由于自注意力机制导致二次计算复杂度，计算负担较重，在 HSI 处理领域应用受限。值得注意的是，新兴的基于状态空间模型的 Mamba 在保持 Transformer 建模能力的同时展现出卓越的计算效率。因此，本文尝试将 Mamba 应用于 HSI 分类，提出了谱空间 Mamba (SS-Mamba)。具体而言，所提出的 SS-Mamba 主要由谱空间 token 生成模块和多个堆叠的谱空间 Mamba 块构成。首先，token 生成模块将给定的 HSI 立方体转换为空间和光谱 token 序列。随后，这些 token 被输入堆叠的谱空间 Mamba 块 (SS-MB)。每个 SS-MB 块由两个基础 Mamba 块和一个谱空间特征增强模块构成。空间和光谱 token 分别由两个基础 Mamba 块处理。此外，特征增强模块利用 HSI 样本中心区域信息对空间和光谱 token 进行调制。如此一来，谱空间 token 相互协作，实现每个块内的信息融合。在广泛使用的 HSI 数据集上进行的实验结果表明，所提出的模型在与最新方法的比较中取得了具竞争力的性能。Mamba 基于的方法为 HSI 分类开辟了新的研究方向。