MambaHSI：用于高光谱图像分类的空间-光谱 Mamba 模型

Transformer 已被广泛应用于高光谱图像 (HSI) 分类，但其二次计算复杂度导致速度和内存使用方面存在挑战。最近，Mamba 模型因其保持线性计算复杂度的同时具备强大的长程建模能力而成为值得关注的 approach。然而，Mamba 在表示 HSI 时面临挑战，因为需要对空间和光谱信息进行集成理解。为缓解此问题，我们提出一种基于 Mamba 的新型 HSI 分类模型，命名为 MambaHSI，能够同时建模整个图像的长程相互作用，并以自适应方式整合空间和光谱信息。具体而言，我们设计了空间 Mamba 块 (SpaMB) 用于像素级建模整个图像的长程相互作用。随后，我们提出光谱 Mamba 块 (SpeMB) 将光谱向量分为多个组，挖掘不同光谱组之间的关系，并提取光谱特征。最后，我们提出空间-光谱融合模块 (SSFM) 用于自适应整合 HSI 的空间和光谱特征。到目前为止，这是首个基于 Mamba 的图像级 HSI 分类模型。我们在四个多样化 HSI 数据集上进行大量实验。结果表明，所提模型在 HSI 分类方面有效且优越，揭示了 Mamba 作为下一代 HSI 模型 backbone 的巨大潜力。代码已公开于 https://github.com/li-yapeng/MambaHSI。