SpectralMamba：用于高光谱图像分类的高效 Mamba

循环神经网络和 Transformer 最近在大多数高光谱（HS）成像应用中占据主导地位，因为它们能够从光谱序列中捕获长距离依赖关系。然而，尽管这些序列架构取得了成功，但由难以并行化或计算代价高昂的注意力机制引起的不可忽视的低效性仍然阻碍了它们的实用性，特别是在遥感场景下的大规模观测中。为了解决这个问题，我们在此提出 SpectralMamba——一种结合状态空间模型的高效深度学习框架，用于 HS 图像分类。SpectralMamba 在两个层面上对 HS 数据动态进行了简化但充分的建模。首先，在空间-光谱空间中，通过高效卷积学习动态掩码，以同时编码空间规律性和光谱特异性，从而减弱判别性表示学习中的光谱变异性和混淆。其次，合并后的光谱随后可以在隐藏状态空间中高效操作，所有参数均学习为输入依赖的，从而产生选择性聚焦的响应，而无需依赖冗余的注意力或不可并行化的递归。为了探索进一步缩减计算量的空间，其间采用了一种分段扫描机制，将近似连续的光谱转换为长度压缩的序列，同时保持数百个波段间的短期和长期上下文特征。通过在由卫星、飞机和无人机搭载的成像仪获取的四个基准 HS 数据集上的广泛实验，SpectralMamba 令人惊喜地在性能和效率两方面均取得了双赢。