S$^2$Mamba：用于高光谱图像分类的空间-光谱状态空间模型

利用高光谱图像进行土地覆盖分析仍然是一个开放性问题，因为其空间分辨率低且光谱信息复杂。近年来的研究主要致力于设计基于Transformer的架构以进行空间-光谱长程依赖建模，但这在二次复杂度下计算成本高昂。选择性结构化状态空间模型（Mamba）能够以线性复杂度高效建模长程依赖，最近显示出有希望的进展。然而，其在需要处理大量光谱波段的高光谱图像处理中的潜力尚未被探索。在本文中，我们创新性地提出了S$^2$Mamba，一种用于高光谱图像分类的空间-光谱状态空间模型，以挖掘空间-光谱上下文特征，从而实现更高效和准确的土地覆盖分析。在S$^2$Mamba中，设计了两个通过不同维度的选择性结构化状态空间模型用于特征提取，一个用于空间，另一个用于光谱，并配有一个空间-光谱混合门用于最优融合。具体来说，S$^2$Mamba首先通过补丁交叉扫描模块将每个像素与其相邻像素交互来捕获空间上下文关系，然后通过双向光谱扫描模块从连续光谱波段中探索语义信息。考虑到这两个属性在均匀和复杂纹理场景中的不同专长，我们通过一组可学习矩阵实现了空间-光谱混合门，允许自适应地整合跨不同维度学习的表示。在高光谱图像分类基准上进行的广泛实验证明了S$^2$Mamba的优越性和前景。代码将在https://github.com/PURE-melo/S2Mamba提供。