面向高光谱图像分类的空间与空间-光谱形态学 Mamba
计算机视觉与模式识别
2025-03-24 v3 图像与视频处理
摘要
近期，变换器（特别是自注意力机制）在高光谱图像（HSI）分类方面取得了显著进展。然而，这些模型往往效率低下，因为其计算复杂度随序列长度呈二次方增长。为应对这些挑战，我们提出形态学空间 Mamba（SMM）和形态学空间-光谱 Mamba（SSMM）模型（MorpMamba），该模型结合了形态学操作与状态空间模型框架的优势，为变换器提供了一种计算效率更高的替代方案。在 MorpMamba 中，一种新颖的 token 生成模块首先将 HSI 块转换为空间-光谱 token。这些 token 随后经过侵蚀和膨胀等形态学操作，利用深度可分离卷积来捕获结构和形状信息。token 增强模块通过基于中心 HSI 区域动态调整空间和光谱 token 来细化这些特征，确保每个块内的有效特征融合。随后，应用多头自注意力来进一步丰富特征表示，使模型能够捕获数据中复杂的关系和依赖关系。最后，增强后的 token 被送入状态空间模块，该模块高效地建模特征的时序演化以进行分类。在广泛使用的 HSI 数据集上的实验结果表明，MorpMamba 在保持高精度的同时，相比传统 CNN 和变换器模型具有优越的参数效率。代码将在 \url{https://github.com/mahmad000/MorpMamba} 公开。
引用
@article{arxiv.2408.01372,
title = {Spatial and Spatial-Spectral Morphological Mamba for Hyperspectral Image Classification},
author = {Muhammad Ahmad and Muhammad Hassaan Farooq Butt and Adil Mehmood Khan and Manuel Mazzara and Salvatore Distefano and Muhammad Usama and Swalpa Kumar Roy and Jocelyn Chanussot and Danfeng Hong},
journal= {arXiv preprint arXiv:2408.01372},
year = {2025}
}