3DSS-Mamba：用于高光谱图像分类的3D光谱-空间Mamba
计算机视觉与模式识别
2024-08-09 v2 图像与视频处理
摘要
高光谱图像（HSI）分类是遥感领域的基础研究。卷积神经网络（CNN）和Transformer在捕获光谱-空间上下文依赖关系方面展示了令人印象深刻的能力。然而，这些架构分别受限于有限的感受野和二次计算复杂度。幸运的是，最近基于状态空间模型的Mamba架构整合了长程序列建模和线性计算效率的优势，在低维场景中展现出巨大潜力。受此启发，我们提出了一种新颖的3D光谱-空间Mamba（3DSS-Mamba）框架用于HSI分类，能够以更高的计算效率进行全局光谱-空间关系建模。技术上，设计了一个光谱-空间令牌生成（SSTG）模块，将HSI立方体转换为一组3D光谱-空间令牌。为了克服传统Mamba仅限于建模因果序列且不适应高维场景的局限性，引入了3D光谱-空间选择性扫描（3DSS）机制，该机制沿光谱和空间维度对3D高光谱令牌进行逐像素选择性扫描。构建了五种扫描路线以研究维度优先级的影响。3DSS扫描机制与常规映射操作相结合，形成了3D光谱-空间Mamba块（3DMB），能够提取全局光谱-空间语义表示。实验结果和分析表明，所提出的方法在HSI分类基准上优于最先进的方法。
引用
@article{arxiv.2405.12487,
title = {3DSS-Mamba: 3D-Spectral-Spatial Mamba for Hyperspectral Image Classification},
author = {Yan He and Bing Tu and Bo Liu and Jun Li and Antonio Plaza},
journal= {arXiv preprint arXiv:2405.12487},
year = {2024}
}