DualMamba：用于遥感图像分类的轻量级谱-时空 Mamba 卷积网络
计算机视觉与模式识别
2024-06-12 v1
摘要
遥感图像 (HSI) 分类中建模复杂谱-时空关系的有效性和效率都是关键。目前大多基于 CNN 和变换器的方法仍受计算负担制约，且在捕获全局-局部谱-时空特征表示方面仍有提升空间。为此，我们提出一种新颖的轻量级并行设计，称为轻量级双流 Mamba 卷积网络 (DualMamba)，用于 HSI 分类。具体而言，首先开发了并行的轻量级 Mamba 和 CNN 模块，用于提取全局和局部谱-时空特征。首先，提出了交叉注意力谱-时空 Mamba 模块，以线性复杂度利用 Mamba 的全局建模能力。在该模块中，设计了动态位置嵌入以增强视觉序列的空间位置信息。轻量级谱/时空 Mamba 模块包含高效扫描策略和轻量级 Mamba 设计，有效提取全局谱-时空特征。此外，设计了交叉注意力谱-时空融合，以学习交叉相关并融合谱-时空特征。其次，提出轻量级谱-时空残差卷积模块，包含轻量级谱和时空分支，通过残差学习提取局部谱-时空特征。最后，提出自适应全局-局部融合，以动态组合全局 Mamba 特征和局部卷积特征，实现全局-局部谱-时空表示。与当前最先进的 HSI 分类方法相比，实验结果表明 DualMamba 在三个公开 HSI 数据集上实现了显著的分类准确率，并在模型参数和浮点运算量 (FLOPs) 上实现显著的降低。
引用
@article{arxiv.2406.07050,
title = {DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification},
author = {Jiamu Sheng and Jingyi Zhou and Jiong Wang and Peng Ye and Jiayuan Fan},
journal= {arXiv preprint arXiv:2406.07050},
year = {2024}
}