Mamba-in-Mamba：用于高光谱图像分类的 Tokenized Mamba 模型中的集中式 Mamba-Cross-Scan
计算机视觉与模式识别
2024-07-16 v4
摘要
高光谱图像（HSI）分类在遥感（RS）领域至关重要，尤其是随着深度学习技术的发展。从自然语言处理（NLP）领域借鉴而来的序列模型（如循环神经网络（RNN）和 Transformer）已被调整以适用于该任务，提供了独特的视角。然而，仍存在若干挑战：1）RNN 难以进行中心特征聚合且对干扰像素敏感；2）Transformer 需要大量计算资源，且在 HSI 训练样本有限时通常表现不佳；3）当前将图像转换为序列数据的扫描方法过于简单且低效。为此，本研究引入了用于 HSI 分类的新型 Mamba-in-Mamba（MiM）架构，这是在此任务中部署状态空间模型（SSM）的首次尝试。MiM 模型包含：1）一种用于将图像转换为序列数据的全新集中式 Mamba-Cross-Scan（MCS）机制；2）一个 Tokenized Mamba（T-Mamba）编码器，其结合了高斯衰减掩码（GDM）、语义 Token 学习器（STL）和语义 Token 融合器（STF），以增强特征生成与集中；3）一个加权 MCS 融合（WMF）模块，结合多尺度损失设计以提高解码效率。在三个公共 HSI 数据集上使用固定和非重叠训练-测试样本的实验结果表明，我们的方法优于现有基线方法和最先进方法，突显了其在 HSI 应用中的有效性与潜力。
引用
@article{arxiv.2405.12003,
title = {Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification},
author = {Weilian Zhou and Sei-Ichiro Kamata and Haipeng Wang and Man-Sing Wong and Huiying and Hou},
journal= {arXiv preprint arXiv:2405.12003},
year = {2024}
}