GraphMamba：一种高效的图结构学习视觉Mamba用于高光谱图像分类
计算机视觉与模式识别
2024-07-12 v1 机器学习
摘要
高光谱图像分类中，高效提取光谱序列和地理空间信息始终是一个热门话题。就光谱序列特征捕获而言，RNN和Transformer已成为主流分类框架，凭借其长程特征捕获能力。就空间信息聚合而言，CNN通过扩大感受野来最大限度地保留集成的空间信息。然而，光谱特征捕获架构的计算效率较低，CNN缺乏灵活感知空间上下文信息的能力。为此，本文提出了GraphMamba——一种高效的图结构学习视觉Mamba分类框架，充分考虑高光谱图像的特征，以实现深入的空间-光谱信息挖掘。具体而言，本文提出了一种新颖的高光谱视觉GraphMamba处理范式（HVGM），通过构建空间-光谱立方体来保留空间-光谱特征，并利用线性光谱编码来增强后续任务的可操作性。GraphMamba的核心组件包括用于提高计算效率的HyperMamba模块和用于实现自适应空间上下文感知的SpectralGCN模块。HyperMamba通过采用全局掩码（GM）来缓解杂乱干扰，并引入并行训练推理架构以缓解计算瓶颈。SpatialGCN采用加权多跳聚合（WMA）空间编码来聚焦高度相关的空间结构特征，从而在灵活地聚合上下文信息的同时减轻空间噪声干扰。我们在三个不同尺度的真实HSI数据集上进行了大量实验，并与最先进的分类框架进行了比较，GraphMamba在性能上实现了最佳表现。
引用
@article{arxiv.2407.08255,
title = {GraphMamba: An Efficient Graph Structure Learning Vision Mamba for Hyperspectral Image Classification},
author = {Aitao Yang and Min Li and Yao Ding and Leyuan Fang and Yaoming Cai and Yujie He},
journal= {arXiv preprint arXiv:2407.08255},
year = {2024}
}
备注
13 pages, 10 figures