基于混合Mamba-Transformer视觉骨干网络的高光谱遥感图像分类
计算机视觉与模式识别
2025-07-08 v1
摘要
高光谱图像(HSI)分类面临高维数据、有限训练样本及光谱冗余问题，常导致过拟合与泛化能力不足。为此，本文提出新型MVNet网络架构，融合3D-CNN的局部特征提取、Transformer的全局建模与Mamba的线性复杂度序列建模能力，实现空间-光谱特征的高效提取与融合。MVNet包含重新设计的双分支Mamba模块，包括状态空间模型(SSM)分支与采用1D卷积并施以SiLU激活的非SSM分支，增强短程与长程依赖建模，同时降低传统Mamba的计算延迟。经过优化的HSI-MambaVision Mixer模块克服了因果卷积的单向限制，借助解耦注意力聚焦高价值特征，在单次前向传播中捕获双向空间-光谱依赖，缓解参数冗余与维度灾难。在IN、UP和KSC数据集上，MVNet在分类准确率与计算效率方面均优于主流高光谱图像分类方法，展现出处理复杂HSI数据的强大能力。
关键词
引用
@article{arxiv.2507.04409,
title = {MVNet: Hyperspectral Remote Sensing Image Classification Based on Hybrid Mamba-Transformer Vision Backbone Architecture},
author = {Guandong Li and Mengxia Ye},
journal= {arXiv preprint arXiv:2507.04409},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2506.08324, arXiv:2504.15155, arXiv:2504.13045, arXiv:2503.23472