MSFMamba:用于多源遥感图像分类的多尺度特征融合状态空间模型
图像与视频处理
2025-01-28 v2
摘要
在多源遥感图像分类领域,使用卷积神经网络(CNN)和 Transformer 取得了显著进展。最近,基于状态空间模型(SSM)构建的 Mamba 方法在以线性复杂度进行长程依赖建模方面展现出巨大潜力,但鲜少在多源遥感图像分类任务中得到探索。为了解决这一问题,我们提出了多尺度特征融合 Mamba(MSFMamba)网络,这是一个为高光谱图像(HSI)与激光雷达/合成孔径雷达(SAR)数据联合分类设计的新框架。MSFMamba 网络由三个关键组件组成:多尺度空间 Mamba(MSpa-Mamba)模块、光谱 Mamba(Spe-Mamba)模块和融合 Mamba(Fus-Mamba)模块。MSpa-Mamba 模块采用多尺度策略以降低计算成本并缓解多个扫描路径中的特征冗余,确保高效的空间特征建模。Spe-Mamba 模块专注于光谱特征提取,应对 HSI 数据表示的独特挑战。最后,Fus-Mamba 模块通过扩展原始 Mamba 架构以适应双输入,弥合了 HSI 与 LiDAR/SAR 数据之间的异构鸿沟,增强了跨模态特征交互并实现了无缝数据融合。这些组件共同使 MSFMamba 能够有效应对多源数据分类的挑战,在优化计算效率的同时提供更好的性能。在四个真实多源遥感数据集上的综合实验证明了 MSFMamba 优于几种 state-of-the-art 方法。MSFMamba 的源代码已在 https://github.com/oucailab/MSFMamba 公开。
引用
@article{arxiv.2408.14255,
title = {MSFMamba: Multi-Scale Feature Fusion State Space Model for Multi-Source Remote Sensing Image Classification},
author = {Feng Gao and Xuepeng Jin and Xiaowei Zhou and Junyu Dong and Qian Du},
journal= {arXiv preprint arXiv:2408.14255},
year = {2025}
}
备注
IEEE TGRS 2025