CSFMamba：用于多模态遥感图像分类的交叉状态融合Mamba算子
计算机视觉与模式识别
2025-09-03 v1 机器学习
摘要
由于能够利用互补的空间-光谱信息，多模态融合在遥感图像分类领域取得了很大进展。CNN和Transformer等深度学习方法在这些领域得到了广泛应用。然而，最近的状态空间模型（SSM）指出，先前的方法存在二次计算复杂度的问题。因此，对空间-光谱特征建模更长的范围依赖关系对网络构成了沉重的负担。Mamba通过将时变参数纳入普通SSM并进行硬件优化来解决这一问题，但无法直接执行特征融合。为充分利用Mamba的低计算负担并探索多模态特征融合中内部结构的潜力，我们提出了交叉状态融合Mamba（CSFMamba）网络。具体而言，我们首先设计了针对Mamba结构需求的遥感图像信息预处理模块，并将其与CNN结合提取多层特征。其次，创造性地设计了一个基于Mamba算子的交叉状态模块，以充分融合两种模态的特征。通过设计更强大的主干网络，结合了Mamba和CNN的优势。我们使用更强大的整体图像理解能力捕获HSI和LiDAR模态之间的融合关系。在MUUFL和Houston2018两个数据集上的实验结果表明，在降低网络训练负担的前提下，我们的方法优于Transformer方法。
引用
@article{arxiv.2509.00676,
title = {LLaVA-Critic-R1: Your Critic Model is Secretly a Strong Policy Model},
author = {Xiyao Wang and Chunyuan Li and Jianwei Yang and Kai Zhang and Bo Liu and Tianyi Xiong and Furong Huang},
journal= {arXiv preprint arXiv:2509.00676},
year = {2025}
}