RSMamba：基于状态空间模型的遥感图像分类
计算机视觉与模式识别
2024-03-29 v1
摘要
遥感图像分类构成了各种理解任务的基础，在遥感图像解译中发挥着关键作用。卷积神经网络（CNNs）和 Transformers 的最新进展显著提高了分类精度。然而，遥感场景分类仍然是一个重大挑战，特别是考虑到遥感场景的复杂性和多样性以及时空分辨率的可变性。整图理解能力可以为场景辨别提供更精确的语义线索。在本文中，我们引入了 RSMamba，一种用于遥感图像分类的新型架构。RSMamba 基于状态空间模型（SSM），并结合了被称为 Mamba 的高效的硬件感知设计。它集成了全局感受野和线性建模复杂度的优势。为了克服原始 Mamba 只能对因果序列建模且不适用于二维图像数据的局限性，我们提出了一种动态多路径激活机制，以增强 Mamba 对非因果数据建模的能力。值得注意的是，RSMamba 保持了原始 Mamba 固有的建模机制，但在多个遥感图像分类数据集上展现出卓越的性能。这表明 RSMamba 具有作为未来视觉基础模型骨干的巨大潜力。代码将公开于 \url{https://github.com/KyanChen/RSMamba}。
引用
@article{arxiv.2403.19654,
title = {RSMamba: Remote Sensing Image Classification with State Space Model},
author = {Keyan Chen and Bowen Chen and Chenyang Liu and Wenyuan Li and Zhengxia Zou and Zhenwei Shi},
journal= {arXiv preprint arXiv:2403.19654},
year = {2024}
}