用于大遥感图像稠密预测的RS-Mamba

情境建模是遥感图像稠密预测任务中的关键因素。当前，超高分辨率(VHR)遥感图像日益增大的尺寸，给有效建模情境带来了挑战。虽然基于Transformer的模型具备全局建模能力，但在处理大尺寸VHR图像时因其二次复杂度而面临计算挑战。传统做法是将大图像裁剪成小块，导致显著的信息损失。为此，我们提出一种名为遥感Mamba(RSM)的模型，用于大VHR遥感图像的稠密预测任务。RSM专为捕获遥感图像的全局情境而设计，具有线性复杂度，能够有效处理大尺寸VHR图像。鉴于遥感仰视成像的特性，地表覆盖物在空间上分布呈任意方向，RSM incorporates an omnidirectional selective scan module to globally model the context of images in multiple directions, capturing large spatial features from various directions. 在多个遥感地物覆盖场景下的语义分割和变化检测实验表明，所提出的RSM方法有效。我们设计了基于RSM的简单且高效的模型，在不使用复杂训练策略的情况下，实现了VHR遥感图像稠密预测任务的SOTA性能。凭借线性复杂度和全局建模能力，RSM在大尺寸遥感图像上比基于Transformer的模型在效率和准确性上均表现更好。有趣的是，我们还发现，对于稠密预测任务，RSM模型随图像尺寸增大而表现更好。我们的代码已公开于https://github.com/walking-shadow/Official_Remote_Sensing_Mamba。