ChangeMamba：基于时空状态空间模型的遥感变化检测
图像与视频处理
2024-12-31 v7 人工智能
计算机视觉与模式识别
摘要
卷积神经网络 (CNN) 和 Transformer 在遥感变化检测 (CD) 领域取得了令人瞩目的进展。然而，这两种架构都有其固有的缺陷：CNN 受限于有限的感受野，可能阻碍其捕获更广泛空间上下文的能力；而 Transformer 的计算复杂度较高，使其在大型数据集上训练和部署的成本高昂。最近，基于状态空间模型的 Mamba 架构在一系列自然语言处理任务中展现出了卓越的性能，能够有效弥补上述两种架构的缺陷。在本文中，我们首次探索了 Mamba 架构在遥感 CD 任务中的潜力。我们分别为二元变化检测 (BCD)、语义变化检测 (SCD) 和建筑损毁评估 (BDA) 定制了相应的框架，分别称为 MambaBCD、MambaSCD 和 MambaBDA。这三个框架均采用前沿的 Visual Mamba 架构作为编码器，能够从输入图像中充分学习全局空间上下文信息。对于这三种架构中都包含的变化解码器，我们提出了三种时空关系建模机制，这些机制能够与 Mamba 架构自然结合，并充分利用其特性实现多时相特征的时空交互，从而获得准确的变化信息。在五个基准数据集上，我们提出的框架在不使用任何复杂训练策略或技巧的情况下，优于当前基于 CNN 和 Transformer 的方法，充分展示了 Mamba 架构在 CD 任务中的潜力。进一步的实验表明，我们的架构对退化数据具有极强的鲁棒性。源代码将在 https://github.com/ChenHongruixuan/MambaCD 公开
引用
@article{arxiv.2404.03425,
title = {ChangeMamba: Remote Sensing Change Detection With Spatiotemporal State Space Model},
author = {Hongruixuan Chen and Jian Song and Chengxi Han and Junshi Xia and Naoto Yokoya},
journal= {arXiv preprint arXiv:2404.03425},
year = {2024}
}
备注
Accepted by IEEE TGRS: https://ieeexplore.ieee.org/document/10565926