基于卫星图像时间序列的 SITSMamba 作物分类

卫星图像时间序列 (SITS) 数据提供了持续的观察，使我们能够在整个季节和年份中跟踪植被变化和生长模式。最近涌现出诸多深度学习 (DL) 方法利用 SITS 进行作物分类，其中最新方法采用 Transformer 进行 SITS 分类。然而，Transformer 中自注意力的二次复杂度在对长时间序列进行分类方面造成了挑战。虽然最新 Mamba 架构在各个领域展现了力量，包括遥感图像解释，但其在 SITS 数据中学习时序表示的能力尚未探索。此外，现有的 SITS 分类方法通常仅依赖作物标签作为监督信号，未能充分利用时序信息。在本文中，我们提出了一种基于遥感时间序列数据的卫星图像时间序列 Mamba (SITSMamba) 方法，用于作物分类。 proposed SITSMamba 包含基于卷积神经网络 (CNN) 的空间编码器和基于 Mamba 的时序编码器。为充分利用 SITS 中的更丰富的时序信息，我们设计了两个解码器分支用于不同任务。第一个分支是作物分类分支 (CBranch)，包括 ConvBlock 用于解码特征生成作物图。第二个分支是 SITS 重建分支，使用线性层将编码特征转换为预测原始输入值的功能。此外，我们为 RBranch 设计了位置权重 (PW)，帮助模型从 SITS 中学习丰富的潜在知识。我们还设计了两个权衡因子，以控制训练期间两个分支的平衡。SITSMamba 的代码已公开：https://github.com/XiaoleiQinn/SITSMamba。