基于多模态时间注意力模型的卫星时间序列作物制图

光学与雷达卫星时间序列具有协同性：光学图像包含丰富的光谱信息，而C波段雷达捕获有用的几何信息且不受云层覆盖影响。受近期基于时间注意力的方法在多种作物制图任务中成功的启发，我们提出研究如何调整这些模型以在多种模态上运行。我们实现并评估了多种融合方案，包括一种新颖的方法和针对训练过程的简单调整，以极小的额外复杂度显著提升了性能与效率。我们表明大多数融合方案各有优劣，使其适用于特定场景。随后我们在多项任务上评估了多模态的益处：地块分类、基于像素的分割以及全景地块分割。我们证明，通过利用光学与雷达时间序列，基于多模态时间注意力的模型在性能与对云层覆盖的鲁棒性方面均优于单模态模型。为开展这些实验，我们用空间对齐的雷达图像时间序列扩充了PASTIS数据集。所得数据集PASTIS-R构成了首个具有语义与实例标注的大规模、多模态、开放获取的卫星时间序列数据集。