面向地理空间植被预测的多模态学习

精准地理空间植被预测的创新应用在农业、林业、人道主义援助和碳核算等多个领域具有巨大潜力。为利用海量卫星影像完成此任务，已有多种工作应用深度神经网络以真实感质量预测多光谱图像。然而，植被动力学这一重要领域尚未被深入探索。我们的研究开创先河，引入 GreenEarthNet——首个专为高分辨率植被预测设计的数据集，以及 Contextformer——一种从 Sentinel 2 卫星影像预测欧洲精细分辨率植被绿度的新颖深度学习方法。我们的多模态 transformer 模型 Contextformer 通过视觉骨干网利用空间上下文，并在局部上下文块上预测时间动力学，以参数高效方式融入气象时间序列。GreenEarthNet 数据集具有学习到的云掩膜和适用于植被建模的评估方案，并与现有卫星影像预测数据集 EarthNet2021 兼容，支持跨数据集模型比较。我们广泛的定性与定量分析显示，我们的方法优于广泛基线技术，包括在 EarthNet2021 上超越先前最先进模型，以及来自时间序列预测和视频预测的适配模型。据我们所知，本工作提出了首个精细分辨率大陆尺度植被建模模型，能捕捉季节周期之外的异常，从而为预测植被健康和在气候变率与极端事件下的表现铺平道路。