MMST-ViT：基于多模态时空视觉变换器的气候变化感知作物产量预测
计算机视觉与模式识别
2023-09-20 v2
摘要
精确的作物产量预测为农业规划与决策过程提供有价值的信息。然而，由于作物生长对生长季天气变化和气候变化敏感，及时预测作物产量仍然具有挑战性。在本工作中，我们开发了一种基于深度学习的解决方案，即多模态时空视觉变换器（MMST-ViT），用于预测美国县级的作物产量，同时考虑生长季短期气象变化和长期气候变化对作物的影响。具体而言，我们的 MMST-ViT 由多模态变换器、空间变换器和时间变换器组成。多模态变换器利用视觉遥感数据和短期气象数据建模生长季天气变化对作物生长的影响。空间变换器学习县之间的高分辨率空间依赖关系以进行精准农业追踪。时间变换器捕获长程时间依赖以学习长期气候变化对作物的影响。同时，我们还设计了一种新颖的多模态对比学习技术，以在无需大量人工监督的情况下预训练我们的模型。因此，我们的 MMST-ViT 通过利用卫星图像和气象数据，捕获了短期天气变化和长期气候变化对作物的双重影响。我们在美国超过 200 个县上进行了大量实验，实验结果表明我们的 MMST-ViT 在三个相关性能指标下优于同类方法。
引用
@article{arxiv.2309.09067,
title = {MMST-ViT: Climate Change-aware Crop Yield Prediction via Multi-Modal Spatial-Temporal Vision Transformer},
author = {Fudong Lin and Summer Crawford and Kaleb Guillot and Yihe Zhang and Yan Chen and Xu Yuan and Li Chen and Shelby Williams and Robert Minvielle and Xiangming Xiao and Drew Gholson and Nicolas Ashwell and Tri Setiyono and Brenda Tubana and Lu Peng and Magdy Bayoumi and Nian-Feng Tzeng},
journal= {arXiv preprint arXiv:2309.09067},
year = {2023}
}