CMAViT：融合气候、管理与遥感数据的作物产量多模型视觉转换器
计算机视觉与模式识别
2024-11-27 v1 机器学习
摘要
作物产量预测是农业规划的关键，但因天气、气候与管理实践之间的复杂相互作用，仍面临挑战。为此，我们引入一种基于深度学习的多模型方法——气候-管理感知视觉转换器（Climate-Management Aware Vision Transformer, CMAViT），用于像素级葡萄园产量预测。CMAViT通过利用遥感影像和短期气象数据，整合空间与时间数据，捕捉生长季节变化的影响。此外，采用跨注意力编码器将以文本形式表示的管理实践纳入模型，模拟其与时间序列数据的相互作用。该创新性多模态转换器在覆盖2016-2019年、涵盖2200公顷、8种葡萄品种（超过500万株葡萄藤）的大规模数据集上进行测试，超越传统模型如UNet-ConvLSTM，在空间变异性捕捉与产量预测方面表现尤佳，尤其在葡萄园极端值预测中。CMAViT在未见测试数据集上实现R2为0.84，MAPE为8.22%。屏蔽特定模态会降低性能：排除管理实践、气候数据或两者，R2分别降至0.73、0.70、0.72，MAPE分别升至11.92%、12.66%、12.39%，凸显各模态对精确产量预测的重要性。代码已公开于 https://github.com/plant-ai-biophysics-lab/CMAViT。
引用
@article{arxiv.2411.16989,
title = {CMAViT: Integrating Climate, Managment, and Remote Sensing Data for Crop Yield Estimation with Multimodel Vision Transformers},
author = {Hamid Kamangir and Brent. S. Sams and Nick Dokoozlian and Luis Sanchez and J. Mason. Earles},
journal= {arXiv preprint arXiv:2411.16989},
year = {2024}
}