多视图遥感数据自适应融合用于最优子田块作物产量预测
计算机视觉与模式识别
2024-12-13 v1 人工智能
机器学习
摘要
准确的作物产量预测对于农业中的明智决策至关重要，有助于农民和行业利益相关者。然而，这项任务十分复杂，取决于环境条件、土壤特性和管理实践等多种因素。融合异质性数据视图构成了挑战，例如识别特定视图对预测任务的贡献。我们提出了一种新颖的多视图学习方法，用于预测不同作物（大豆、小麦、油菜籽）和不同地区（阿根廷、乌拉圭和德国）的作物产量。我们的多视图输入数据包括来自 Sentinel-2 卫星的多光谱光学图像和作物生长季期间的天气数据作为动态特征，并辅以土壤特性和地形信息等静态特征。为了有效融合数据，我们引入了一种多视图门控融合 (MVGF) 模型，包含专用的视图编码器和门控单元 (GU) 模块。视图编码器通过学习特定视图的表示来处理具有不同时间分辨率的数据源的异质性。这些表示通过加权求和进行自适应融合。融合权重由 GU 利用视图表示的拼接为每个样本计算得出。MVGF 模型在子田块级别使用 10 米分辨率像素进行训练。我们的评估表明，MVGF 在同一任务上优于传统模型，通过整合所有数据源取得了最佳结果，这与文献中常见的融合结果不同。对于阿根廷，MVGF 模型在子田块产量预测中实现了 0.68 的 R2 值，而在田块级别评估（比较田块平均值）中，其在不同国家均达到约 0.80。GU 模块根据国家和作物类型学习了不同的权重，这与各数据源对预测任务的可变重要性相一致。
引用
@article{arxiv.2401.11844,
title = {Adaptive Fusion of Multi-view Remote Sensing data for Optimal Sub-field Crop Yield Prediction},
author = {Francisco Mena and Deepak Pathak and Hiba Najjar and Cristhian Sanchez and Patrick Helber and Benjamin Bischke and Peter Habelitz and Miro Miranda and Jayanth Siddamsetty and Marlon Nuske and Marcela Charfuelan and Diego Arenas and Michaela Vollmer and Andreas Dengel},
journal= {arXiv preprint arXiv:2401.11844},
year = {2024}
}