通过分层融合卫星、轮作与上下文数据提升作物分类性能
计算机视觉与模式识别
2023-11-09 v3 图像与视频处理
摘要
准确的生长季内作物类型分类对于农作物产量估算与农业地块监测至关重要。然而，植物生长模式的复杂性及其时空变异性带来了重大挑战。尽管当前基于深度学习的方法在基于单模态和多模态时间序列的作物类型分类中展现出前景，但大多数现有方法依赖单一模态，例如卫星光学遥感数据或作物轮作模式。我们提出一种新方法，将多模态信息融合入模型，以提升跨多年份与跨国家的精度与鲁棒性。该方法依赖所使用的三种模态：来自 Sentinel-2 和 Landsat 8 观测的遥感时间序列、地块作物轮作与局部作物分布。为评估我们的方法，我们发布了一个包含法国与荷兰 740 万个农业地块的新标注数据集。我们将每个地块与地表反射率（红和近红外）及生物物理变量（LAI、FAPAR）的时间序列相关联。此外，我们提出一种新方法，将作物类型自动聚合为分层类别结构以进行有意义的模型评估，以及一种用于生长季早期分类的新数据增强技术。多模态方法的性能在语义域中从 151 到 8 种作物类型或组的不同聚合层级上进行了评估。其精度在 NL 数据集上为 91% 至 95%，在 FR 数据集上为 85% 至 89%。在一个数据集上的预训练改善了国家间的域适应，实现了跨域零样本学习，以及在从法国到荷兰的少样本设定下性能的鲁棒性。我们提出的方法通过使学习方法能够利用常被忽视的地块时空上下文而优于可比方法，从而提升了精……
引用
@article{arxiv.2305.12011,
title = {Boosting Crop Classification by Hierarchically Fusing Satellite, Rotational, and Contextual Data},
author = {Valentin Barriere and Martin Claverie and Maja Schneider and Guido Lemoine and Raphaël d'Andrimont},
journal= {arXiv preprint arXiv:2305.12011},
year = {2023}
}
备注
submitted to Remote Sensing of Environment, special issue Deep Learning for Time Series. Version 2