融合多光谱卫星时间序列与农户轮作及局部作物分布的多模态作物类型分类
计算机视觉与模式识别
2022-08-24 v1 计算与语言
摘要
准确、详细且及时的作物类型制图对机构制定更符合民众需求的精准政策而言是非常有价值的信息。在过去十年中，可用数据量急剧增加，无论是来自遥感（使用哥白尼 Sentinel-2 数据）还是直接来自农户（提供多年原位作物信息及轮作信息）。然而，大多数研究仅限于使用单一模态（遥感数据或轮作数据），从未将地球观测数据与作物轮作等领域知识相融合。此外，在使用地球观测数据时，它们主要局限于一年的数据，未考虑过往年份。在此背景下，我们提出利用三种数据类型解决土地利用与作物类型分类任务，采用分层深度学习算法将作物轮作建模为语言模型、将卫星信号建模为语音信号，并将作物分布用作额外的上下文向量。与经典方法相比，我们取得了非常有前景的显著性能提升：在 28 类设定下准确率提升 5.1 个百分点（.948），在 10 类设定下微-F1 提升 9.6 个百分点（.887），且仅使用由专家选定的一组关注作物。我们最终提出了一种数据增强技术，使模型能在季节结束前对作物进行分类，该技术在多模态设定下表现异常良好。
引用
@article{arxiv.2208.10838,
title = {Multimodal Crop Type Classification Fusing Multi-Spectral Satellite Time Series with Farmers Crop Rotations and Local Crop Distribution},
author = {Valentin Barriere and Martin Claverie},
journal= {arXiv preprint arXiv:2208.10838},
year = {2022}
}
备注
accepted to CECEO22@IJCAI