自注意力机制用于原始光学卫星时间序列分类
机器学习
2020-10-26 v3 图像与视频处理
机器学习
摘要
近年来可用的地球观测数据量急剧增加。高效利用全部本体信息是当前遥感领域的挑战，且需要不依赖区域或问题特定专家知识的轻量级、问题无关模型。端到端训练的深度学习模型可通过仅从数据中一步学习特征提取与分类来利用原始传感数据。然而，遥感研究中提出的许多方法仍需要通过数据预处理进行隐式特征提取或显式设计特征。在本工作中，我们在原始与预处理 Sentinel 2 数据上比较了近期深度学习模型在作物类型分类上的表现。我们聚焦于时间序列的常用神经网络架构，即一维卷积、循环网络、一个浅层随机森林基线，并重点关注新颖的自注意力架构。我们的核心发现是：数据预处理仍为所有模型提升了整体分类性能，而模型选择则不那么关键。自注意力与循环神经网络凭借其架构在原始卫星时间序列上优于卷积神经网络。我们通过基于梯度反向传播的特征重要性分析来探究这一点，该分析利用了深度学习模型的可微性质。此外，我们定性展示了自注意力分数如何选择性聚焦于少数与分类相关的观测。
引用
@article{arxiv.1910.10536,
title = {Self-attention for raw optical Satellite Time Series Classification},
author = {Marc Rußwurm and Marco Körner},
journal= {arXiv preprint arXiv:1910.10536},
year = {2020}
}