用于遥感时间序列的轻量级预训练 Transformer
计算机视觉与模式识别
2024-02-06 v4 人工智能
摘要
针对卫星数据的机器学习方法具有一系列社会相关应用，但用于训练模型的标签可能很难甚至无法获取。在标记数据有限的环境中，自监督是一种自然的解决方案，但当前的卫星数据自监督模型未能利用该数据的特征，包括时间维度（这对于许多应用至关重要，例如监测作物生长）以及来自许多互补传感器的数据可用性（这可以显著提高模型的预测性能）。我们提出了 Presto（预训练遥感 Transformer），这是一种在遥感像素时间序列数据上预训练的模型。通过专门为遥感数据设计 Presto，我们可以创建一个显著更小但性能良好的模型。Presto 在各种全球分布的遥感任务中表现出色，并且在与大得多的模型竞争时表现优异，同时所需的计算量要少得多。Presto 可用于迁移学习，或作为简单模型的特征提取器，从而实现大规模的高效部署。
关键词
引用
@article{arxiv.2304.14065,
title = {Lightweight, Pre-trained Transformers for Remote Sensing Timeseries},
author = {Gabriel Tseng and Ruben Cartuyvels and Ivan Zvonkov and Mirali Purohit and David Rolnick and Hannah Kerner},
journal= {arXiv preprint arXiv:2304.14065},
year = {2024}
}