USat：面向多传感器卫星图像的统一自监督编码器
计算机视觉与模式识别
2023-12-06 v1 人工智能
机器学习
图像与视频处理
应用统计
摘要
大规模自监督视觉模型在自动解释自然图像方面取得了重大进展。近期的研究开始将这些方法应用于遥感数据，遥感数据具有丰富的结构，包含多传感器、多光谱和时序信息，提供了可用于自监督预训练的海量自标注数据。在本工作中，我们开发了一种名为 USat 的新型编码器架构，它可以输入来自多个传感器的多光谱数据进行自监督预训练。USat 是一种视觉 Transformer，具有修改的分块投影层和位置编码，以建模来自多个传感器的具有不同空间尺度的光谱波段。我们将 USat 集成到 Masked Autoencoder (MAE) 自监督预训练流程中，发现预训练的 USat 在多个遥感基准数据集上优于在遥感数据上训练的最先进的自监督 MAE 模型（高达 8%），并在低数据量场景下带来提升（高达 7%）。代码和预训练权重可在 https://github.com/stanfordmlgroup/USat 获取。
引用
@article{arxiv.2312.02199,
title = {USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite Imagery},
author = {Jeremy Irvin and Lucas Tao and Joanne Zhou and Yuntao Ma and Langston Nashold and Benjamin Liu and Andrew Y. Ng},
journal= {arXiv preprint arXiv:2312.02199},
year = {2023}
}