Galileo：学习多种遥感模态的全局与局部特征
计算机视觉与模式识别
2025-06-05 v3
摘要
我们提出了一种高度多模态变换器，用于表示多种遥感模态——多光谱光学、合成孔径雷达、高程、天气、伪标签等——跨越空间和时间。这些输入对于多样化的遥感任务（如作物制图和洪水检测）非常有用。然而，学习遥感数据的共享表示具有挑战性，原因在于相关数据模态的多样性，以及感兴趣物体在尺度上差异巨大——从小型船只（1-2像素且快速）到冰川（数千像素且缓慢）。我们提出了一种新颖的自监督学习算法，通过掩码建模在灵活的输入模态集合中提取多尺度特征。我们的双重全局与局部对比损失在其目标（深度表示与浅层输入投影）和掩码策略（结构化与非结构化）上有所不同。我们的Galileo是一个单一的通用模型，在十一个基准测试和多个任务上超越了最先进的专用模型，适用于卫星图像和像素时间序列。
引用
@article{arxiv.2502.09356,
title = {Galileo: Learning Global & Local Features of Many Remote Sensing Modalities},
author = {Gabriel Tseng and Anthony Fuller and Marlena Reil and Henry Herzog and Patrick Beukema and Favyen Bastani and James R. Green and Evan Shelhamer and Hannah Kerner and David Rolnick},
journal= {arXiv preprint arXiv:2502.09356},
year = {2025}
}