卫星图像上的自监督预训练优于 ImageNet 吗？基于 Sentinel-2 的系统性研究
计算机视觉与模式识别
2025-02-18 v1
摘要
自监督学习（SSL）在利用有限标签数据预训练鲁棒模型方面展现了巨大潜力，使其对遥感（RS）任务尤为宝贵。一个普遍的假设是，在领域对齐数据上进行预训练能为下游任务带来最大收益，特别是与 ImageNet 预训练（INP）相比。在这项工作中，我们通过收集 GeoNet（一个包含全球光学 Sentinel-2 图像的大型多样化数据集），并在 GeoNet 和 ImageNet 上对 SwAV 和 MAE 进行预训练，以验证这一假设。在少样本设置下对六个下游任务评估这些模型后发现，在 RS 数据上进行 SSL 预训练相较于 INP 仅提供了适度的性能提升，且在多种场景下仍具竞争力。这表明，在 RS 数据上进行 SSL 预训练的预期收益可能被夸大了，数据整理与预训练的额外成本可能是不合理的。
引用
@article{arxiv.2502.10669,
title = {Is Self-Supervised Pre-training on Satellite Imagery Better than ImageNet? A Systematic Study with Sentinel-2},
author = {Saad Lahrichi and Zion Sheng and Shufan Xia and Kyle Bradbury and Jordan Malof},
journal= {arXiv preprint arXiv:2502.10669},
year = {2025}
}