基于动态数据精选的地球观测高效自监督学习
计算机视觉与模式识别
2025-04-29 v2 人工智能
摘要
自监督学习(SSL)已使地球观测(EO)的视觉基础模型得以实现，表现出强大的跨异构遥感任务的可迁移性。虽然先前工作聚焦于网络架构和训练策略，但数据精选的作用——尤其是在平衡和多样化预训练数据集方面——仍未得到充分探索。在EO领域，这一挑战因卫星影像中常见的冗余性和重尾分布而被放大，可能导致偏差表示和低效训练。本文提出一种动态数据修剪策略，用于改进SSL预训练，通过最大化数据集的多样性和平衡性。该方法在无需预置特征提取器的情况下迭代细化训练集，特别适合数据集有限或不可用的领域。我们在跨越10年的Sentinel-1波模式(SAR)合成孔径雷达档案中进行演示，这是一个以海洋观测为主的具有挑战性的数据集。在三个下游任务上，我们的结果表明，动态修剪在提高计算效率和表示质量方面均显著有效，进而提升可迁移性。我们也发布了OceanSAR-1的模型权重，这是首个来自OceanSAR系列的模型，该系列是为利用SAR影像进行海洋观测和分析而构建的基础模型，发布地址为github.com/galeio-research/OceanSAR-models/。
引用
@article{arxiv.2504.06962,
title = {Efficient Self-Supervised Learning for Earth Observation via Dynamic Dataset Curation},
author = {Thomas Kerdreux and Alexandre Tuel and Quentin Febvre and Alexis Mouche and Bertrand Chapron},
journal= {arXiv preprint arXiv:2504.06962},
year = {2025}
}
备注
Accepted at CVPR Workshop : The First Workshop on Foundation and Large Vision Models in Remote Sensing