WV-Net：面向 SAR 波浪模式卫星影像的基座模型，基于 1000 万影像的对比自监督学习
机器学习
2024-06-28 v1 人工智能
计算机视觉与模式识别
摘要
欧洲航天局（ESA）的 Copernicus Sentinel-1（S-1）任务由 C 波段合成孔径雷达（SAR）卫星组成，为监测世界海洋提供了前所未有的能力。S-1 的波浪模式（WV）以 5m 像素分辨率捕获 20×20 km 大小的影像 patch，且不受云层或时间影响。该任务的开放数据政策使 SAR 数据易于获取，便于 various 应用，但对图像的手动标注仍是制约机器学习方法应用的瓶颈。本研究使用近 1000 万张 WV 模式影像，结合对比自监督学习方法训练一种称为 WV-Net 的语义嵌入模型。在多个下游任务中，WV-Net 对比使用有监督学习在自然图像（ImageNet）上预训练的同类模型表现更佳。实验表明，在估计波高（线性探针下 RMSE 从 0.60 降至 0.50）、估计近海面空气温度（RMSE 从 0.97 降至 0.90）以及执行多标签地物与大气现象分类（微平均 AUROC 从 0.95 提升至 0.96）方面均有显著改进。WV-Net 的嵌入表示在无监督图像检索任务中也表现优异，并且在数据稀疏环境下的扩展性更好。综上所述，这些结果表明 WV-Net 的嵌入表示可以支持地球物理学研究，为各种数据分析和探索任务提供便利的基座模型。
引用
@article{arxiv.2406.18765,
title = {WV-Net: A foundation model for SAR WV-mode satellite imagery trained using contrastive self-supervised learning on 10 million images},
author = {Yannik Glaser and Justin E. Stopa and Linnea M. Wolniewicz and Ralph Foster and Doug Vandemark and Alexis Mouche and Bertrand Chapron and Peter Sadowski},
journal= {arXiv preprint arXiv:2406.18765},
year = {2024}
}
备注
20 pages, 9 figures, submitted to NeurIPS 2024