面向遥感任务的多模态对比学习
计算机视觉与模式识别
2022-09-07 v1 机器学习
摘要
自监督方法在计算机视觉领域已取得巨大成功，包括遥感与医学影像中的应用。大多数流行的基于对比损失的方法（如 SimCLR、MoCo、MoCo-v2）通过对同一图像施加人为设计的增强来生成多视图，从而构造正样本对，并与负样本进行对比。尽管这些技术表现良好，但其中大多数都是在 ImageNet（及类似的计算机视觉数据集）上调优的。虽然已有一些尝试在正样本中捕捉更丰富的形变集合，本文中我们探索了一种在对比学习框架下为遥感数据生成正样本的颇具前景的替代方案。在同一地点、相近时间戳由不同传感器捕获的图像可被视为同一场景的强增强实例，从而免去了探索和调优一组手工设计的强增强的必要性。本文提出一种简单的双编码器框架，其在约 100 万对的 Sentinel-1 与 Sentinel-2 图像对的大规模无标签数据集上进行了预训练。我们在两个遥感下游任务上测试了所得嵌入：洪水分割与土地覆盖制图，并经验性地表明，从该技法学得的嵌入优于通过激进数据增强收集正样本的传统方法。
引用
@article{arxiv.2209.02329,
title = {Multimodal contrastive learning for remote sensing tasks},
author = {Umangi Jain and Alex Wilson and Varun Gulshan},
journal= {arXiv preprint arXiv:2209.02329},
year = {2022}
}