利用高程数据增强遥感自监督学习:基于稀缺高层语义标签的案例研究
计算机视觉与模式识别
2024-02-21 v3
摘要
本文提出一种无监督与有监督混合的学习方法,用于在仅有少量表示非常笼统语义概念的标签时,预训练应用于地球观测下游任务的模型。我们将对比学习方法与像素级回归前置任务相结合,以预测粗高程图,而此类图在全球范围内通常可获取。我们假设这将使模型预学习到有用的表示,因为在许多遥感任务中高程图与目标之间通常存在一定相关性。我们在源自哥伦比亚西北部数据集的二值语义分割任务和二值图像分类任务上评估了本方法的效果。在两种情况下,我们都使用39k张无标签图像预训练模型,仅用80张有标签图像在下游任务上微调,并用2944张有标签图像评估。实验表明,我们的方法(用于分割的GLCNet+Elevation和用于分类的SimCLR+Elevation)在宏平均F1分数和平均交并比(MIoU)上优于不含像素级回归前置任务的对应方法,即SimCLR和GLCNet。我们的研究不仅鼓励开发利用高程数据等易获取地理信息、在应用于地球观测任务时提升自监督方法性能的预训练方法,也倡导使用具有高层语义标签的数据集,这类数据集更有可能频繁更新。项目代码见链接 https://github.com/omarcastano/Elevation-Aware-SSL。
引用
@article{arxiv.2304.06857,
title = {Enhancing Self-Supervised Learning for Remote Sensing with Elevation Data: A Case Study with Scarce And High Level Semantic Labels},
author = {Omar A. Castaño-Idarraga and Raul Ramos-Pollán and Freddie Kalaitzis},
journal= {arXiv preprint arXiv:2304.06857},
year = {2024}
}