面向高分辨率遥感图像语义分割的全局与局部对比自监督学习
计算机视觉与模式识别
2022-02-01 v2
摘要
语义分割的监督学习需要大量标注样本，而在遥感领域难以获取。自监督学习(SSL)可通过用大量无标注图像预训练通用模型，然后在仅有极少标注样本的下游任务上微调来解决此类问题。对比学习是 SSL 的一种典型方法，可学习通用不变特征。然而，大多数现有对比学习方法为分类任务设计以获得图像级表示，对于需要像素级判别的语义分割任务可能并非最优。因此，我们提出一种全局风格与局部匹配对比学习网络(GLCNet)用于遥感图像语义分割。具体而言，1) 全局风格对比学习模块用于更好地学习图像级表示，因为我们认为风格特征能更好地表征整体图像特征。2) 设计局部特征匹配对比学习模块以学习局部区域表示，有利于语义分割。实验结果表明，我们的方法在大多数情况下优于 SOTA 自监督方法与 ImageNet 预训练方法。具体地，在原始数据集 1% 标注下，相较现有基线我们的方法在 ISPRS Potsdam 数据集上使 Kappa 提升 6%。此外，当上游任务与下游任务的数据集存在一定差异时，我们的方法优于监督学习方法。由于 SSL 可直接从遥感领域易获取的无标注数据中学习数据本质特征，这可能对全球制图等任务具有重要意义。源代码见 https://github.com/GeoX-Lab/G-RSIM。
引用
@article{arxiv.2106.10605,
title = {Global and Local Contrastive Self-Supervised Learning for Semantic Segmentation of HR Remote Sensing Images},
author = {Haifeng Li and Yi Li and Guo Zhang and Ruoyun Liu and Haozhe Huang and Qing Zhu and Chao Tao},
journal= {arXiv preprint arXiv:2106.10605},
year = {2022}
}
备注
14 pages, 13 figures, 4 tables