GraSS：面向遥感图像语义分割的梯度引导采样策略对比学习
机器学习
2023-11-29 v3 计算机视觉与模式识别
图像与视频处理
摘要
自监督对比学习（SSCL）在遥感图像（RSI）理解方面已取得显著进展。其本质在于设计无监督实例判别前置任务，从大量无标签图像中提取对下游任务有益的图像特征。然而，现有的基于实例判别的SSCL在应用于RSI语义分割任务时存在两个局限：1）正样本混淆问题；2）特征适配偏差。当应用于需要像素级或目标级特征的语义分割任务时，它会引入特征适配偏差。在本研究中，我们观察到判别信息可通过无监督对比损失的梯度映射到RSI中的特定区域，这些特定区域往往包含单一地物。基于此，我们提出面向RSI语义分割的梯度引导采样策略对比学习（GraSS）。GraSS包含两个阶段：实例判别预热（ID warm-up）与梯度引导采样对比训练（GS training）。ID warm-up旨在为对比损失梯度提供初始判别信息。GS training阶段旨在利用对比损失梯度中包含的判别信息，自适应地选择RSI图块中包含更多单一地物的区域，以构造新的正样本与负样本。在三个公开数据集上的实验结果表明，GraSS有效提升了SSCL在高分辨率RSI语义分割中的性能。与来自五类不同SSCL的七种基线方法相比，GraSS在平均交并比上取得了1.57%的平均提升和3.58%的最大提升。源代码见 https://github.com/GeoX-Lab/GraSS
引用
@article{arxiv.2306.15868,
title = {GraSS: Contrastive Learning with Gradient Guided Sampling Strategy for Remote Sensing Image Semantic Segmentation},
author = {Zhaoyang Zhang and Zhen Ren and Chao Tao and Yunsheng Zhang and Chengli Peng and Haifeng Li},
journal= {arXiv preprint arXiv:2306.15868},
year = {2023}
}
备注
14 pages, 10 figures, 4 tables