FALSE：面向高分辨率遥感图像语义分割的假阴性样本感知对比学习
计算机视觉与模式识别
2023-02-08 v1
摘要
现有的遥感图像（RSI）语义分割自监督对比学习（SSCL）基于构建正样本对与负样本对。然而，由于 RSI 地物的丰富性与 RSI 上下文语义的复杂性，同一 RSI 块存在正负样本共存与不均衡，导致 SSCL 在将负样本推远的同时也将正样本推远，反之亦然。我们称此为题样本混淆问题（SCI）。为解决该问题，我们提出一种假阴性样本感知对比学习模型（FALSE）用于高分辨率 RSI 的语义分割。由于 SSCL 预训练是无监督的，缺乏可定义的假阴性样本（FNS）判定准则导致理论不可判定，我们设计两步来实现 FNS 的近似判定：FNS 粗判定与 FNS 精确校准。我们通过 FNS 自判定（FNSD）策略实现 FNS 粗判定，并通过 FNS 置信度校准（FNCC）损失函数实现 FNS 校准。在三个 RSI 语义分割数据集上的实验结果表明，与代表三类不同 SSCL 模型的当前三种模型相比，FALSE 有效提升了下游 RSI 语义分割任务的精度。在 ISPRS Potsdam 数据集上平均交并比提升 0.7；在 CVPR DGLC 数据集上平均提升 12.28；在湘潭数据集上平均提升 1.17。这表明 SSCL 模型具有自我区分 FNS 的能力，且 FALSE 有效缓解了自监督对比学习中的 SCI。源代码见 https://github.com/GeoX-Lab/FALSE。
引用
@article{arxiv.2211.07928,
title = {False: False Negative Samples Aware Contrastive Learning for Semantic Segmentation of High-Resolution Remote Sensing Image},
author = {Zhaoyang Zhang and Xuying Wang and Xiaoming Mei and Chao Tao and Haifeng Li},
journal= {arXiv preprint arXiv:2211.07928},
year = {2023}
}
备注
5 Pages, 3 Figures, 5 tables