利用隐藏正样本进行无监督语义分割
计算机视觉与模式识别
2023-03-28 v1
摘要
对标注像素级标注人力的巨大需求引发了无监督语义分割的诞生。尽管近期采用视觉 Transformer（ViT）主干网络的工作表现出色，但仍缺乏对特定任务训练指导和局部语义一致性的考量。为了解决这些问题，我们通过挖掘隐藏正样本来利用对比学习，以学习丰富的语义关系并确保局部区域的语义一致性。具体而言，我们首先基于分别由固定预训练主干网络和训练中的分割头定义的特征相似性，为每个锚点发现两类全局隐藏正样本：任务无关正样本和任务特定正样本。后者贡献的逐渐增加引导模型捕获特定任务的语义特征。此外，我们引入了一种梯度传播策略来学习相邻图像块之间的语义一致性，其内在前提是相邻图像块极有可能具有相同的语义。具体而言，我们按照预定义的相似度分数比例，将损失传播至局部隐藏正样本（即语义相似的相邻图像块）。借助这些训练方案，我们提出的方法在 COCO-stuff、Cityscapes 和 Potsdam-3 数据集上取得了新的最先进（SOTA）结果。我们的代码可在以下网址获取：https://github.com/hynnsk/HP。
引用
@article{arxiv.2303.15014,
title = {Leveraging Hidden Positives for Unsupervised Semantic Segmentation},
author = {Hyun Seok Seong and WonJun Moon and SuBeen Lee and Jae-Pil Heo},
journal= {arXiv preprint arXiv:2303.15014},
year = {2023}
}
备注
Accepted to CVPR 2023