面向语义分割的全自监督学习
计算机视觉与模式识别
2022-02-25 v1
摘要
在本工作中，我们提出了一个用于语义分割的全自监督框架(FS^4)。一种用于语义分割的全自举策略可节省大量标注工作，对于从端到端构建开放世界领域的定制模型至关重要。该应用在现实场景中迫切需求。尽管近期自监督语义分割方法已取得很大进展，但这些工作严重依赖全监督预训练模型，使全自监督流程无法实现。为解决此问题，我们提出了一种用于语义分割的自举训练方案，通过提出的PGG策略与CAE模块充分利用全局语义知识进行自监督。具体而言，我们执行像素聚类与分配以用于分割监督。为防止其聚成一团乱麻，我们提出1)金字塔-全局引导(PGG)训练策略，以金字塔图像/块级伪标签监督学习，这些伪标签由无监督特征分组生成。稳定的全局与金字塔语义伪标签可防止分割学习过多杂乱区域或退化为单一背景区域；2)此外，我们提出上下文感知嵌入(CAE)模块，以非平凡方式依据在空间与外观上均相近的邻域生成全局特征嵌入。我们在大规模COCO-Stuff数据集上评估了方法，在things与stuff对象上均取得了7.19 mIoU提升。
引用
@article{arxiv.2202.11981,
title = {Fully Self-Supervised Learning for Semantic Segmentation},
author = {Yuan Wang and Wei Zhuo and Yucong Li and Zhi Wang and Qi Ju and Wenwu Zhu},
journal= {arXiv preprint arXiv:2202.11981},
year = {2022}
}