PiCIE：利用聚类中的不变性与等变性进行无监督语义分割
计算机视觉与模式识别
2021-04-01 v1
摘要
我们提出了一种通过聚类实现无标注语义分割的新框架。现有的现成聚类方法局限于经过筛选的、单标签的、以对象为中心的图像，而现实世界数据主要以未筛选的、多标签的、以场景为中心为主。我们将聚类从图像扩展到像素，并为每幅图像中不同实例分配独立的聚类成员身份。然而，仅依赖像素级特征相似性无法学习高层语义概念，并且会过拟合到低层视觉线索。我们提出一种方法，将几何一致性作为归纳偏置，以学习对光度与几何变化的不变性和等变性。借助我们新颖的学习目标，我们的框架能够学习高层语义概念。我们的方法 PiCIE（利用不变性与等变性的像素级特征聚类）是首个无需任何超参数调优或任务特定预处理即可分割 things 和 stuff 类别的方法。我们的方法在 COCO 和 Cityscapes 上大幅优于现有基线，分别提升 +17.5 Acc. 和 +4.5 mIoU。我们展示了 PiCIE 为标准监督训练提供了更好的初始化。代码可在 https://github.com/janghyuncho/PiCIE 获取。
引用
@article{arxiv.2103.17070,
title = {PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering},
author = {Jang Hyun Cho and Utkarsh Mall and Kavita Bala and Bharath Hariharan},
journal= {arXiv preprint arXiv:2103.17070},
year = {2021}
}
备注
CVPR 2021