语义分割中的广义类别发现
计算机视觉与模式识别
2023-11-21 v1
摘要
本文探讨一种称为语义分割中的广义类别发现(GCDSS)的新设定,旨在利用来自已标注基类的先验知识对未标注图像进行分割。未标注图像包含基类或新类的像素。与语义分割中的新类别发现(NCDSS)不同,GCDSS不要求先验知识强制每个未标注图像中至少存在一个新类。此外,我们将分割范围从前景物体拓宽到整幅图像。现有NCDSS方法依赖上述先验,难以真正应用于现实场景。我们提出一个简洁而有效的框架,将GCDSS挑战重新解读为掩码分类任务。此外,我们构建了一个基线方法,并引入邻域关系引导的掩码聚类算法(NeRG-MaskCA)用于掩码分类,以解决语义表示中的碎片化问题。基于Cityscapes数据集建立了基准数据集Cityscapes-GCD,以评估GCDSS框架。我们的方法证明了GCDSS问题的可行性及在未标注图像中发现和分割新物体类的潜力。我们采用该方法生成的伪标签作为真值来监督其他模型的训练,从而使其具备分割新类的能力。这为广义类别发现的进一步研究铺平了道路,拓宽了语义分割及其应用的视野。详情请访问 https://github.com/JethroPeng/GCDSS
引用
@article{arxiv.2311.11525,
title = {Generalized Category Discovery in Semantic Segmentation},
author = {Zhengyuan Peng and Qijian Tian and Jianqing Xu and Yizhang Jin and Xuequan Lu and Xin Tan and Yuan Xie and Lizhuang Ma},
journal= {arXiv preprint arXiv:2311.11525},
year = {2023}
}