语义分割中的新类发现
计算机视觉与模式识别
2022-03-30 v2
摘要
我们引入语义分割中新类发现（NCDSS）这一新设定，旨在利用来自不相交类别标注集的先验知识，对包含新类的未标注图像进行分割。与现有的图像分类中新类发现方法不同，我们关注更具挑战性的语义分割。在 NCDSS 中，我们需要区分物体与背景，并处理图像内存在多类的情况，这增加了利用未标注数据的难度。为应对此新设定，我们在基础框架中利用标注基类数据和显著性模型对新类进行粗聚类以训练模型。此外，我们提出基于熵的不确定性建模与自训练（EUMS）框架来克服噪声伪标签，进一步提升模型在新类上的性能。我们的 EUMS 利用熵排序技术和动态重分配来提炼干净标签，从而通过自监督学习充分利用噪声数据。我们在 PASCAL-5 数据集和 COCO-20 数据集上构建 NCDSS 基准。大量实验证明了基础框架的可行性（在 PASCAL-5 上取得平均 mIoU 49.81%）以及 EUMS 框架的有效性（在 PASCAL-5 上以 9.28% mIoU 优于基础框架）。
引用
@article{arxiv.2112.01900,
title = {Novel Class Discovery in Semantic Segmentation},
author = {Yuyang Zhao and Zhun Zhong and Nicu Sebe and Gim Hee Lee},
journal= {arXiv preprint arXiv:2112.01900},
year = {2022}
}
备注
CVPR 2022