细察零标签语义分割中的自训练方法
计算机视觉与模式识别
2021-04-26 v1
摘要
在深度学习中，能够分割训练时未观察到的未知类别是一项重要的技术挑战，因为这有助于减少语义分割所需的昂贵标注。先前的零标签语义分割工作通过学习视觉-语义嵌入或生成模型来解决该任务。然而，由于对已知类别没有训练信号，它们容易在已知类别上过拟合。在本文中，我们研究具有挑战性的广义零标签语义分割任务，其中模型在测试时必须同时分割已知和未知类别。我们假设未知类别的像素可能出现在训练图像中但未加标注。我们的思路是通过用未标注像素的自生成伪标签监督模型来捕获关于未知类别的潜在信息。我们提出一种一致性正则化器，通过取同一图像不同增强所生成伪标签的交集来过滤掉噪声伪标签。我们的框架生成伪标签，然后用人工标注和伪标注数据重新训练模型。该过程重复若干次迭代。结果，在具有挑战性的广义零标签语义分割设定下，我们的方法在 PascalVOC12 和 COCO-stuff 数据集上达到了新的 SOTA，超越了其他采用更复杂策略解决该任务的现有方法。
引用
@article{arxiv.2104.11692,
title = {A Closer Look at Self-training for Zero-Label Semantic Segmentation},
author = {Giuseppe Pastore and Fabio Cermelli and Yongqin Xian and Massimiliano Mancini and Zeynep Akata and Barbara Caputo},
journal= {arXiv preprint arXiv:2104.11692},
year = {2021}
}