从语义分割迈向实例分割：基于语义知识迁移与自精化的弱监督实例分割
计算机视觉与模式识别
2022-03-30 v3
摘要
弱监督实例分割（WSIS）被认为是一项比弱监督语义分割（WSSS）更具挑战性的任务。与 WSSS 相比，WSIS 需要实例级定位，这难以从图像级标签中提取。为解决该问题，多数 WSIS 方法使用现成的候选框技术，这些技术需用实例或物体级标签预训练，偏离了全图像级监督设定的基本定义。本文提出一种包含两项创新组件的新方法。首先，我们提出语义知识迁移，通过将 WSSS 的知识迁移至 WSIS 来获取伪实例标签，同时摆脱对现成候选框的依赖。其次，我们提出一种自精化方法，以自监督方式精化伪实例标签，并以在线方式使用精化后的标签进行训练。在此，我们发现一种由伪实例标签中缺失实例被归为背景类而引发的错误现象——语义漂移。该语义漂移在训练中造成背景与实例的混淆，进而降低分割性能。我们将此问题称为语义漂移问题，并表明所提自精化方法消除了该问题。在 PASCAL VOC 2012 与 MS COCO 上的大量实验证明了方法的有效性，且我们在无需现成候选框技术的情况下取得了可观性能。代码见 https://github.com/clovaai/BESTIE。
引用
@article{arxiv.2109.09477,
title = {Beyond Semantic to Instance Segmentation: Weakly-Supervised Instance Segmentation via Semantic Knowledge Transfer and Self-Refinement},
author = {Beomyoung Kim and Youngjoon Yoo and Chaeeun Rhee and Junmo Kim},
journal= {arXiv preprint arXiv:2109.09477},
year = {2022}
}
备注
CVPR 2022, Accepted