利用类别峰值响应的弱监督实例分割
计算机视觉与模式识别
2018-04-04 v1
摘要
使用图像级标签代替昂贵的像素级掩码的弱监督实例分割仍未被探索。在本文中，我们通过利用类别峰值响应使分类网络能够进行实例掩码提取，从而解决这一具挑战性的问题。仅在图像标签监督下，以全卷积方式工作的 CNN 分类器可以生成类别响应图，这些图指定了每个图像位置处的分类置信度。我们观察到，类别响应图中的局部极大值（即峰值）通常对应于每个实例内部存在的强视觉线索。受此启发，我们首先设计了一个过程，以促使峰值从类别响应图中出现。然后将出现的峰值进行反向传播，并有效地映射到每个对象实例的高信息量区域，例如实例边界。我们将上述由类别峰值响应生成的图称为峰值响应图。PRM 提供了精细的实例级表示，使得即使使用一些现成的方法也能提取实例掩码。据我们所知，我们首次报告了这一具挑战性的图像级监督实例分割任务的结果。大量实验表明，我们的方法还提升了弱监督逐点定位以及语义分割的性能，并在包括 PASCAL VOC 2012 和 MS COCO 在内的流行基准上报告了 SOTA 结果。
引用
@article{arxiv.1804.00880,
title = {Weakly Supervised Instance Segmentation using Class Peak Response},
author = {Yanzhao Zhou and Yi Zhu and Qixiang Ye and Qiang Qiu and Jianbin Jiao},
journal= {arXiv preprint arXiv:1804.00880},
year = {2018}
}
备注
Accepted in CVPR 2018 (Spotlight)