STC：一种面向弱监督语义分割的从简至繁框架
计算机视觉与模式识别
2016-12-08 v2
摘要
近来，由于深度卷积神经网络（DCNNs）的发展，语义目标分割取得了显著进步。训练此类 DCNN 通常依赖大量带有像素级分割掩码的图像，而这些图像的标注在财力和人力上代价高昂。本文中，我们提出一种从简至繁（STC）框架，其中仅利用图像级标注来学习用于语义分割的 DCNN。具体而言，我们首先使用简单图像（即具有单一主要目标类别和干净背景的图像）的显著性图训练一个名为 Initial-DCNN 的初始分割网络。这些显著性图可通过现有的自底向上显著目标检测技术自动获得，无需监督信息。然后，通过学习一个更好的网络 Enhanced-DCNN，其监督来自基于 Initial-DCNN 的简单图像预测分割掩码以及图像级标注。最后，更复杂的图像（具有两个或更多目标类别和杂乱背景）的更多像素级分割掩码，由 Enhanced-DCNN 和图像级标注推断得到，被用作监督信息来学习用于语义分割的 Powerful-DCNN。我们的方法利用来自 Flickr.com 的 K 简单图像和来自 PASCAL VOC 的 10K 复杂图像逐步提升分割网络。在 PASCAL VOC 2012 分割基准上的大量实验结果很好地证明了所提 STC 框架相对于其他最优方法的优越性。
引用
@article{arxiv.1509.03150,
title = {STC: A Simple to Complex Framework for Weakly-supervised Semantic Segmentation},
author = {Yunchao Wei and Xiaodan Liang and Yunpeng Chen and Xiaohui Shen and Ming-Ming Cheng and Jiashi Feng and Yao Zhao and Shuicheng Yan},
journal= {arXiv preprint arXiv:1509.03150},
year = {2016}
}
备注
To Appear in IEEE Transactions on Pattern Analysis and Machine Intelligence