利用辅助任务与亲和度学习进行弱监督语义分割
计算机视觉与模式识别
2021-07-28 v2
摘要
在缺乏密集标注数据时，语义分割是一项具有挑战性的任务。仅依赖带有图像级标签的类激活图（CAM）提供不足的分割监督。因此，先前工作考虑使用预训练模型生成粗粒度显著性图以引导伪分割标签的生成。然而，常用的离线启发式生成过程无法充分利用这些粗粒度显著性图的优势。受显著的任务间相关性启发，我们提出一种新颖的弱监督多任务框架，称为AuxSegNet，利用显著性检测和多标签图像分类作为辅助任务，在仅使用图像级真值标签的情况下改进语义分割主任务。受它们相似的结构化语义启发，我们还提出从显著性和分割表征中学习跨任务全局像素级亲和度图。学习到的跨任务亲和度可用于细化显著性预测并将CAM图传播以为两个任务提供改进的伪标签。伪标签更新与跨任务亲和度学习之间的相互提升实现了分割性能的迭代改进。大量实验证明了所提辅助学习网络结构与跨任务亲和度学习方法的有效性。所提方法在具有挑战性的PASCAL VOC 2012和MS COCO基准上取得了最先进的弱监督分割性能。
引用
@article{arxiv.2107.11787,
title = {Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation},
author = {Lian Xu and Wanli Ouyang and Mohammed Bennamoun and Farid Boussaid and Ferdous Sohel and Dan Xu},
journal= {arXiv preprint arXiv:2107.11787},
year = {2021}
}
备注
Accepted at ICCV 2021