挖掘跨图像语义用于弱监督语义分割
计算机视觉与模式识别
2020-07-09 v2 机器学习
图像与视频处理
摘要
本文研究仅从图像级监督学习语义分割的问题。当前流行的解决方案利用分类器的目标定位图作为监督信号，难以使定位图捕获更完整的目标内容。与以往主要关注图像内信息的努力不同，我们探讨了跨图像语义关系对于全面目标模式挖掘的价值。为此，在分类器中引入两个神经协同注意力，互补地捕获跨图像语义相似性与差异性。具体而言，给定一对训练图像，一个协同注意力迫使分类器从协同注意力目标中识别共同语义，而另一个称为对比协同注意力的机制驱动分类器从其余非共同目标中辨识非共享语义。这有助于分类器发现更多目标模式并更好地将语义定位到图像区域。除增强目标模式学习外，协同注意力还可利用来自其他相关图像的上下文来改进定位图推断，从而最终有益于语义分割学习。更本质地，我们的算法提供了一个统一框架，能良好处理不同的弱监督语义分割（WSSS）设定，即：（1）仅使用精确图像级监督，（2）额外简单单标签数据，以及（3）额外噪声网络数据来学习 WSSS。它在所有这些设定上均刷新了最优性能，充分展示了其有效性与泛化能力。此外，我们的方法在 CVPR2020 从 imperfect 数据学习挑战赛的弱监督语义分割赛道中排名第一。
引用
@article{arxiv.2007.01947,
title = {Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation},
author = {Guolei Sun and Wenguan Wang and Jifeng Dai and Luc Van Gool},
journal= {arXiv preprint arXiv:2007.01947},
year = {2020}
}
备注
Full version of ECCV2020 Oral, CVPR2020 LID workshop Best Paper and LID challenge Track1 winner; website: https://github.com/GuoleiSun/MCIS_wsss