针对弱监督语义分割最大化同义语义的探索
计算机视觉与模式识别
2021-10-11 v1 人工智能
摘要
随着图像数据量的增加与相应标签的缺失，弱监督学习近期在计算机视觉任务中备受关注，尤其在细粒度语义分割问题中。为减轻逐像素标注所需的人力，我们的方法聚焦于利用更易获取的图像级标签进行弱监督语义分割（WSSS）。由于像素级分割与图像级标签之间存在巨大鸿沟，如何将图像级语义信息反映到每个像素上是一个重要问题。为最大程度探索同一类别中的同义语义区域，我们基于来自不同图像、含相同类标签的自检测图像块构建了块级图神经网络（P-GNN）。图像块能尽可能框定目标物体并包含尽可能少的背景。以图像块为节点建立的图网络可最大化相似物体间的互学习。我们将图像块的嵌入向量视为节点，并使用基于 transformer 的互补学习模块依据不同节点间的嵌入相似度构建加权边。此外，为更好地补充语义信息，我们提出了与整体网络结构相匹配的软互补损失函数。我们在流行的 PASCAL VOC 2012 基准上进行了实验，我们的模型取得了最先进的性能。
引用
@article{arxiv.2110.03982,
title = {Maximize the Exploration of Congeneric Semantics for Weakly Supervised Semantic Segmentation},
author = {Ke Zhang and Sihong Chen and Qi Ju and Yong Jiang and Yucong Li and Xin He},
journal= {arXiv preprint arXiv:2110.03982},
year = {2021}
}