中文

像素级域适应:增强弱监督语义分割的新视角

计算机视觉与模式识别 2024-08-06 v1

摘要

近期关注力度不断增加,旨在仅从图像标签中学习语义分割模型,称为图像级别的弱监督语义分割(WSSS)。现有方法采用类别激活图(CAM)作为先验来挖掘物体区域,但观察到激活不平衡问题,即只有最具辨识力的物体部件被定位。本文认为,物体不同部件之间分布的差异性会阻碍模型生成完整精确的伪掩码作为真实标签。为此,我们提出一种像素级域适应(PLDA)方法,以鼓励模型学习像素级域不变特征。具体而言,引入一个多头域分类器,通过对抗性训练与特征提取器协同训练,以促进像素特征在源域(即具辨识力的物体部件)与目标域(即非具辨识力的物体部件)之间的迁移上保持不变。此外,我们提出一种置信伪监督策略,以保证每个像素对分割任务的辨识能力,这作为像素级对抗训练的补充。我们的方法概念简单直观,且可轻松集成到现有的WSSS方法中。以几个强大的基线模型为实例,我们在广泛的设置下实验性地展示了该方法的有效性。

关键词

引用

@article{arxiv.2408.02039,
  title  = {Pixel-Level Domain Adaptation: A New Perspective for Enhancing Weakly Supervised Semantic Segmentation},
  author = {Ye Du and Zehua Fu and Qingjie Liu},
  journal= {arXiv preprint arXiv:2408.02039},
  year   = {2024}
}

备注

15 pages, 9 figures