解耦合：通过分解与表示处理弱监督语义分割中的共现问题
计算机视觉与模式识别
2024-03-22 v3
摘要
基于图像级标签的弱监督语义分割旨在实现无需稠密标注的分割任务。然而，由于共现对象的频繁耦合以及图像级标签的有限监督，挑战性的共现问题广泛存在，导致对象错误激活。在本工作中，我们设计了一个“Separate and Conquer”方案 SeCo，通过图像空间和特征空间两个维度来解决此问题。在图像空间，我们提出通过对图像分解来“分离”共现对象，通过将图像划分为小块来实现。重要的是，我们为每个小块分配来自类别激活图 (CAMs) 的类别标签，这有助于消除共语境偏见并引导后续表示。在特征空间中，我们通过增强语义表示来“征服”错误激活，利用多尺度知识对比来实现。为此，我们设计了一个双老师单学生架构，实施标签引导的对比，确保知识的正确性并进一步促进共语境之间的差异。我们将多阶段 WSSS 流程端到端地整合，而无需外部监督。进行了大量实验，验证了该方法的有效性，并在 PASCAL VOC 和 MS COCO 上显示出优于以往单阶段甚至多阶段竞争方法的优势。代码可在 https://github.com/zwyang6/SeCo.git 获取。
引用
@article{arxiv.2402.18467,
title = {Separate and Conquer: Decoupling Co-occurrence via Decomposition and Representation for Weakly Supervised Semantic Segmentation},
author = {Zhiwei Yang and Kexue Fu and Minghong Duan and Linhao Qu and Shuo Wang and Zhijian Song},
journal= {arXiv preprint arXiv:2402.18467},
year = {2024}
}
备注
Accepted by CVPR 2024