面向弱监督语义分割的自适应补丁对比
计算机视觉与模式识别
2024-11-28 v2
摘要
仅使用图像级标签进行的弱监督语义分割因其成本效益日益受到关注。典型框架涉及将图像级标签作为训练数据，用于生成带有细化的像素级伪标签。最近基于Vision Transformer（ViT）的方法在生成可靠伪标签方面表现优越，尤其在识别完整物体区域方面，相较于CNN 方法。然而，当前基于ViT的方法在使用补丁嵌入方面存在局限，容易被某些异常补丁主导；且许多多阶段方法在训练期间耗时且冗长，缺乏效率。因此，本文提出一种新的基于ViT的WSSS方法，称为自适应补丁对比（APC），显著增强补丁嵌入学习以提高分割效果。APC利用自适应K 池化（AKP）层解决以往最大池化选择方法的局限。此外，我们提出补丁对比学习（PCL）以增强补丁嵌入，从而进一步提高最终结果。我们改进现有的多阶段训练框架，消除CAM，使之转化为端到端的单阶段训练方法，从而提升训练效率。实验结果表明，我们的方法在PASCAL VOC 2012和MS COCO 2014数据集上以更短的训练时长 outperform other state-of-the-art WSSS methods。
引用
@article{arxiv.2407.10649,
title = {Adaptive Patch Contrast for Weakly Supervised Semantic Segmentation},
author = {Wangyu Wu and Tianhong Dai and Zhenhong Chen and Xiaowei Huang and Jimin Xiao and Fei Ma and Renrong Ouyang},
journal= {arXiv preprint arXiv:2407.10649},
year = {2024}
}
备注
Accepted by the EAAI Journal