SemFormer：用于弱监督语义分割的语义引导激活 Transformer
计算机视觉与模式识别
2022-10-27 v1
摘要
近期主流的弱监督语义分割（WSSS）方法主要基于由 CNN（卷积神经网络）图像分类器生成的类激活图（CAM）。在本文中，我们提出了一种用于 WSSS 的基于 Transformer 的新颖框架，命名为语义引导激活 Transformer（SemFormer）。我们设计了一个基于 Transformer 的类感知自编码器（CAAE），以提取输入图像的类别嵌入并学习数据集中所有类别的类语义。随后，类别嵌入与学习到的类语义被用于通过四种损失引导激活图的生成，即类前景、类背景、激活抑制和激活互补损失。实验结果表明，我们的 SemFormer 在 PASCAL VOC 2012 数据集上实现了 \textbf{74.3}\% 的 mIoU，并以大幅优势超越了近期许多主流 WSSS 方法。代码将发布于 \url{https://github.com/JLChen-C/SemFormer}。
引用
@article{arxiv.2210.14618,
title = {SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation},
author = {Junliang Chen and Xiaodong Zhao and Cheng Luo and Linlin Shen},
journal= {arXiv preprint arXiv:2210.14618},
year = {2022}
}