用于弱监督语义分割的令牌对比
计算机视觉与模式识别
2023-03-03 v1
摘要
使用图像级标签的弱监督语义分割（WSSS）通常利用类激活图（CAM）生成伪标签。受限于 CNN 的局部结构感知，CAM 通常无法识别完整的目标区域。尽管近期的 Vision Transformer（ViT）可弥补该缺陷，我们观察到它也带来了过平滑问题，即最终块令牌趋于一致。本工作中，我们提出令牌对比（ToCo）以解决此问题并进一步挖掘 ViT 在 WSSS 中的优势。首先，受 ViT 中间层仍能保留语义多样性的观察启发，我们设计了块令牌对比模块（PTC）。PTC 以中间层导出的伪令牌关系监督最终块令牌，使其对齐语义区域从而产生更精确的 CAM。其次，为进一步区分 CAM 中的低置信度区域，受 ViT 中类令牌可捕获高层语义这一事实启发，我们设计了类令牌对比模块（CTC）。CTC 通过对比不确定局部区域与全局目标的类令牌，促进二者间表示一致性。在 PASCAL VOC 和 MS COCO 数据集上的实验表明，所提 ToCo 可显著超越其他单阶段方法，并与最先进的多阶段方法性能相当。代码见 https://github.com/rulixiang/ToCo。
引用
@article{arxiv.2303.01267,
title = {Token Contrast for Weakly-Supervised Semantic Segmentation},
author = {Lixiang Ru and Heliang Zheng and Yibing Zhan and Bo Du},
journal= {arXiv preprint arXiv:2303.01267},
year = {2023}
}
备注
Accepted to CVPR 2023