Segment Anything Model (SAM) 增强的伪标签用于弱监督语义分割
计算机视觉与模式识别
2023-11-07 v4 人工智能
机器学习
摘要
弱监督语义分割(WSSS)旨在仅使用图像级标注来规避繁琐的像素级标注需求。大多数现有方法依赖类激活图(CAM)推导像素级伪标签,并用其训练全监督语义分割模型。尽管这些伪标签具有类感知性,指示了特定类的粗略区域,但它们不具备对象感知性,且无法勾画出准确的对象边界。为此,我们引入了一种简单而有效的方法,利用 Segment Anything Model (SAM)——一个能够生成对象、部件和子部件细粒度实例掩码的类无关基础模型。我们使用 CAM 伪标签作为线索来筛选和组合 SAM 掩码,从而得到兼具类感知与对象感知的高质量伪标签。我们的方法具有高度通用性,可在不做任何修改的情况下轻松集成到现有 WSSS 方法中。尽管简单,我们的方法在 PASCAL VOC 和 MS-COCO 数据集上均比最先进的 WSSS 方法展现出一致的提升。
引用
@article{arxiv.2305.05803,
title = {Segment Anything Model (SAM) Enhanced Pseudo Labels for Weakly Supervised Semantic Segmentation},
author = {Tianle Chen and Zheda Mai and Ruiwen Li and Wei-lun Chao},
journal= {arXiv preprint arXiv:2305.05803},
year = {2023}
}
备注
Tianle Chen and Zheda Mai contributed equally to this work. Accepted to NeurIPS2023 ICBINB Workshop Our code is available at \url{https://github.com/cskyl/SAM_WSSS}