弱监督语义分割的语义提示学习
计算机视觉与模式识别
2025-01-14 v4 计算与语言
机器学习
摘要
弱监督语义分割（WSSS）旨在使用仅具有图像级监督的图像数据训练分割模型。由于无法获得精确的像素级标注，现有方法通常专注于通过细化CAM类热图来生成用于训练分割模型的伪掩码。然而，生成的热图可能只捕获对象类别的判别性图像区域或相关的共现背景。为解决这些问题，我们提出了一个用于WSSS的语义提示学习（SemPLeS）框架，该框架学习有效地提示CLIP潜在空间，以增强分割区域与目标对象类别之间的语义对齐。更具体地说，我们提出了对比提示学习和提示引导的语义细化，以学习充分描述和抑制与每个对象类别相关的共现背景的提示。通过这种方式，SemPLeS可以在对象区域和类别标签之间实现更好的语义对齐，从而为训练分割模型生成所需的伪掩码。所提出的SemPLeS框架在标准WSSS基准测试PASCAL VOC 2012和MS COCO 2014上取得了有竞争力的性能，并显示出与其他WSSS方法的兼容性。代码：https://github.com/NVlabs/SemPLeS。
引用
@article{arxiv.2401.11791,
title = {Semantic Prompt Learning for Weakly-Supervised Semantic Segmentation},
author = {Ci-Siang Lin and Chien-Yi Wang and Yu-Chiang Frank Wang and Min-Hung Chen},
journal= {arXiv preprint arXiv:2401.11791},
year = {2025}
}
备注
WACV 2025. Code: https://github.com/NVlabs/SemPLeS. Project page: https://projectdisr.github.io/semples/