使用SAM和CLIP生成零样伪标签用于半监督语义分割
计算机视觉与模式识别
2025-05-30 v2
摘要
语义分割是医学图像分析和自动驾驶中的基础任务，其训练所需的高成本标注标签是问题所在。为此，提出了基于少量标注数据进行的半监督学习方法。例如，有一种方法是使用带标注标签和伪标签的图像训练语义分割模型。该方法中，语义分割模型的准确性取决于伪标签的质量，而伪标签的质量又取决于待训练模型的性能以及标注标签数据的数量。本文使用Segment Anything Model (SAM)和Contrastive Language-Image Pretraining (CLIP)的零样标注生成伪标签，通过统一双流扰动方法(UniMatch)提高伪标签的准确性，并将其作为增强标签用于训练语义分割模型。通过在PASCAL和MS COCO等公开数据集上的实验表明我们方法的有效性。项目网页可访问于：https://gsisaoki.github.io/ZERO-SHOT-PLG/。
引用
@article{arxiv.2505.19846,
title = {Zero-Shot Pseudo Labels Generation Using SAM and CLIP for Semi-Supervised Semantic Segmentation},
author = {Nagito Saito and Shintaro Ito and Koichi Ito and Takafumi Aoki},
journal= {arXiv preprint arXiv:2505.19846},
year = {2025}
}
备注
Accepted to ICIP 2025