候选伪标签学习：通过提示调优增强视觉语言模型
机器学习
2024-06-18 v1 人工智能
计算机视觉与模式识别
摘要
最近，越来越多地注意到使用大量无标签数据对视觉语言模型（VLM）进行微调。现有方法依赖伪标签策略，容易在VLM在下游任务中零样本性能较低时产生大量错误的硬伪标签。为缓解这一问题，我们提出了一种候选伪标签学习方法，称为CPL，用于在下游任务中使用合适的候选伪标签对VLM进行微调。我们方法的核心在于候选伪标签的生成策略，通过基于所有无标签数据置信度评分矩阵的 intra- 和 inter-实例标签选择，逐步生成细化的候选伪标签。这种策略可以提高真实标签包含率和类别平衡的实例选择效果。如此一来，我们可以直接应用现有的损失函数来学习所生成的候选伪标签。我们在九个基准数据集上进行了广泛实验，演示了我们方法的有效性。我们的代码可在 https://github.com/vanillaer/CPL-ICML2024 上获取。
引用
@article{arxiv.2406.10502,
title = {Candidate Pseudolabel Learning: Enhancing Vision-Language Models by Prompt Tuning with Unlabeled Data},
author = {Jiahan Zhang and Qi Wei and Feng Liu and Lei Feng},
journal= {arXiv preprint arXiv:2406.10502},
year = {2024}
}
备注
Accepted by ICML2024