基于对比对数分数的视觉语言提示学习近分布外检测
计算机视觉与模式识别
2026-04-14 v2
摘要
提示学习已成为微调视觉语言模型（如CLIP）的一种高效且有效的方法。虽然许多研究探讨了这些模型在少样本分类任务中的泛化能力，少数研究解决了模型的远分布外（OOD）问题，但它们在近分布外检测方面的潜力仍未得到充分探索。现有方法要么需要从头训练，要么需要微调，要么并非为视觉语言提示学习而设计。为解决这一问题，我们引入了对比对数分数（CLS），一种新颖的事后即插即用评分函数。CLS显著改善了预训练视觉语言提示学习方法的近分布外检测性能，且无需修改模型架构或重新训练。我们的方法在近分布外检测的AUROC上实现了高达11.67%的提升，且计算开销极小。大量评估验证了我们方法的有效性、效率和泛化能力。我们的代码可在https://github.com/davidmcjung/near-OOD-prompt-learning获取。
引用
@article{arxiv.2405.16091,
title = {Near OOD Detection for Vision-Language Prompt Learning with Contrastive Logit Score},
author = {Myong Chol Jung and Joanna Dipnall and Belinda Gabbe and He Zhao},
journal= {arXiv preprint arXiv:2405.16091},
year = {2026}
}
备注
Published at International Journal of Computer Vision (IJCV)