负标签引导的预训练视觉语言模型OOD检测
计算机视觉与模式识别
2024-04-01 v1 机器学习
摘要
分布外（OOD）检测旨在识别来自未知类别的样本，在防止模型对意外输入产生错误的可信模型中起着关键作用。大量研究致力于探索视觉模态中的OOD检测。视觉语言模型（VLM）可以利用文本和视觉信息进行各种多模态应用，但很少有OOD检测方法考虑文本模态的信息。本文提出了一种新颖的事后OOD检测方法，称为NegLabel，该方法利用来自大规模语料库的大量负标签。我们设计了一种新颖的与负标签协作的OOD分数方案。理论分析有助于理解负标签的机制。大量实验表明，我们的NegLabel方法在各种OOD检测基准上达到了最先进的性能，并在多种VLM架构上具有良好的泛化能力。此外，我们的NegLabel方法对不同的领域偏移表现出显著的鲁棒性。代码可在https://github.com/tmlr-group/NegLabel获取。
引用
@article{arxiv.2403.20078,
title = {Negative Label Guided OOD Detection with Pretrained Vision-Language Models},
author = {Xue Jiang and Feng Liu and Zhen Fang and Hong Chen and Tongliang Liu and Feng Zheng and Bo Han},
journal= {arXiv preprint arXiv:2403.20078},
year = {2024}
}
备注
ICLR 2024 Spotlight