CLIPN用于零样本分布外检测：教CLIP说“不”
计算机视觉与模式识别
2023-08-25 v2 人工智能
摘要
分布外(OOD)检测是指在分布内(ID)数据集上训练模型，以分类输入图像是否来自未知类别。已有大量工作基于卷积神经网络或Transformer设计各种OOD检测方法。然而，由CLIP驱动的零样本OOD检测方法仅需ID类别名称，受到的关注较少。本文提出一种新方法，即CLIP说“不”(CLIPN)，赋予CLIP说“不”的逻辑。我们的核心动机是使CLIP具备利用正语义提示与否定语义提示区分OOD与ID样本的能力。具体而言，我们设计了一种新颖的可学习no提示与no文本编码器，以捕捉图像中的否定语义。随后，我们引入两种损失函数：图像-文本二元对立损失与文本语义对立损失，用以教导CLIPN将图像与no提示相关联，从而使其能够识别未知样本。此外，我们提出两种无阈值推理算法，通过利用no提示与文本编码器的否定语义来执行OOD检测。在9个基准数据集(3个ID数据集与6个OOD数据集)上的OOD检测实验表明，基于ViT-B-16的CLIPN在ImageNet-1K零样本OOD检测的AUROC与FPR95指标上，分别优于7种常用算法至少2.34%与11.64%。我们的CLIPN可作为在下游OOD任务中有效利用CLIP的坚实基础。代码见https://github.com/xmed-lab/CLIPN。
引用
@article{arxiv.2308.12213,
title = {CLIPN for Zero-Shot OOD Detection: Teaching CLIP to Say No},
author = {Hualiang Wang and Yi Li and Huifeng Yao and Xiaomeng Li},
journal= {arXiv preprint arXiv:2308.12213},
year = {2023}
}
备注
ICCV 2023