基于预训练模型 CLIP 的零样本分布外检测
计算机视觉与模式识别
2023-02-06 v3 机器学习
摘要
在分布外（OOD）检测问题中，使用已知类别（也称为分布内类别）的样本来训练一个特殊的分类器。在测试时，该分类器能够（1）将已知类别的测试样本分类到各自类别，并且（2）检测不属于任何已知类别的样本（即它们属于某些未知或 OOD 类别）。本文研究零样本分布外（OOD）检测问题，该问题在测试时仍执行相同的两项任务，但除使用给定的已知类别名称外不进行训练。本文提出一种新颖而简单的方法（称为 ZOC）来解决该问题。ZOC 建立在近期通过多模态表示学习实现零样本分类的进展之上。它首先在预训练的语言-视觉模型 CLIP 之上训练一个基于文本的图像描述生成器来扩展 CLIP。在测试时，它使用扩展模型为每个测试样本生成候选未知类别名称，并基于已知类别名称和候选未知类别名称计算置信度分数，用于零样本 OOD 检测。在 5 个 OOD 检测基准数据集上的实验结果表明，ZOC 大幅优于基线方法。
引用
@article{arxiv.2109.02748,
title = {Zero-Shot Out-of-Distribution Detection Based on the Pre-trained Model CLIP},
author = {Sepideh Esmaeilpour and Bing Liu and Eric Robertson and Lei Shu},
journal= {arXiv preprint arXiv:2109.02748},
year = {2023}
}