LoCoOp：基于提示学习的少样本分布外检测
计算机视觉与模式识别
2023-10-26 v3
摘要
我们提出了一种用于少样本分布外(OOD)检测的视觉-语言提示学习新方法。少样本OOD检测旨在仅使用少量带标签的分布内(ID)图像，检测训练时未见类别的OOD图像。虽然CoOp等提示学习方法在少样本ID分类中已展现出有效性与高效性，但由于文本嵌入中可能存在与ID无关的信息，它们在OOD检测中仍面临局限。为解决此问题，我们引入了一种称为局部正则化上下文优化(Local regularized Context Optimization, LoCoOp)的新方法，其在训练期间利用CLIP局部特征的部分作为OOD特征进行OOD正则化。CLIP的局部特征含有大量与ID无关的干扰（如背景），通过学习将其推离ID类文本嵌入，我们可去除ID类文本嵌入中的干扰并增强ID与OOD的分离。在大规模ImageNet OOD检测基准上的实验证明了我们的LoCoOp优于零样本、全监督检测方法和提示学习方法。值得注意的是，即使在单样本设定下——每类仅一个标签，LoCoOp也优于现有的零样本和全监督检测方法。代码将通过https://github.com/AtsuMiyai/LoCoOp提供。
引用
@article{arxiv.2306.01293,
title = {LoCoOp: Few-Shot Out-of-Distribution Detection via Prompt Learning},
author = {Atsuyuki Miyai and Qing Yu and Go Irie and Kiyoharu Aizawa},
journal= {arXiv preprint arXiv:2306.01293},
year = {2023}
}
备注
Accepted at NeurIPS 2023