面向少样本分布外检测的ID类提示学习
计算机视觉与模式识别
2024-03-25 v3 人工智能
机器学习
摘要
分布外(OOD)检测方法通常利用辅助离群点来训练模型以识别OOD样本,尤其是从辅助离群点数据集中发掘具有挑战性的离群点以提升OOD检测性能。然而,它们在有效区分与分布内(ID)数据极为相似的最具挑战性的OOD样本(即\idlike样本)时仍可能存在局限。为此,我们提出了一种新颖的OOD检测框架,利用CLIP \cite{DBLP:conf/icml/RadfordKHRGASAM21}从ID样本的邻域空间中发掘\idlike离群点,从而有助于识别这些最具挑战性的OOD样本。随后,我们提出了一种提示学习框架,利用已识别的\idlike离群点进一步发挥CLIP在OOD检测中的能力。得益于强大的CLIP,我们仅需少量ID样本即可学习模型的提示,而无需暴露其他辅助离群点数据集。通过聚焦于最具挑战性的\idlike OOD样本并优雅地利用CLIP的能力,我们的方法在多个真实世界图像数据集上取得了优异的少样本学习性能(例如,在ImageNet-1k数据集上的4-shot OOD检测中,与最先进的方法相比,我们的方法将平均FPR95降低了12.16%,并将平均AUROC提升了2.76%)。代码见https://github.com/ycfate/ID-like。
引用
@article{arxiv.2311.15243,
title = {ID-like Prompt Learning for Few-Shot Out-of-Distribution Detection},
author = {Yichen Bai and Zongbo Han and Changqing Zhang and Bing Cao and Xiaoheng Jiang and Qinghua Hu},
journal= {arXiv preprint arXiv:2311.15243},
year = {2024}
}