CLIP驱动的离群样本合成用于少样本分布外检测
计算机视觉与模式识别
2024-04-02 v1 机器学习
摘要
少样本分布外（OOD）检测旨在识别训练中未见类别的分布外图像，仅使用少量标记的分布内（ID）图像。目前，主流策略基于大规模视觉-语言模型，如CLIP。然而，这些方法忽略了一个关键问题：缺乏可靠的OOD监督信息，这可能导致分布内（ID）和OOD之间的边界有偏。为了解决这个问题，我们提出了CLIP驱动的离群样本合成（CLIP-OS）。首先，CLIP-OS通过新提出的补丁均匀卷积增强了补丁级特征的感知，并通过使用CLIP-surgery-discrepancy自适应地获取ID相关信息比例，从而实现了ID相关与ID无关的分离。接下来，CLIP-OS通过混合来自不同类别的ID相关特征来合成可靠的OOD数据，以提供OOD监督信息。然后，CLIP-OS通过未知感知提示学习利用合成的OOD样本，以增强ID和OOD的可分离性。在多个基准上的大量实验表明，CLIP-OS具有优越的少样本OOD检测能力。
引用
@article{arxiv.2404.00323,
title = {CLIP-driven Outliers Synthesis for few-shot OOD detection},
author = {Hao Sun and Rundong He and Zhongyi Han and Zhicong Lin and Yongshun Gong and Yilong Yin},
journal= {arXiv preprint arXiv:2404.00323},
year = {2024}
}
备注
9 pages,5 figures