基于检索增强的提示用于离群检测
计算机视觉与模式识别
2025-08-15 v1 人工智能
摘要
离群分布（OOD）检测对于在野外环境中可靠地部署机器学习模型至关重要，使其能够准确识别与训练数据分布不同的测试样本。现有方法依赖辅助离群样本或训练数据中的内部分布（ID）数据来生成离群信息，但由于离群样本有限且与实际测试 OOD 样本不匹配，往往无法提供足够的语义监督，导致性能不佳。为此，我们提出了一种名为检索增强提示（Retrieval-Augmented Prompt, RAP）的新型 OOD 检测方法。RAP 通过检索外部知识来增强预训练视觉语言模型的提示，为 OOD 检测提供更强的语义监督。在训练期间，RAP 根据与外部文本知识的联合相似性检索离群样本的描述词，并用于增强模型的 OOD 提示。在测试期间，RAP 根据遇到的 OOD 样本动态更新 OOD 提示，使模型能够快速适应测试环境。我们的广泛实验表明，RAP 在大规模 OOD 检测基准测试中实现了领先的性能。例如，在 ImageNet-1k 数据集上进行 1-shot OOD 检测时，RAP 将平均 FPR95 降低 7.05%，将 AUROC 提升 1.71%。此外，全面的数据消融研究验证了每个模块的有效性以及我们方法的背后动机。
引用
@article{arxiv.2508.10556,
title = {Retrieval-Augmented Prompt for OOD Detection},
author = {Ruisong Han and Zongbo Han and Jiahao Zhang and Mingyue Cheng and Changqing Zhang},
journal= {arXiv preprint arXiv:2508.10556},
year = {2025}
}