AdaNeg：基于自适应负样本代理的 OOD 检测方法
计算机视觉与模式识别
2024-10-29 v1 人工智能
机器学习
摘要
最近的研究表明，预训练的视觉语言模型在利用负标签作为指导信息识别样本外 (OOD) 时效果良好。然而，在不同 OOD 数据集中采用一致的负标签常导致语义错位，因为这些文本标签可能不准确反映实际 OOD 图像的空间。为克服此问题，我们引入“自适应负样本代理”，这些代理在测试期间通过探索实际 OOD 图像动态生成，以更贴近底层 OOD 标签空间，从而增强负样本代理的有效性。具体而言，我们的方法利用特征记忆库对测试图像中的判别特征进行选择性缓存，代表目标 OOD 分布。这有助于创建能够更好地与特定 OOD 数据集对齐的代理。虽然任务自适应代理对特征进行平均，以反映每个数据集的独特特征，但样本自适应代理则根据特征与单个测试样本的相似度对特征加权，探索样本层面的细微差异。最终的 OOD 识别得分将静态负标签与我们提出的自适应代理相结合，有效整合文本和视觉知识以提升性能。该方法无需训练、无需标注，同时保持快速的测试速度。在各种基准测试中展开的广泛实验表明，我们的方法（缩写为 AdaNeg）效果显著。值得注意的是，在大规模 ImageNet 基准测试上，我们的 AdaNeg 相较于现有方法，AUROC 提升 2.45%，FPR95 降低 6.48%。代码已公开于 \url{https://github.com/YBZh/OpenOOD-VLM}。
引用
@article{arxiv.2410.20149,
title = {AdaNeg: Adaptive Negative Proxy Guided OOD Detection with Vision-Language Models},
author = {Yabin Zhang and Lei Zhang},
journal= {arXiv preprint arXiv:2410.20149},
year = {2024}
}
备注
NIPS 2024 Camera Ready, Codes are available at \url{https://github.com/YBZh/OpenOOD-VLM}