去偏负样本挖掘改进预训练视觉-语言模型的分布外检测

分布外（OOD）检测旨在识别来自未知类别的意外输入，已成为增强机器学习模型可靠性的关键方法。本文聚焦于利用预训练视觉-语言模型（VLM）进行事后 OOD 检测这一新兴范式，其中一种流行的流程是通过检查输入在 ID 标签与负标签（即语义上与 ID 标签不同的标签）之间的亲和性来检测 OOD 输入。由于目标 OOD 标签不可用，现有工作主要依赖启发式规则从未标注的开放语料数据中挖掘负标签。尽管取得了一定的经验成功，我们 argue VLM 驱动的 OOD 检测的能力尚未被完全释放，因为臭名昭著的假负样本问题在文献中远未得到解决。基于此动机，我们致力于解决为 OOD 评分挖掘真负样本标签的挑战。为此，我们开发了一个理论框架，通过间接近似负标签的分布来纠正负标签的采样偏差。令人惊讶的是，我们证明了去偏负样本挖掘可以自然地转化为基于 ID 标签和未标注开放语料数据的蒙特卡洛采样。大量实验从经验上表明，我们的方法在多种 OOD 检测设置中确立了新的 SOTA。代码公开于 \href{https://github.com/60pen9/Debiased-Negative-Mining-Improves-OOD-Detection-with-Pre-trained-VLMs}{\textcolor{red}{此处}}。