似然性OOD检测悖论的几何解释
机器学习
2024-06-13 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
基于似然性的深度生成模型（DGMs）通常表现出一种令人困惑的行为：当在相对复杂的数据集上训练时，它们会为来自更简单源的分布外（OOD）数据分配更高的似然值。更令人费解的是，尽管具有更高的似然值，这些DGM从未生成OOD样本。这种双管齐下的悖论尚未得到确切解释，使得基于似然性的OOD检测不可靠。我们的主要观察是，如果高似然区域包含极少的概率质量，则它们不会被生成。我们展示了这种大密度与低概率质量看似矛盾的现象如何发生在局限于低维流形的数据周围。我们还表明，可以通过局部内蕴维度（LID）估计来识别这种情况，并提出了一种将预训练DGM获得的似然值和LID估计相结合的OOD检测方法。我们的方法可应用于归一化流和基于分数的扩散模型，并在使用相同DGM骨干网络的情况下，取得了匹配或超越SOTA OOD检测基准的结果。代码可在 https://github.com/layer6ai-labs/dgm_ood_detection 获取。
引用
@article{arxiv.2403.18910,
title = {A Geometric Explanation of the Likelihood OOD Detection Paradox},
author = {Hamidreza Kamkari and Brendan Leigh Ross and Jesse C. Cresswell and Anthony L. Caterini and Rahul G. Krishnan and Gabriel Loaiza-Ganem},
journal= {arXiv preprint arXiv:2403.18910},
year = {2024}
}
备注
ICML 2024