重新审视测试时似然：似然路径原理及其在OOD检测中的应用
机器学习
2024-01-11 v1 机器学习
摘要
尽管似然在理论上颇具吸引力，但深度生成模型（DGM）对其的估计在实践中常常失效，并在分布外（OOD）检测中表现不佳。近期许多工作开始考虑替代性评分并取得了更好的性能。然而，这些方法并未提供可证明的保证，也不清楚它们的选择是否提取了充分的信息。我们试图通过对变分自编码器（VAE）进行案例研究来改变这一现状。首先，我们引入似然路径（LPath）原理，对似然原理进行推广。这将信息性汇总统计量的搜索范围缩小至VAE条件似然的最小充分统计量。其次，通过引入近乎本质支撑集、本质距离和共Lipschitz性等新的理论工具，我们为最小充分统计量的某种提炼获得了非渐近可证明的OOD检测保证。相应的LPath算法展示了最先进的性能，即使使用似然估计较差的简单小型VAE也是如此。据我们所知，这是首个可证明的无监督OOD方法，并取得了优异的实证结果，优于任何其他基于VAE的技术。我们使用了与文献\cite{xiao2020likelihood}相同的模型，该模型开源自：https://github.com/XavierXiao/Likelihood-Regret
引用
@article{arxiv.2401.04933,
title = {Rethinking Test-time Likelihood: The Likelihood Path Principle and Its Application to OOD Detection},
author = {Sicong Huang and Jiawei He and Kry Yik Chau Lui},
journal= {arXiv preprint arXiv:2401.04933},
year = {2024}
}