使用不成熟模型的异常检测

基于似然的深度生成模型（DGMs）因能够逼近高维数据分布而受到广泛关注。然而，这些模型在为输入分配更高的似然值方面缺乏性能保证，即与训练所得的分布输入（in-distribution, ID）相较于异常分布输入（out-of-distribution, OOD）的处理能力。当 ID 输入比 OOD 数据点更复杂时，这种反直觉的行为尤为突出。一个潜在的解决方法是利用数据点相对于 DGMs 参数的梯度。最近的一个异常检测框架提出估计给定数据点各层梯度范数联合密度作为一种模型无关的方法，显示出优于基于似然的 DGMs 和图像数据集对组合的典型性检验（Typicality Test）的优势。特别是，大多数现有方法都假设访问完全收敛的模型，而模型训练既耗时又昂贵。本文我们证明，使用在训练早期阶段停止的不成熟模型，能够在这一下游任务上实现与成熟模型相当乃至更好的结果，而后者能够生成与 ID 数据逼近的高质量样本。我们通过支持重叠的概念，为这种反直觉的行为提供了一种可能的解释。