通过分布与特征层级理解深度可逆网络的异常检测

在 CIFAR10 等自然图像数据集上通过最大似然训练的深度生成网络，常常会对来自包含不同对象的数据集（如 SVHN）的图像赋予高似然值。我们细化了先前关于可逆生成网络在异常检测上这一失效现象的探究，并将其清晰地解释为模型偏差与域先验的共同作用：卷积网络在任何自然图像数据集上训练时都会学习到相似的低级特征分布，而这些低级特征主导了似然值。因此，当内点与离群点之间的判别性特征位于高级层面（例如对象形状）时，异常检测变得尤为困难。为消除模型偏差与域先验对检测高级差异的负面影响，我们提出两种方法：其一，使用两个相同模型的对数似然比，一个在内分布数据（如 CIFAR10）上训练，另一个在更通用的图像分布（如 8000 万 Tiny Images）上训练；我们还推导了一种针对内分布网络在更通用分布样本上的新颖离群损失，以进一步提升性能。其二，使用如 Glow 这样的多尺度模型，我们表明低级特征主要在早期尺度被捕获，因此仅使用最终尺度的似然贡献，就能极好地检测离群分布与内分布间的高级特征差异。若无法获得合适的通用分布，此方法尤为有用。总体而言，我们的方法在无监督设定下取得了强劲的异常检测性能，且在有监督设定下仅略逊于最先进的基于分类器的方法。代码见 https://github.com/boschresearch/hierarchical_anomaly_detection。