深度生成模型反击！在分布外数据未达预期背景下增进理解与评价
机器学习
2019-11-13 v1 机器学习
摘要
深度生成模型与密度模型的进展已展现出对低维空间中复杂概率密度函数的强大建模能力。此外，将此类模型应用于高维图像数据以建模概率密度函数时表现出较差的泛化性，分布外(OoD)数据被分配了等于或高于样本内数据的似然值。为此提出的应对方法偏离了完全无监督的思路，需要大型集成或关于数据的额外知识，而这些在现实世界中通常难以获取。本文通过实证挑战了先前针对这些问题给出的解释，并表明诸如MNIST fashion/digits与CIFAR10/SVHN等数据集是可平凡分离的，且其各自数据流形无重叠，这解释了更高的OoD似然。研究表明，掩码自回归流与块神经自回归流所受OoD似然问题的影响远小于GLOW、PixelCNN++和real NVP。本文还探索了一条新途径：在建模前通过正交单位特征向量基将基变换至同维新空间。在测试数据集与模型中，这有助于压低对比性OoD数据集的相对似然并改善判别结果。原空间密度的重要性得以保持，同时可逆性仍可控。最后，受上一代生成模型——概率主成分分析——的启发，本文在同一数据集上重新审视该方法，表明其相较于pixelCNN++、GLOW和real NVP能以更低复杂度与更快训练，在完全无监督方式下基于似然很好判别异常。此外，使用PCA的降维被证明可改善生成模型中的异常检测。
引用
@article{arxiv.1911.04699,
title = {Deep Generative Models Strike Back! Improving Understanding and Evaluation in Light of Unmet Expectations for OoD Data},
author = {John Just and Sambuddha Ghosal},
journal= {arXiv preprint arXiv:1911.04699},
year = {2019}
}