深度生成模型中分布外输入的似然赋值对先验分布选择敏感
机器学习
2019-11-18 v1 机器学习
摘要
近期工作表明，深度生成模型对分布外输入赋值的似然高于对训练数据的似然。我们指出，导致该现象的一个因素是先验分布的性质与数据分布的性质不匹配，这一问题存在于VAE和Glow等广泛使用的深度生成模型中。虽然先验分布的典型选择是标准高斯分布，但真实数据集分布的性质可能与单峰先验分布不一致。本文关注先验分布的选择与赋给分布外输入的似然之间的关系。我们提出使用混合分布作为先验，以使深度生成模型赋值的似然对分布外输入敏感。此外，我们解释了采用混合分布作为先验的理论优势，并给出了支持我们主张的实验结果。最后，我们证明了混合先验相对于两对真实图像数据集降低了分布外似然：Fashion-MNIST与MNIST，以及CIFAR10与SVHN。
引用
@article{arxiv.1911.06515,
title = {Likelihood Assignment for Out-of-Distribution Inputs in Deep Generative Models is Sensitive to Prior Distribution Choice},
author = {Ryo Kamoi and Kei Kobayashi},
journal= {arXiv preprint arXiv:1911.06515},
year = {2019}
}