变分推断中的分布匹配
机器学习
2019-06-12 v4 机器学习
摘要
随着生成模型日益广泛的部署，人们越来越需要深入理解其行为与局限。在本文中，我们揭示了变分自编码器（VAE）的局限性：它们始终无法学习潜空间和可见空间中的边际分布。我们表明这是通过匹配条件分布进行学习以及显式模型与后验分布局限性的后果。将生成对抗网络（GAN）视为克服这些局限的手段并由此产生 VAE 与 GAN 的混合模型已成流行趋势。我们对若干 VAE-GAN 混合模型进行了大规模评估，并分析了类概率估计对于学习分布的含义。尽管有前景，我们得出结论：目前 VAE-GAN 混合模型的适用性有限：与 VAE 相比，它们更难扩展、评估和用于推断；并且它们在生成质量上并未超越 GAN。
引用
@article{arxiv.1802.06847,
title = {Distribution Matching in Variational Inference},
author = {Mihaela Rosca and Balaji Lakshminarayanan and Shakir Mohamed},
journal= {arXiv preprint arXiv:1802.06847},
year = {2019}
}