论深度生成模型的统一
机器学习
2018-07-12 v5 机器学习
摘要
深度生成模型近年来取得了令人瞩目的成功。生成对抗网络（GANs）和变分自编码器（VAEs）作为生成模型学习的新兴家族，在很大程度上被视为两种不同的范式，并分别得到了广泛的独立研究。本文旨在通过对它们的新表述，建立 GANs 和 VAEs 之间的形式化联系。我们将 GANs 中的样本生成解释为执行后验推断，并证明 GANs 和 VAEs 分别涉及最小化各自后验分布与推断分布之间方向相反的 KL 散度，分别扩展了经典 wake-sleep 算法的两个学习阶段。这种统一的观点为分析各种现有模型变体提供了有力工具，并能够以原则性的方式跨研究方向迁移技术。例如，我们应用 VAE 文献中的重要性加权方法来改进 GAN 学习，并通过利用生成样本的对抗机制来增强 VAE。实验证明了所迁移技术的通用性和有效性。
引用
@article{arxiv.1706.00550,
title = {On Unifying Deep Generative Models},
author = {Zhiting Hu and Zichao Yang and Ruslan Salakhutdinov and Eric P. Xing},
journal= {arXiv preprint arXiv:1706.00550},
year = {2018}
}
备注
Polished and extended content over the ICLR conference version: https://openreview.net/pdf?id=rylSzl-R-