使用隐式分布的变分推断
机器学习
2017-02-28 v1 机器学习
摘要
生成对抗网络（GANs）为我们提供了一种将隐式生成模型拟合到数据的强大工具。隐式分布是我们可以轻松从中采样，并可求样本关于模型参数导数的分布。这些模型具有高度表达性，我们认为它们在变分推断（VI）中可以证明与在生成建模中一样有用。已有几篇论文提出了类似 GAN 的推断算法，然而，它们与 VI 理论的联系并不总是被很好地理解。本文首先对现有算法进行了统一回顾，建立了变分自编码器、对抗学习推断、算子 VI、基于 GAN 的图像重建等方法之间的联系。其次，本文提供了一个构建新算法的框架：根据变分界的表达方式，我们引入了先验对比和联合对比方法，并展示了基于密度比估计或去噪的实用推断算法。
引用
@article{arxiv.1702.08235,
title = {Variational Inference using Implicit Distributions},
author = {Ferenc Huszár},
journal= {arXiv preprint arXiv:1702.08235},
year = {2017}
}