用缓冲随机变分推断训练变分自编码器
机器学习
2019-02-28 v1 机器学习
摘要
在变分自编码器（VAEs）等深度隐变量模型中的识别网络依赖于摊销推断来实现可扩展到大型数据集的高效后验近似。然而，该技术也被证明会选择次优变分参数，常导致称为摊销间隙的显著额外误差。为缩小摊销间隙并改进生成模型的训练，近期工作引入了额外的精炼步骤，应用随机变分推断（SVI）来改进由摊销推断模型返回的变分参数。本文提出缓冲随机变分推断（BSVI），一种新精炼过程，它利用 SVI 的一系列中间变分提议分布及其对应重要性权重，构造一个新的广义重要性加权下界。我们通过实验证明，用 BSVI 训练变分自编码器一致优于 SVI，为 VAEs 提供了改进的训练过程。
引用
@article{arxiv.1902.10294,
title = {Training Variational Autoencoders with Buffered Stochastic Variational Inference},
author = {Rui Shu and Hung H. Bui and Jay Whang and Stefano Ermon},
journal= {arXiv preprint arXiv:1902.10294},
year = {2019}
}
备注
AISTATS 2019