半摊销变分自编码器
机器学习
2018-07-25 v7 计算与语言
机器学习
摘要
摊销变分推断(AVI)以全局推断网络取代实例特定的局部推断。尽管 AVI 已实现对变分自编码器(VAE)等深度生成模型的高效训练,但近期实证研究表明,推断网络可能产生次优的变分参数。我们提出一种混合方法,利用 AVI 初始化变分参数,并运行随机变分推断(SVI)对其进行精化。关键在于,局部 SVI 过程本身可微,因此推断网络与生成模型可通过基于梯度的优化进行端到端训练。这种半摊销方法使得在使用丰富生成模型时,不会出现如文本生成等任务中训练 VAE 常见的后验坍缩现象。实验表明,该方法在标准文本与图像数据集上优于强大的自回归与变分基线。
引用
@article{arxiv.1802.02550,
title = {Semi-Amortized Variational Autoencoders},
author = {Yoon Kim and Sam Wiseman and Andrew C. Miller and David Sontag and Alexander M. Rush},
journal= {arXiv preprint arXiv:1802.02550},
year = {2018}
}
备注
ICML 2018