以变分自编码器为摊销采样器学习基于能量的模型
机器学习
2021-12-28 v2 机器学习
摘要
由于配分函数难解，通过最大似然训练基于能量的模型 (EBM) 需要马尔可夫链蒙特卡洛 (MCMC) 采样来近似数据与模型分布之间 Kullback-Leibler 散度的梯度。然而，由于模式间混合的困难，从 EBM 采样并非易事。在本文中，我们提出学习一个变分自编码器 (VAE) 来初始化有限步 MCMC，例如由能量函数导出的 Langevin 动力学，以实现 EBM 的高效摊销采样。利用这些摊销 MCMC 样本，EBM 可通过最大似然训练，遵循“分析 by synthesis”方案；而 VAE 通过这些 MCMC 样本经变分贝叶斯学习。我们称此联合训练算法为变分 MCMC 教学，其中 VAE 追逐 EBM 朝向数据分布。我们将该学习算法解释为信息几何背景下的动态交替投影。我们提出的模型能生成可与 GAN 和 EBM 相比的样本。此外，我们展示了我们的模型能学习面向监督条件学习任务的有效概率分布。
引用
@article{arxiv.2012.14936,
title = {Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler},
author = {Jianwen Xie and Zilong Zheng and Ping Li},
journal= {arXiv preprint arXiv:2012.14936},
year = {2021}
}