一种用于结合变分推断与 MCMC 的对比散度
机器学习
2019-05-29 v2 机器学习
摘要
我们开发了一种结合马尔可夫链蒙特卡洛（MCMC）与变分推断（VI）的方法，以利用两种推断途径的优势。具体而言，我们通过运行若干 MCMC 步来改进变分分布。为使推断可行，我们引入变分对比散度（VCD），一种取代 VI 中所用标准 Kullback-Leibler（KL）散度的新散度。VCD 捕捉初始变分分布与其改进版本（运行 MCMC 步后获得）之间的差异性概念，并且它渐近收敛于变分分布与所关注后验之间的对称化 KL 散度。VCD 目标可经由随机优化针对变分参数高效优化。我们通过实验表明，优化 VCD 在两种潜变量模型上带来更好的预测性能：逻辑矩阵分解与变分自编码器（VAEs）。
引用
@article{arxiv.1905.04062,
title = {A Contrastive Divergence for Combining Variational Inference and MCMC},
author = {Francisco J. R. Ruiz and Michalis K. Titsias},
journal= {arXiv preprint arXiv:1905.04062},
year = {2019}
}
备注
International Conference on Machine Learning (ICML 2019). 12 pages, 3 figures