马尔可夫链蒙特卡洛与变分推断：弥合差距
统计计算
2015-05-20 v4 机器学习
摘要
随机梯度变分推断的最新进展使得利用包含辅助随机变量的后验近似进行变分贝叶斯推断成为可能。这使我们能够探索变分推断与蒙特卡洛方法的新综合，即在变分近似中纳入一步或多步马尔可夫链蒙特卡洛 (MCMC)。通过这样做，我们获得了一类丰富的推断算法，弥合了变分方法与 MCMC 之间的差距，并兼具两者之长：通过最大化显式目标函数实现快速后验近似，同时可以选择以增加计算量为代价换取更高的精度。我们描述了使这一成为可能的理论基础，并展示了一些有希望的初步结果。
引用
@article{arxiv.1410.6460,
title = {Markov Chain Monte Carlo and Variational Inference: Bridging the Gap},
author = {Tim Salimans and Diederik P. Kingma and Max Welling},
journal= {arXiv preprint arXiv:1410.6460},
year = {2015}
}