Stan 中的自动变分推断
机器学习
2015-06-15 v2
摘要
变分推断是一种用于近似贝叶斯推断的可扩展技术。推导变分推断算法需要繁琐的模型特定计算；这使得难以自动化。我们提出一种自动变分推断算法，自动微分变分推断（ADVI）。用户仅需提供一个贝叶斯模型和数据集；此外无其他要求。我们不做共轭假设，并支持广泛类别的模型。该算法自动确定合适的变分族并优化变分目标。我们在 Stan（概率编程框架，代码现已可用）中实现了 ADVI。我们在分层广义线性模型、非共轭矩阵分解以及混合模型上将 ADVI 与 MCMC 采样进行比较。我们在二十五万张图像上训练了该混合模型。借助 ADVI，我们可以对用 Stan 编写的任何模型使用变分推断。
引用
@article{arxiv.1506.03431,
title = {Automatic Variational Inference in Stan},
author = {Alp Kucukelbir and Rajesh Ranganath and Andrew Gelman and David M. Blei},
journal= {arXiv preprint arXiv:1506.03431},
year = {2015}
}