黑盒变分推断
机器学习
2014-01-03 v1 机器学习
统计计算
统计方法学
摘要
变分推断已成为近似复杂潜变量模型后验分布的广泛使用方法。然而，推导变分推断算法通常需要大量的特定模型分析，这些工作可能会阻碍我们快速开发和探索针对手头问题的各种模型。在本文中，我们提出了一种“黑盒”变分推断算法，该算法只需少量额外推导即可快速应用于许多模型。我们的方法基于变分目标的随机优化，其中噪声梯度是通过对变分分布进行蒙特卡洛采样计算得出的。我们开发了多种方法来降低梯度的方差，同时始终遵循避免困难模型推导的原则。我们将我们的方法与相应的基于黑盒采样的方法进行了评估比较。我们发现，我们的方法比采样方法更快地达到更好的预测似然度。最后，我们展示了黑盒变分推断如何通过快速构建和评估多个纵向医疗数据模型，让我们能够轻松探索广阔的模型空间。
引用
@article{arxiv.1401.0118,
title = {Black Box Variational Inference},
author = {Rajesh Ranganath and Sean Gerrish and David M. Blei},
journal= {arXiv preprint arXiv:1401.0118},
year = {2014}
}