基于随机梯度Fisher评分的贝叶斯后验采样
机器学习
2012-07-03 v1 统计计算
机器学习
摘要
在本文中，我们探讨以下问题：如果我们每次生成样本时只允许接触一小批数据项，我们能否近似地从贝叶斯后验分布中采样？先前提出了一种基于随机梯度朗之万方程（SGLD）的算法来解决此问题，但其混合速率较慢。通过利用贝叶斯中心极限定理，我们扩展了SGLD算法，使得在高混合速率下，它将从后验的正态近似中采样，而在低混合速率下，它将模拟带有预条件矩阵的SGLD的行为。作为额外收获，所提出的算法让人联想到（随机梯度）Fisher评分，因此在预热阶段是一种高效的优化器。
引用
@article{arxiv.1206.6380,
title = {Bayesian Posterior Sampling via Stochastic Gradient Fisher Scoring},
author = {Sungjin Ahn and Anoop Korattikara and Max Welling},
journal= {arXiv preprint arXiv:1206.6380},
year = {2012}
}
备注
Appears in Proceedings of the 29th International Conference on Machine Learning (ICML 2012)