基于随机自然梯度期望传播与后验服务器的分布式贝叶斯学习
机器学习
2017-09-11 v4 机器学习
摘要
本文对贝叶斯机器学习算法做出两点贡献。首先，我们提出随机自然梯度期望传播（SNEP），作为期望传播（EP）——一种流行的变分推断算法——的新替代方案。SNEP 是一种黑盒变分算法，因为它不需要对感兴趣的分布做任何简化假设，仅需存在某种蒙特卡洛采样器用于估计 EP 倾斜分布的矩。此外，与无法保证收敛的 EP 不同，SNEP 可被证明是收敛的，即使在使用蒙特卡洛矩估计时也是如此。其次，我们提出一种用于分布式贝叶斯学习的新架构，称之为后验服务器。后验服务器在数据集以分布式方式存储在集群中、每个计算节点包含不相交数据子集的情况下，允许可扩展且鲁棒的贝叶斯学习。在每个计算节点上运行独立的蒙特卡洛采样器，仅直接访问本地数据子集，但其目标为给定整个集群所有数据的全局后验分布的近似。这是通过使用 SNEP 的分布式异步实现在集群间传递消息来实现的。我们在逻辑回归和神经网络上的分布式贝叶斯学习中演示了 SNEP 与后验服务器。
引用
@article{arxiv.1512.09327,
title = {Distributed Bayesian Learning with Stochastic Natural-gradient Expectation Propagation and the Posterior Server},
author = {Leonard Hasenclever and Stefan Webb and Thibaut Lienart and Sebastian Vollmer and Balaji Lakshminarayanan and Charles Blundell and Yee Whye Teh},
journal= {arXiv preprint arXiv:1512.09327},
year = {2017}
}
备注
37 pages, 7 figures