一种用于可扩展贝叶斯采样的统一粒子优化框架
机器学习
2018-07-11 v2 机器学习
摘要
近来，人们致力于开发可扩展的贝叶斯采样方法，例如用于大数据分析的随机梯度 MCMC (SG-MCMC) 和 Stein 变分梯度下降 (SVGD)。标准的 SG-MCMC 算法从离散时间马尔可夫链中模拟样本以近似目标分布，因此样本可能高度相关，这是 SG-MCMC 不希望具有的性质。相反，SVGD 直接优化一组粒子来近似目标分布，因此能够以相对少得多的样本获得良好的近似。本文中，我们提出一种基于 Wasserstein 梯度流的本原粒子优化框架，以统一 SG-MCMC 和 SVGD，并允许开发新算法。我们的框架将 SG-MCMC 解释为概率测度空间上的粒子优化，揭示了 SG-MCMC 与 SVGD 之间的强联系。我们框架的关键组成部分是若干粒子近似技术，用于高效求解概率测度空间上的原始偏微分方程。在合成数据和深度神经网络上的大量实验证明了我们的框架在可扩展贝叶斯采样方面的有效性和高效性。
引用
@article{arxiv.1805.11659,
title = {A Unified Particle-Optimization Framework for Scalable Bayesian Sampling},
author = {Changyou Chen and Ruiyi Zhang and Wenlin Wang and Bai Li and Liqun Chen},
journal= {arXiv preprint arXiv:1805.11659},
year = {2018}
}
备注
UAI 2018