随机粒子优化采样中的方差缩减
机器学习
2018-11-21 v1 机器学习
摘要
随机粒子优化采样（SPOS）是近期提出的一种可扩展贝叶斯采样框架，它基于 Wasserstein 梯度流统一了随机梯度 MCMC（SG-MCMC）与 Stein 变分梯度下降（SVGD）算法。随着近期严格的非渐近收敛理论的发展，SPOS 避免了 SVGD 的粒子坍缩缺陷。然而，SPOS 中的方差缩减从未被研究。本文中，我们通过提出若干针对 SPOS 的方差缩减技术来弥补这一空白。具体而言，我们提出三种方差缩减型 SPOS 变体，称为 SAGA 粒子优化采样（SAGA-POS）、SVRG 粒子优化采样（SVRG-POS）以及一种避免全梯度计算的 SVRG-POS 变体，记为 SVRG-POS。重要的是，我们给出了这些算法在 2-Wasserstein 度量下的非渐近收敛保证并分析了其复杂度。值得注意的是，结果表明我们的算法比现有的方差缩减型随机 Langevin 动力学变体具有更好的收敛速率，尽管训练时需要更多空间来存储粒子。我们的理论与合成及真实数据集上的实验结果相吻合。
引用
@article{arxiv.1811.08052,
title = {Variance Reduction in Stochastic Particle-Optimization Sampling},
author = {Jianyi Zhang and Yang Zhao and Changyou Chen},
journal= {arXiv preprint arXiv:1811.08052},
year = {2018}
}