使用滞后梯度的随机梯度 MCMC
机器学习
2016-10-24 v1 机器学习
摘要
随机梯度 MCMC (SG-MCMC) 在大规模贝叶斯学习中发挥了重要作用，其理论收敛性质已发展得相当完善。在 SG-MCMC 的此类应用中，采用分布式系统正变得越来越流行，其中随机梯度是基于一些过时的参数计算的，从而产生了所谓的滞后梯度。虽然滞后梯度可以直接用于 SG-MCMC，但它们对收敛性质的影响尚未得到充分研究。在本文中，我们发展了相关理论以表明，虽然 SG-MCMC 算法的偏差和均方误差 (MSE) 取决于随机梯度的滞后程度，但其估计方差（相对于基于预定样本数的期望估计）与滞后程度无关。在一个使用 SG-MCMC 的简单贝叶斯分布式系统中（其中滞后梯度由一组工作节点异步计算），我们的理论表明估计方差的下降相对于工作节点数量具有线性加速效果。在合成数据和深度神经网络上的实验验证了我们的理论，证明了使用滞后梯度的 SG-MCMC 的有效性和可扩展性。
引用
@article{arxiv.1610.06664,
title = {Stochastic Gradient MCMC with Stale Gradients},
author = {Changyou Chen and Nan Ding and Chunyuan Li and Yizhe Zhang and Lawrence Carin},
journal= {arXiv preprint arXiv:1610.06664},
year = {2016}
}
备注
NIPS2016