关于随机梯度蒙特卡洛方差缩减理论的探讨
机器学习
2018-02-16 v1 机器学习
摘要
我们在Wasserstein距离下为多种方差缩减方法提供收敛保证：SAGA朗之万扩散、SVRG朗之万扩散以及控制变量欠阻尼朗之万扩散。我们在对数后验分布上的一组统一假设下分析这些方法，假设其光滑、强凸且Hessian Lipschitz。这通过结合有限和优化思想与采样方法分析的新证明技术得以实现。我们尖锐的理论界使我们能够识别每种方法优于其他方法的感兴趣区间。我们的理论通过在真实世界与合成数据集上的实验得到验证。
引用
@article{arxiv.1802.05431,
title = {On the Theory of Variance Reduction for Stochastic Gradient Monte Carlo},
author = {Niladri S. Chatterji and Nicolas Flammarion and Yi-An Ma and Peter L. Bartlett and Michael I. Jordan},
journal= {arXiv preprint arXiv:1802.05431},
year = {2018}
}
备注
37 pages; 4 figures