用于深度模型贝叶斯学习的高阶随机梯度恒温器
机器学习
2015-12-25 v1
摘要
近年来，使用贝叶斯方法的深度模型学习引起了显著关注。这很大程度上是因为现代贝叶斯方法能够在保持模型参数不确定性的同时，实现可扩展的学习与推断。随机梯度MCMC算法（SG-MCMC）是一类用于大规模贝叶斯学习的基于扩散的采样方法。在SG-MCMC中，多元随机梯度恒温器（multivariate stochastic gradient thermostats, mSGNHT）为每个感兴趣的参数增加一个动量和一个恒温器变量，以维持平稳分布作为目标后验分布。随着连续时间扩散中变量数量的增加，其数值近似误差成为实际瓶颈，因此需要更好地利用数值积分器。为此，我们提出在mSGNHT中使用一种高效的对称分裂积分器，以取代传统的欧拉积分器。我们证明所提方案更准确、鲁棒且收敛更快。这些特性被证明在贝叶斯深度学习中是理想的。在两个典型模型及其深度扩展上的大量实验表明，所提方案改善了通用的贝叶斯后验采样，尤其是对于深度模型。
引用
@article{arxiv.1512.07662,
title = {High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models},
author = {Chunyuan Li and Changyou Chen and Kai Fan and Lawrence Carin},
journal= {arXiv preprint arXiv:1512.07662},
year = {2015}
}
备注
AAAI 2016