用于贝叶斯深度学习的循环随机梯度MCMC
机器学习
2020-05-13 v2 人工智能
计算机视觉与模式识别
统计方法学
机器学习
摘要
神经网络权重上的后验分布是高维且多模态的。每个模态通常刻画了数据的一种具有明确意义的不同的表示。我们提出了循环随机梯度MCMC（SG-MCMC）以自动探索此类分布。具体而言，我们提出了一种循环步长调度策略，其中较大的步长用于发现新模态，较小的步长用于刻画每个模态。我们还证明了所提算法的非渐近收敛性。此外，我们提供了包括ImageNet在内的广泛实验结果，以证明循环SG-MCMC在学习复杂多模态分布（尤其是利用现代深度神经网络进行完全贝叶斯推断）方面的可扩展性与有效性。
引用
@article{arxiv.1902.03932,
title = {Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning},
author = {Ruqi Zhang and Chunyuan Li and Jianyi Zhang and Changyou Chen and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:1902.03932},
year = {2020}
}
备注
Published at ICLR 2020