面向大规模贝叶斯采样的协方差控制自适应朗之万恒温器
机器学习
2020-02-14 v2 机器学习
摘要
用于贝叶斯后验推断的蒙特卡洛采样是机器学习中常用的一种方法。所使用的马尔可夫链蒙特卡洛过程通常是相关随机微分方程（SDEs）的离散时间类比。这些 SDE 保证使所需的后验分布保持不变。当前一个研究领域探讨在此设定下随机梯度方法的计算益处。现有技术依赖于估计子采样误差的方差或协方差，且通常假设方差恒定。在本文中，我们提出一种协方差控制自适应朗之万恒温器，它能有效耗散依赖于参数的噪声，同时保持期望的目标分布。所提方法在大规模机器学习应用中相比流行的替代方案实现了显著加速。
引用
@article{arxiv.1510.08692,
title = {Covariance-Controlled Adaptive Langevin Thermostat for Large-Scale Bayesian Sampling},
author = {Xiaocheng Shang and Zhanxing Zhu and Benedict Leimkuhler and Amos J. Storkey},
journal= {arXiv preprint arXiv:1510.08692},
year = {2020}
}