基于随机梯度的朗之万马尔可夫链蒙特卡洛
统计方法学
2019-09-19 v2 数值分析
数值分析
统计计算
摘要
蒙特卡洛采样技术在机器学习、贝叶斯后验推断和参数估计中有广泛应用。目标分布常取为具有大量条目的数据集上的乘积分布形式。对于利用梯度信息的采样方案，使用随机小数据子集来近似导数更廉价，但这会给系统引入额外噪声。我们提出了一种在利用随机（含噪）梯度时用于欠阻尼朗之万动力的新离散化方案。该方案在计算平均时被证明对步长偏置至二阶，而在采样具有正态分布随机梯度的高斯分布这一特例中给出精确结果。
引用
@article{arxiv.1805.08863,
title = {Langevin Markov Chain Monte Carlo with stochastic gradients},
author = {Charles Matthews and Jonathan Weare},
journal= {arXiv preprint arXiv:1805.08863},
year = {2019}
}