具有排斥力的随机梯度 MCMC
机器学习
2020-02-25 v2 机器学习
摘要
我们提出了两种不同贝叶斯推断算法——随机梯度马尔可夫链蒙特卡洛（SG-MCMC）与 Stein 变分梯度下降（SVGD）——的统一视角，从而导出改进且高效的新型采样方案。我们表明，结合了噪声项的 SVGD 可被框定为多链 SG-MCMC 方法。我们提出的算法不将每条并行链独立对待，而是在粒子间实现排斥力，避免坍塌并促进对参数空间的更好探索。我们还展示了该噪声项的添加对于获得有效的 SG-MCMC 采样器是必要的，这与 SVGD 有显著区别。在合成分布与真实数据集上的实验说明了所提方案的益处。
引用
@article{arxiv.1812.00071,
title = {Stochastic Gradient MCMC with Repulsive Forces},
author = {Victor Gallego and David Rios Insua},
journal= {arXiv preprint arXiv:1812.00071},
year = {2020}
}
备注
Extends the workshop version