随机拟牛顿朗之万蒙特卡洛
机器学习
2016-12-13 v2
摘要
近来，随机梯度马尔可夫链蒙特卡洛（SG-MCMC）方法被提出用于将蒙特卡洛计算扩展到大数据问题。尽管这些方法在许多应用中已被证明有用，但当随机变量在目标密度下表现出强耦合或巨大尺度差异时，朴素 SG-MCMC 可能面临混合率低下的问题。在本研究中，我们提出一种新颖的 SG-MCMC 方法，其利用拟牛顿优化方法的思想考虑局部几何结构。这些二阶方法通过使用有限的样本及其梯度历史直接近似逆 Hessian。我们的方法使用逆 Hessian 的稠密近似，同时保持时间与内存复杂度随问题维度线性增长。我们提供了形式化理论分析，表明所提方法渐近无偏且与后验期望一致。我们在合成与真实数据集上说明了该方法的有效性。在两个具挑战性应用上的实验表明，我们的方法取得了类似于黎曼方法的快速收敛率，同时具有类似于对角预处理方法的低计算需求。
引用
@article{arxiv.1602.03442,
title = {Stochastic Quasi-Newton Langevin Monte Carlo},
author = {Umut Şimşekli and Roland Badeau and A. Taylan Cemgil and Gaël Richard},
journal= {arXiv preprint arXiv:1602.03442},
year = {2016}
}
备注
Published in ICML 2016, International Conference on Machine Learning 2016, New York, NY, USA