中文

随机龙格-库塔加速朗之万蒙特卡洛及更广泛应用

机器学习 2020-02-04 v3 机器学习

摘要

使用马尔可夫链蒙特卡洛方法采样通常等同于用数值积分离散化某些连续时间动力学。本文基于积分格式的局部偏差性质,建立了由离散化具有快速Wasserstein-22收缩的光滑Itô扩散所得到的采样算法的收敛速率。特别地,我们研究了一种通过随机龙格-库塔方法离散化过阻尼朗之万扩散构造的采样算法。对于光滑至某阶的强凸势函数,其迭代在O~(dϵ2/3)\tilde{\mathcal{O}}(d\epsilon^{-2/3})次迭代内以22-Wasserstein距离收敛到目标分布。这改进了仅使用梯度预言机且无调整的基于过阻尼朗之万方程的强对数凹采样的最佳已知速率。此外,我们将随机龙格-库塔方法的分析推广到具有可能非凸势函数的均匀耗散扩散,并表明相较于Euler-Maruyama格式,其在关于容差ϵ\epsilon的依赖上取得了更优速率。数值研究表明这些算法带来更好的稳定性与更低的渐近误差。

关键词

引用

@article{arxiv.1906.07868,
  title  = {Stochastic Runge-Kutta Accelerates Langevin Monte Carlo and Beyond},
  author = {Xuechen Li and Denny Wu and Lester Mackey and Murat A. Erdogdu},
  journal= {arXiv preprint arXiv:1906.07868},
  year   = {2020}
}

备注

56 pages; update acknowledgements