中文

Langevin Monte Carlo 的 $\sqrt{d}$ 维度依赖性

机器学习 2022-02-22 v3 数值分析 数值分析 概率论 统计理论 机器学习 统计理论

摘要

本文研究流行的 MCMC 方法——未调整的 Langevin Monte Carlo (LMC),并对其在 2-Wasserstein 距离下的采样误差进行了非渐近分析。该证明基于对 Li 等人 (2019) 中均方分析的改进,这一改进框架可自动分析一大类基于收缩型随机微分方程离散化的采样算法。利用该框架,我们在常见的对数光滑和对数强凸条件,以及目标测度势函数三阶导数的增长条件下,为 LMC 建立了一个无需热启动的 O~(d/ϵ)\tilde{O}(\sqrt{d}/\epsilon) 混合时间界。该界改进了此前已知的最优 O~(d/ϵ)\tilde{O}(d/\epsilon) 结果,并且对于满足上述假设的目标测度,在维度 dd 和精度容差 ϵ\epsilon 上都是(阶数)最优的。数值实验进一步验证了我们的理论分析。

关键词

引用

@article{arxiv.2109.03839,
  title  = {Sqrt(d) Dimension Dependence of Langevin Monte Carlo},
  author = {Ruilin Li and Hongyuan Zha and Molei Tao},
  journal= {arXiv preprint arXiv:2109.03839},
  year   = {2022}
}

备注

v1 submitted on May 28, 2021 (NeurIPS 2021 deadline); v2 added an important reference and discussions; v3 is the camera ready version