中文

用于欠阻尼朗之万 MCMC 的偏移 ODE 方法

数值分析 2021-01-26 v2 数值分析 概率论 统计理论 统计理论

摘要

本文考虑欠阻尼朗之万扩散(ULD),并基于其关联常微分方程(ODE)提出一种数值近似。当用作马尔可夫链蒙特卡洛(MCMC)算法时,我们在目标分布的标准光滑性与强凸性假设下证明,该 ODE 近似在 O(d13/ε23)\mathcal{O}\big(d^{\frac{1}{3}}/\varepsilon^{\frac{2}{3}}\big) 步内达到 22-Wasserstein 误差 ε\varepsilon。这与 Shen 和 Lee [NeurIPS 2019] 提出的随机中点法复杂度一致,而后者被 Cao、Lu 和 Wang 证明为阶最优。然而,所提数值方法的主要特点是可利用目标对数密度 ff 的额外光滑性。具体而言,当假设 ff 的 Hessian 与三阶导 Lipschitz 连续时,我们证明该 ODE 近似分别在 O(d25/ε25)\mathcal{O}\big(d^{\frac{2}{5}}/\varepsilon^{\frac{2}{5}}\big)O(d/ε13)\mathcal{O}\big(\sqrt{d}/\varepsilon^{\frac{1}{3}}\big) 步内达到 22-Wasserstein 误差 ε\varepsilon。通过使用三阶龙格-库塔法离散此 ODE,我们可获得一种实用的 MCMC 方法,每步仅多使用两次梯度计算。在目标来自逻辑回归的实验中,该方法较其他未调整朗之万 MCMC 算法表现出更快收敛。

关键词

引用

@article{arxiv.2101.03446,
  title  = {The shifted ODE method for underdamped Langevin MCMC},
  author = {James Foster and Terry Lyons and Harald Oberhauser},
  journal= {arXiv preprint arXiv:2101.03446},
  year   = {2021}
}