用于欠阻尼朗之万 MCMC 的偏移 ODE 方法
数值分析
2021-01-26 v2 数值分析
概率论
统计理论
统计理论
摘要
本文考虑欠阻尼朗之万扩散(ULD),并基于其关联常微分方程(ODE)提出一种数值近似。当用作马尔可夫链蒙特卡洛(MCMC)算法时,我们在目标分布的标准光滑性与强凸性假设下证明,该 ODE 近似在 步内达到 -Wasserstein 误差 。这与 Shen 和 Lee [NeurIPS 2019] 提出的随机中点法复杂度一致,而后者被 Cao、Lu 和 Wang 证明为阶最优。然而,所提数值方法的主要特点是可利用目标对数密度 的额外光滑性。具体而言,当假设 的 Hessian 与三阶导 Lipschitz 连续时,我们证明该 ODE 近似分别在 与 步内达到 -Wasserstein 误差 。通过使用三阶龙格-库塔法离散此 ODE,我们可获得一种实用的 MCMC 方法,每步仅多使用两次梯度计算。在目标来自逻辑回归的实验中,该方法较其他未调整朗之万 MCMC 算法表现出更快收敛。
引用
@article{arxiv.2101.03446,
title = {The shifted ODE method for underdamped Langevin MCMC},
author = {James Foster and Terry Lyons and Harald Oberhauser},
journal= {arXiv preprint arXiv:2101.03446},
year = {2021}
}