梯度不精确时 Langevin Monte Carlo 的易用保证
统计理论
2024-02-26 v4 机器学习
概率论
统计计算
机器学习
统计理论
摘要
本文研究从已知光滑且强对数凹的概率密度函数进行采样的问题。我们分析了几种基于（高度过阻尼）Langevin 扩散离散化的近似采样方法，并建立了以 Wasserstein-2 距离衡量的误差保证。我们的保证在三个方向上改进或扩展了现有最优结果。首先，我们给出了采用优化变步长的一阶 Langevin Monte Carlo (LMC) 算法的误差上界。该结果的优势在于无界性（无需预先知道目标精度），并将常数步长对应结果的对数因子予以改进。其次，我们研究了无法精确评估对数密度梯度但可获得其近似值的情况。在此情形下，我们考虑了梯度的确定性和随机近似，并给出一阶 LMC 采样误差的上界，量化了梯度评估不精确性的影响。第三，我们建立了利用对数密度 Hessian 矩阵的二阶 LMC 两个版本的误差上界。我们提供了这些二阶 LMC 采样误差的非渐近保证。这些保证表明，在病态条件下，二阶 LMC 算法优于一阶 LMC。
引用
@article{arxiv.1710.00095,
title = {User-friendly guarantees for the Langevin Monte Carlo with inaccurate gradient},
author = {Arnak S. Dalalyan and Avetik G. Karagulyan},
journal= {arXiv preprint arXiv:1710.00095},
year = {2024}
}