迈向 Langevin Monte Carlo 的完整分析:超越 Poincaré 不等式
统计理论
2023-07-21 v2 概率论
机器学习
统计理论
摘要
在适当的泛函不等式假设下,Langevin 扩散具有快速收敛性。因此,自然地可以预期,在附加平滑条件以处理离散化误差时,其离散化方法如 Langevin Monte Carlo (LMC) 以类似方式收敛。这一研究计划由 Vempala 和 Wibisono (2019) 发起,他们在对数 Sobolev 不等式下建立了结果。Chewi 等人 (2022) 将结果扩展至处理 Poincaré 不等式的情形。在本文中,我们超越 Poincaré 不等式,将这一研究计划推向其极限。为此,我们在弱 Poincaré 不等式下建立了 Langevin 扩散与 LMC 的上界与下界,该不等式被一大类密度所满足,包括多项式衰减重尾密度(即 Cauchy 型)。我们的结果明确量化了初始化器对 LMC 算法性能的影响。特别地,我们表明随着尾部从亚高斯、到亚指数、再到类 Cauchy,对初始误差的依赖性从对数级、到多项式级、再到指数级。这一三步相变尤其是不可避免的,正如我们的下界所证明的那样,清晰地界定了 LMC 的边界。
引用
@article{arxiv.2303.03589,
title = {Towards a Complete Analysis of Langevin Monte Carlo: Beyond Poincar\'e Inequality},
author = {Alireza Mousavi-Hosseini and Tyler Farghly and Ye He and Krishnakumar Balasubramanian and Murat A. Erdogdu},
journal= {arXiv preprint arXiv:2303.03589},
year = {2023}
}
备注
28 pages. To appear in the Conference on Learning Theory (COLT) 2023