未调整朗之万算法的快速收敛:等周性即足够
数据结构与算法
2022-03-04 v4 机器学习
概率论
机器学习
摘要
我们研究未调整朗之万算法(ULA)以从 上的概率分布 中采样。我们证明了在 KL(Kullback-Leibler)散度下的收敛保证,假设 满足对数 Sobolev 不等式且 的 Hessian 有界。值得注意的是,我们不假设凸性或高阶导数有界。我们还证明了在阶数 的 Rényi 散度下的收敛保证,假设 ULA 的极限满足对数 Sobolev 或 Poincaré 不等式。我们还证明了在 三阶光滑的假设下 ULA 极限分布的偏置界,无需等周性。
引用
@article{arxiv.1903.08568,
title = {Rapid Convergence of the Unadjusted Langevin Algorithm: Isoperimetry Suffices},
author = {Santosh S. Vempala and Andre Wibisono},
journal= {arXiv preprint arXiv:1903.08568},
year = {2022}
}
备注
v4: Updated discussion and added properties of biased limit v3: Simplified analysis of R\'enyi divergence, improved exposition, and added figures v2: Added analysis of R\'enyi divergence and Poincar\'e assumption