中文

未调整朗之万算法的快速收敛:等周性即足够

数据结构与算法 2022-03-04 v4 机器学习 概率论 机器学习

摘要

我们研究未调整朗之万算法(ULA)以从 Rn\mathbb{R}^n 上的概率分布 ν=ef\nu = e^{-f} 中采样。我们证明了在 KL(Kullback-Leibler)散度下的收敛保证,假设 ν\nu 满足对数 Sobolev 不等式且 ff 的 Hessian 有界。值得注意的是,我们不假设凸性或高阶导数有界。我们还证明了在阶数 q>1q > 1 的 Rényi 散度下的收敛保证,假设 ULA 的极限满足对数 Sobolev 或 Poincaré 不等式。我们还证明了在 ff 三阶光滑的假设下 ULA 极限分布的偏置界,无需等周性。

关键词

引用

@article{arxiv.1903.08568,
  title  = {Rapid Convergence of the Unadjusted Langevin Algorithm: Isoperimetry Suffices},
  author = {Santosh S. Vempala and Andre Wibisono},
  journal= {arXiv preprint arXiv:1903.08568},
  year   = {2022}
}

备注

v4: Updated discussion and added properties of biased limit v3: Simplified analysis of R\'enyi divergence, improved exposition, and added figures v2: Added analysis of R\'enyi divergence and Poincar\'e assumption