中文

朗之万算法平稳分布的集中性

机器学习 2024-10-22 v2 机器学习 概率论 统计理论 统计理论

摘要

对数凹采样的一个典型算法是朗之万算法,即在某离散步长 η>0\eta > 0 下运行的朗之万扩散。这种离散化使得朗之万算法具有平稳分布 πη\pi_{\eta},其不同于朗之万扩散的平稳分布 π\pi,理解 π\pi 的已知性质是否扩展到 πη\pi_{\eta} 是一个重要挑战。特别地,尽管等周性和快速衰减尾部等集中性质对 π\pi 是经典的已知结论,但 πη\pi_{\eta} 的类似性质是具有算法意义的开问题。本文笔记通过建立镜像 π\pi 经典结果的 πη\pi_{\eta} 集中性结果,朝该方向迈出第一步。具体而言,我们证明对任意非平凡步长 η>0\eta > 0,当势函数为凸(分别为强凸)时,πη\pi_{\eta} 为次指数(分别为次高斯)。此外,我们所证集中界基本紧。我们还证明这些集中界扩展到朗之万算法轨迹上的所有迭代,以及使用次高斯梯度估计的不精确实现。我们分析的关键在于使用旋转不变矩生成函数(即贝塞尔函数)来研究朗之万算法的平稳动力学。该技术可能具有独立意义,因为它能直接分析离散时间平稳分布 πη\pi_{\eta} 而无需以连续时间平稳分布 π\pi 为中介。

关键词

引用

@article{arxiv.2212.12629,
  title  = {Concentration of the Langevin Algorithm's Stationary Distribution},
  author = {Jason M. Altschuler and Kunal Talwar},
  journal= {arXiv preprint arXiv:2212.12629},
  year   = {2024}
}

备注

Added Section 6 (extensions to concentration of the trajectory and inexact gradients)