朗之万算法平稳分布的集中性
机器学习
2024-10-22 v2 机器学习
概率论
统计理论
统计理论
摘要
对数凹采样的一个典型算法是朗之万算法,即在某离散步长 下运行的朗之万扩散。这种离散化使得朗之万算法具有平稳分布 ,其不同于朗之万扩散的平稳分布 ,理解 的已知性质是否扩展到 是一个重要挑战。特别地,尽管等周性和快速衰减尾部等集中性质对 是经典的已知结论,但 的类似性质是具有算法意义的开问题。本文笔记通过建立镜像 经典结果的 集中性结果,朝该方向迈出第一步。具体而言,我们证明对任意非平凡步长 ,当势函数为凸(分别为强凸)时, 为次指数(分别为次高斯)。此外,我们所证集中界基本紧。我们还证明这些集中界扩展到朗之万算法轨迹上的所有迭代,以及使用次高斯梯度估计的不精确实现。我们分析的关键在于使用旋转不变矩生成函数(即贝塞尔函数)来研究朗之万算法的平稳动力学。该技术可能具有独立意义,因为它能直接分析离散时间平稳分布 而无需以连续时间平稳分布 为中介。
引用
@article{arxiv.2212.12629,
title = {Concentration of the Langevin Algorithm's Stationary Distribution},
author = {Jason M. Altschuler and Kunal Talwar},
journal= {arXiv preprint arXiv:2212.12629},
year = {2024}
}
备注
Added Section 6 (extensions to concentration of the trajectory and inexact gradients)