具有方差缩减的随机梯度 Langevin 动力学的改进收敛速率及其在优化中的应用

随机梯度 Langevin 动力学是解决若干机器学习应用中出现的采样问题与非凸优化的最基本算法之一。尤其是其方差缩减版本近年来受到了特别关注。本文研究此类两种变体，即随机方差缩减梯度 Langevin 动力学与随机递归梯度 Langevin 动力学。我们仅在光滑性与 Log-Sobolev 不等式（这些条件弱于先前工作中这些算法所用条件）的假设下，证明了它们到目标分布的 KL 散度收敛。当批量大小与内循环长度设为 $\sqrt{n}$ 时，达到 $\epsilon$ 精度所需的梯度复杂度为 $\tilde{O}((n+dn^{1/2}\epsilon^{-1})\gamma^2 L^2\alpha^{-2})$，这比以往任何分析都有所改进。我们还展示了我们的结果在非凸优化中的一些重要应用。