Langevin 动力学：基于 Lyapunov 势函数的优化统一视角
机器学习
2024-07-08 v1 最优化与控制
摘要
我们研究了使用随机梯度 Langevin 动力学 (SGLD) 进行非凸优化的问题。SGLD 是随机梯度下降的一个自然且流行的变体，在每一步都会添加适当比例的高斯噪声。据我们所知，显示 SGLD 在损失函数上实现全局收敛的唯一策略是表明 SGLD 可从分布中进行抽样，该分布在函数值较小时赋予更大质量（即 Gibbs measure），然后将这些保证转换为优化结果。我们采用一种新策略来分析 SGLD 收敛到全局最小值的方法，基于 Lyapunov 势函数和优化。我们将来前工作中相同的温和条件转化为基于 Lyapunov 势函数的几何属性。这一方法对带有随机梯度 oracle 的情况特别适用，这是机器学习中常见的情形——人们希望最小化 population loss，但仅通过小批量训练样本获得随机梯度。我们提供了三项贡献：1) 在 SGLD 用于优化的设置下实现改进的收敛速率；2) 首次给出 SGLD 在函数 Lipschitz 且由函数定义的 Gibbs measure 满足 Poincaré 不等式时的有限梯度复杂度保证；3) 在温和正则性假设下，证明如果连续时间 Langevin 动力学成功用于优化，那么离散时间 SGLD 也能成功。
引用
@article{arxiv.2407.04264,
title = {Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials},
author = {August Y. Chen and Ayush Sekhari and Karthik Sridharan},
journal= {arXiv preprint arXiv:2407.04264},
year = {2024}
}