平均场朗之万动力学的收敛性：时间与空间离散化、随机梯度与方差缩减
机器学习
2023-06-13 v1 机器学习
摘要
平均场朗之万动力学（MFLD）是朗之万动力学的一种非线性推广，它引入了依赖分布的漂移项，并且自然产生于通过（含噪）梯度下降对两层神经网络的优化。近期工作表明 MFLD 在测度空间中全局最小化一个熵正则化的凸泛函。然而，所有先前的分析都假设了无限粒子或连续时间极限，并且不能处理随机梯度更新。我们提供了一个通用框架来证明 MFLD 的一致时间传播混沌（propagation of chaos），该框架考虑了由于有限粒子近似、时间离散化和随机梯度近似引起的误差。为证明该框架的广泛适用性，我们在（i）一系列广泛的学习问题（如平均场机制下的神经网络和 MMD 最小化）以及（ii）不同的梯度估计器（包括 SGD 和 SVRG）下，建立了到正则化全局最优解的定量收敛速率保证。尽管我们的结果具有一般性，但当专门应用于标准朗之万动力学时，我们在 SGD 和 SVRG 设置下均实现了改进的收敛速率。
引用
@article{arxiv.2306.07221,
title = {Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction},
author = {Taiji Suzuki and Denny Wu and Atsushi Nitanda},
journal= {arXiv preprint arXiv:2306.07221},
year = {2023}
}
备注
37 pages