平均场朗之万动力学的凸分析
机器学习
2022-02-28 v2 机器学习
概率论
摘要
作为非线性 Fokker-Planck 方程的一个例子,平均场朗之万动力学近期因其与平均场 regime 下无限宽神经网络上的(带噪)梯度下降的联系而受到关注,因此该动力学的收敛性质具有重要的理论意义。本文中,我们针对(正则化)目标函数,在连续与离散时间设定下,给出平均场朗之万动力学简洁且自洽的收敛速率分析。我们证明的关键要素是与该动力学相关联的近邻 Gibbs 分布 ,结合 [Vempala and Wibisono (2019)] 中的技术,使我们能够发展出与凸优化中经典结果平行的简单收敛理论。此外,我们揭示 在经验风险最小化设定下与对偶间隙相联系,从而实现算法收敛的高效经验评估。
引用
@article{arxiv.2201.10469,
title = {Convex Analysis of the Mean Field Langevin Dynamics},
author = {Atsushi Nitanda and Denny Wu and Taiji Suzuki},
journal= {arXiv preprint arXiv:2201.10469},
year = {2022}
}
备注
AISTATS2022