中文

平均场朗之万动力学的凸分析

机器学习 2022-02-28 v2 机器学习 概率论

摘要

作为非线性 Fokker-Planck 方程的一个例子,平均场朗之万动力学近期因其与平均场 regime 下无限宽神经网络上的(带噪)梯度下降的联系而受到关注,因此该动力学的收敛性质具有重要的理论意义。本文中,我们针对(正则化)目标函数,在连续与离散时间设定下,给出平均场朗之万动力学简洁且自洽的收敛速率分析。我们证明的关键要素是与该动力学相关联的近邻 Gibbs 分布 pqp_q,结合 [Vempala and Wibisono (2019)] 中的技术,使我们能够发展出与凸优化中经典结果平行的简单收敛理论。此外,我们揭示 pqp_q 在经验风险最小化设定下与对偶间隙相联系,从而实现算法收敛的高效经验评估。

关键词

引用

@article{arxiv.2201.10469,
  title  = {Convex Analysis of the Mean Field Langevin Dynamics},
  author = {Atsushi Nitanda and Denny Wu and Taiji Suzuki},
  journal= {arXiv preprint arXiv:2201.10469},
  year   = {2022}
}

备注

AISTATS2022