粒子对偶平均：平均场神经网络的优化与全局收敛速率分析
机器学习
2022-01-25 v4 机器学习
摘要
我们提出粒子对偶平均（PDA）方法，该方法将对偶平均方法从凸优化推广到概率分布上的优化，并提供定量的运行时间保证。算法由内循环和外循环组成：内循环利用朗之万算法近似求解平稳分布，随后在外循环中对之进行优化。因此，该方法可解释为朗之万算法向自然处理概率空间上非线性泛函的扩展。所提方法的一个重要应用是平均场机制下神经网络的优化，该机制因存在非线性特征学习而在理论上具有吸引力，但定量收敛速率往往难以获得。通过将有限维凸优化理论适配到测度空间，我们在正则化经验/期望风险最小化中分析 PDA，并在更一般的设定下建立了两层平均场神经网络学习的定量全局收敛性。我们的理论结果得到了合理规模神经网络数值模拟的支持。
引用
@article{arxiv.2012.15477,
title = {Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis},
author = {Atsushi Nitanda and Denny Wu and Taiji Suzuki},
journal= {arXiv preprint arXiv:2012.15477},
year = {2022}
}
备注
NeurIPS 2021