两层神经网络中二阶动力学的全局收敛性
最优化与控制
2020-07-16 v1 人工智能
机器学习
摘要
近期结果表明，对于两层全连接神经网络，通过建立平均场动力学与 Wasserstein 梯度流之间的联系，梯度流在无限宽度极限下收敛到全局最优。这些结果针对一阶梯度流推导，一个自然的问题是二阶动力学（即带动量的动力学）是否展现类似的保证。我们证明对于重球法答案是肯定的。此时，所得积分-偏微分方程是非线性动力学 Fokker Planck 方程，且与一阶情况不同，它显然与 Wasserstein 梯度流无关。相反，我们研究 Lyapunov 泛函沿解轨迹的变化以刻画驻点并证明收敛。尽管我们的结果在平均场极限下是渐近的，数值模拟表明全局收敛可能已在合理小规模网络中发生。
引用
@article{arxiv.2007.06852,
title = {Global Convergence of Second-order Dynamics in Two-layer Neural Networks},
author = {Walid Krichene and Kenneth F. Caluya and Abhishek Halder},
journal= {arXiv preprint arXiv:2007.06852},
year = {2020}
}