神经元生灭动力学的全局收敛性
机器学习
2019-03-28 v2 机器学习
摘要
具有大量参数的神经网络容许一种平均场描述，这最近被用作“过参数化”模型良好训练性质的理论解释。在此 regime 下，梯度下降遵循一个确定性的偏微分方程（PDE），该方程在适当假设下对单隐藏层网络收敛到全局最优解。在本工作中，我们提出一种非局部质量输运动力学，其导出一个具有相同极小子的修正 PDE。我们将此非局部动力学实现为一种随机神经元生灭过程，并证明它在平均场极限下加速了收敛速率。随后我们用两类收敛到平均场方程的数值格式来实现该 PDE，每类都易于对具有有限参数数量的神经网络实现。我们用两个模型来说明我们的算法，以直观展示加速收敛的机制。
引用
@article{arxiv.1902.01843,
title = {Global convergence of neuron birth-death dynamics},
author = {Grant Rotskoff and Samy Jelassi and Joan Bruna and Eric Vanden-Eijnden},
journal= {arXiv preprint arXiv:1902.01843},
year = {2019}
}