从高维与平均场动力学到无量纲 ODE:双层网络中 SGD 的统一方法
机器学习
2023-02-14 v1 无序系统与神经网络
机器学习
摘要
本稿件研究了在 Gaussian 数据与由类似(但不必完全相同)目标函数生成的标签上训练的双层神经网络的单次随机梯度下降(SGD)动力学。我们通过关于总体风险的充分统计量的确定性低维描述,严格分析了其极限动力学。我们的统一分析桥接了不同关注 regime,例如消失学习率的经典梯度流 regime、大输入维度的维数 regime,以及大网络宽度的过参数化“平均场” regime,并覆盖了这些行为相互作用决定极限动力学的中间 regime。特别地,在高维极限下,无限宽度动力学被发现保持接近由目标主方向张成的低维子空间。因此,我们的结果为合成数据下极限 SGD 动力学提供了统一图景。
引用
@article{arxiv.2302.05882,
title = {From high-dimensional & mean-field dynamics to dimensionless ODEs: A unifying approach to SGD in two-layers networks},
author = {Luca Arnaboldi and Ludovic Stephan and Florent Krzakala and Bruno Loureiro},
journal= {arXiv preprint arXiv:2302.05882},
year = {2023}
}