宽神经网络中 SGD 的混沌定量传播
机器学习
2020-07-15 v2 机器学习
概率论
摘要
本文研究应用于两层过参数化神经网络的随机梯度下降(Stochastic Gradient Descent, SGD)算法的连续时间对应形式,在神经元数量(即隐藏层大小) 时的极限行为。遵循概率方法,我们在不同情形下证明了该连续时间动力学所定义的粒子系统的“混沌传播”,表明粒子间的统计相互作用渐近消失。特别地,我们在赋予 Wasserstein 距离的度量空间中,建立了任意粒子到平均场 McKean-Vlasov 方程解关于 的定量收敛。与以往相关工作的比较,我们考虑了 SGD 步长序列可能依赖于神经元数量和迭代次数的设置。进而我们识别出获得不同平均场极限的两种机制,其中一种对应于所考虑最小化问题的隐式正则化版本。我们在真实数据集上进行了多种实验以验证理论结果,评估了分类问题中这两种机制的存在性,并说明了我们的收敛结果。
引用
@article{arxiv.2007.06352,
title = {Quantitative Propagation of Chaos for SGD in Wide Neural Networks},
author = {Valentin De Bortoli and Alain Durmus and Xavier Fontaine and Umut Simsekli},
journal= {arXiv preprint arXiv:2007.06352},
year = {2020}
}