深度线性神经网络的无限宽度极限
机器学习
2022-12-01 v1 最优化与控制
机器学习
摘要
本文研究以随机参数初始化的深度线性神经网络的无限宽度极限。我们得到，当神经元数量发散时，训练动态（在精确意义下）收敛到在无限宽确定性线性神经网络上梯度下降所获得的动态。此外，即使权重保持随机，我们也得到了其在训练动态过程中的精确分布，并证明了线性预测器关于神经元数量的定量收敛结果。最后，我们研究无限宽线性神经网络所得的连续时间极限，并证明神经网络的线性预测器以指数速率收敛到风险的极小范数最小化器。
引用
@article{arxiv.2211.16980,
title = {Infinite-width limit of deep linear neural networks},
author = {Lénaïc Chizat and Maria Colombo and Xavier Fernández-Real and Alessio Figalli},
journal= {arXiv preprint arXiv:2211.16980},
year = {2022}
}