部分训练三层神经网络的泛函空间平均场理论
机器学习
2022-10-31 v1 最优化与控制
概率论
机器学习
摘要
为理解神经网络（NN）的训练动态，先前研究考虑了双层 NN 的无限宽平均场（MF）极限，确立了其在梯度流训练下收敛性的理论保证以及其逼近与泛化能力。本工作中，我们研究一类第一层随机且固定的三层 NN 模型的无限宽极限。为严格定义极限模型，我们通过将神经元视为属于泛函空间，推广了双层 NN 的 MF 理论。接着，通过将 MF 训练动态写为具有时变核的核梯度流（该核保持正定），我们证明其在 回归中的训练损失以线性速率衰减至零。此外，我们定义了包含通过 MF 训练动态可获得的解的函数空间，并证明了这些空间的 Rademacher 复杂度界。我们的理论兼容模型的不同缩放选择，从而导出 MF 极限的两种机制，二者均展现特征学习但表现出截然不同的行为。
引用
@article{arxiv.2210.16286,
title = {A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks},
author = {Zhengdao Chen and Eric Vanden-Eijnden and Joan Bruna},
journal= {arXiv preprint arXiv:2210.16286},
year = {2022}
}