初始化效应的研究：2层神经网络的尺度路径
机器学习
2023-08-10 v2 最优化与控制
摘要
在有监督学习中，正则化路径有时被用作从零初始化的梯度下降优化路径的便捷理论替代。在本文中，我们研究了一种针对无限宽 2 层 ReLU 神经网络、具有不同尺度下非零权重初始分布的修正正则化路径。通过利用与不平衡最优传输理论的联系，我们表明，尽管 2 层网络训练具有非凸性，该问题仍存在一个无限维凸对应问题。我们构建了相应的泛函优化问题并研究其主要性质。特别地，我们证明，当初始化的尺度在 与 之间变化时，相关路径在所谓的核 regime 与丰富 regime 之间连续插值。数值实验证实，在我们的设定下，尺度路径与优化路径的最终状态表现相似，即便超出这些极值点也是如此。
引用
@article{arxiv.2303.17805,
title = {On the Effect of Initialization: The Scaling Path of 2-Layer Neural Networks},
author = {Sebastian Neumayer and Lénaïc Chizat and Michael Unser},
journal= {arXiv preprint arXiv:2303.17805},
year = {2023}
}