宽 ReLU 网络分段线性解的均值场分析
机器学习
2022-05-02 v2 机器学习
摘要
理解通过随机梯度下降（SGD）训练的神经网络的性质是深度学习理论的核心。本工作中，我们采用均值场视角，考虑一个针对单变量正则化回归问题通过 SGD 训练的两层 ReLU 网络。我们的主要结果是 SGD 偏向于一个简单解：在收敛时，ReLU 网络实现输入的分段线性映射，并且在两个连续训练输入之间的“结点”数量——即 ReLU 网络估计器的切线发生变化的点——至多有三个。特别地，随着网络神经元数量的增长，SGD 动力学由梯度流的解刻画，且在收敛时，权重分布趋近于相关自由能的唯一极小元，该极小元具有 Gibbs 形式。我们的关键技术贡献在于分析该极小元得到的估计器：我们证明其二阶导数处处为零，除了某些代表“结点”的特定位置之外。我们还提供了经验证据，表明如我们的理论所预测的，可能出现在不同于数据点的位置处的结点。
引用
@article{arxiv.2111.02278,
title = {Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks},
author = {Alexander Shevchenko and Vyacheslav Kungurtsev and Marco Mondelli},
journal= {arXiv preprint arXiv:2111.02278},
year = {2022}
}
备注
Accepted to the Journal of Machine Learning Research (JMLR)