浅层单变量ReLU网络的梯度动力学
机器学习
2019-06-20 v1 机器学习
摘要
我们对解决最小二乘插值的过参数化浅层 ReLU 网络（一维输入）的梯度动力学进行了理论与实证研究。我们表明，此类网络的梯度动力学由网络函数非冗余参数化中的梯度流决定。我们考察了该梯度流的主要定性特征。特别地，我们确定了两种学习机制（核机制与自适应机制）的条件，它们同时取决于不同层中权重初始化的相对大小，以及初始化系数在大网络宽度极限下的渐近行为。我们表明，核机制中的学习产生平滑插值，最小化曲率，并在均匀初始化时退化为三次样条。自适应机制中的学习则倾向于线性样条，其节点在样本点处自适应聚集。
引用
@article{arxiv.1906.07842,
title = {Gradient Dynamics of Shallow Univariate ReLU Networks},
author = {Francis Williams and Matthew Trager and Claudio Silva and Daniele Panozzo and Denis Zorin and Joan Bruna},
journal= {arXiv preprint arXiv:1906.07842},
year = {2019}
}