二次激活函数浅层神经网络的优化与泛化

我们研究了在过参数化 regime 下，即层宽 $m$ 大于输入维度 $d$ 时，具有二次激活函数的单隐藏层神经网络的优化动力学和泛化性质。我们考虑教师-学生场景，其中教师具有与学生相同的结构，但隐藏层宽度较小 $m^*\le m$。我们描述了经验损失景观如何受数据样本数 $n$ 和教师网络宽度 $m^*$ 的影响。特别地，我们确定了经验损失上无虚假极小值的概率如何依赖于 $n$、$d$ 和 $m^*$，从而建立了神经网络原则上可恢复教师的条件。我们还表明在相同条件下，经验损失上的梯度下降动力学收敛并导致小的泛化误差，即它能在实践中实现恢复。最后我们刻画了在大量样本极限下梯度下降的时间收敛速率。这些结果通过数值实验得到证实。