师生设定下两层 ReLU 神经网络的过量风险及其对核方法的优越性

尽管深度学习已在各类任务上超越其他方法，但解释其原因的理论框架尚未完全建立。为此，我们研究师生回归模型中两层 ReLU 神经网络的过量风险，其中学生网络通过教师网络的输出学习未知教师网络。特别地，我们考虑与教师网络等宽、并分两阶段训练的学生网络：先使用带噪梯度下降，再使用原始梯度下降。我们的结果表明，学生网络可证明地达到近全局最优解，并在极小极大最优率意义上优于任何核方法估计量（更一般地，线性估计量），包括神经正切核方法、随机特征模型及其他核方法。导致此优越性的关键概念是神经网络模型的非凸性。尽管损失景观高度非凸，学生网络仍能自适应地学习教师神经元。