宽残差网络的泛化能力

在本文中，我们研究了具有 ReLU 激活函数的宽残差网络在 $\mathbb{S}^{d-1}$ 上的泛化能力。我们首先证明，当宽度 $m\rightarrow\infty$ 时，残差网络核（RNK）一致收敛于残差神经正切核（RNTK）。该一致收敛进一步保证了残差网络的泛化误差收敛于关于 RNTK 的核回归的泛化误差。作为直接推论，我们随后证明 $i)$ 采用早停策略的宽残差网络在目标回归函数属于与 RNTK 相关的再生核希尔伯特空间（RKHS）时可达极小极大速率；$ii)$ 若训练至过拟合数据，宽残差网络则无法良好泛化。我们最后通过一些实验来调和我们的理论结果与广泛观察到的“良性过拟合现象”之间的矛盾。