神经形态内核理论中随机初始化的影响

本文旨在讨论神经网络随机初始化在神经形态内核（NTK）理论中的影响，而这一点被大多数近期的NTK理论研究所忽略。众所周知，当网络宽度趋于无限时，带有随机初始化的神经网络会收敛于高斯过程 $f^{\mathrm{GP}}$，其取值在 $L^{2}(\mathcal{X})$ 中，其中 $\mathcal{X}$ 为数据的域。相比之下，为了采用传统的核回归理论，大多数近期研究引入了特殊的镜像架构和镜像（随机）初始化，以确保网络输出在初始化时恰为零。因此，仍有一个问题：传统设置和镜像初始化是否会导致宽神经网络 exhibit 不同的泛化能力。本文首先展示了带随机初始化的神经网络的梯度流训练动力学在均匀收敛于相应NTK回归的随机初始化 $f^{\mathrm{GP}}$ 的训练动力学。随后我们证明 $\mathbf{P}(f^{\mathrm{GP}} \in [\mathcal{H}^{\mathrm{NT}}]^{s}) = 1$ 当且仅当 $s < \frac{3}{d+1}$，而 $\mathbf{P}(f^{\mathrm{GP}} \in [\mathcal{H}^{\mathrm{NT}}]^{s}) = 0$ 当 $s \geq \frac{3}{d+1}$，其中 $[\mathcal{H}^{\mathrm{NT}}]^{s}$ 为NTK相关RKHS $\mathcal{H}^{\mathrm{NT}}$ 的实插值空间。因此，经过梯度下降训练的宽神经网络的泛化误差为 $\Omega(n^{-\frac{3}{d+3}})$，仍受维度诅咒。一方面，结果凸显了镜像初始化的优势；另一方面，结果暗示NTK理论可能不完全解释神经网络的卓越性能。