具有 $\alpha$-Stable 初始化的 ReLU 神经网络的大宽度渐近性

近期关于高斯神经网络（NNs，即权重初始化为高斯分布的神经网络）大宽度渐近性质的文献日益增多。两个热门问题是：i) 研究 NN 的大宽度分布，其用高斯随机过程刻画重缩放 NN 的无穷宽极限；ii) 研究 NN 的大宽度训练动态，其用称为神经切线核（NTK）的确定性核刻画无穷宽动态，并表明在足够大宽度下，梯度下降以线性速率达到零训练误差。本文中，我们考虑 $\alpha$-Stable NNs 的这些问题，即权重初始化为 $\alpha\in(0,2]$ 的 $\alpha$-Stable 分布的神经网络。首先，对于具有 ReLU 激活函数的 $\alpha$-Stable NNs，我们证明若 NN 宽度趋于无穷，则重缩放 NN 弱收敛于 $\alpha$-Stable 随机过程。与高斯情形不同，我们的结果表明激活函数的选择影响 NN 的缩放，即：为实现无穷宽 $\alpha$-Stable 过程，相对于次线性激活函数，ReLU 激活在缩放中需要额外的对数项。随后，我们研究 $\alpha$-Stable ReLU-NNs 的大宽度训练动态，用称为 $\alpha$-Stable NTK 的随机核刻画无穷宽动态，并表明在足够大宽度下，梯度下降以线性速率达到零训练误差。$\alpha$-Stable NTK 的随机性是相对于高斯情形的又一区别，即：在 $\alpha$-Stable 设定下，NN 在初始化时的随机性在训练的大宽度 regime 中并不消失。