深度高斯神经网络的大宽度函数渐近性

本文考虑权值与偏置独立同分布于高斯分布的 fully connected 前馈深度神经网络。扩展先前结果（Matthews 等，2018a;b；Yang，2019），我们采用函数空间视角，即把神经网络视为输入空间 $\mathbb{R}^I$ 上的无限维随机元。在对激活函数作适当假设下，我们证明：i）网络在输入空间 $\mathbb{R}^I$ 上定义一个连续高斯过程；ii）权重经重标度的网络在大宽度极限下弱收敛于一个连续高斯过程；iii）极限高斯过程几乎必然具有局部 $\gamma$-H"older 连续轨道，其中 $0 < \gamma <1$。我们的结果通过建立在更强度量下的函数空间弱收敛，对近期关于无限宽深度神经网络与高斯过程相互作用的理论研究有所贡献。