宽神经网络中观测噪声与初始化的高斯过程视角

在宽神经网络中执行梯度下降，等价于计算具有神经正切核的高斯过程（NTK-GP）的后验均值，该过程具有特定的先验均值且观测噪声为零。然而，现有公式存在两个局限性：(i) NTK-GP假设目标无噪声，导致在噪声数据上出现模型误设；(ii) 该等价性不能扩展到任意的先验均值，而任意的先验均值对于良好设定的模型至关重要。为解决(i)，我们在训练目标中引入一个正则化项，并证明其对应于在NTK-GP中引入观测噪声。为解决(ii)，我们提出了一种\textit{偏移网络}，该网络能够实现任意的先验均值，并允许通过在单个网络上进行梯度下降来获得后验均值，无需集成或核求逆。我们通过在多个数据集和架构上的实验验证了我们的结果，表明该方法消除了在应用高斯过程建模中实际使用NTK-GP等价性的关键障碍。