平均场神经网络中有限宽度核与预测波动的动力学

我们分析了宽但有限的特征学习神经网络中有限宽度效应的动力学。从无限宽度深度神经网络核与预测动力学的动力学平均场理论（DMFT）描述出发，我们对网络权重随机初始化下 DMFT 序参量的 $O(1/\sqrt{\text{width}})$ 波动进行了刻画。我们的结果虽然在宽度上是微扰的，但与先前的分析不同，在特征学习强度上是非微扰的。在网络训练的惰性极限下，所有核都是随机的但在时间上是静态的，且预测方差具有普适形式。然而，在丰富的特征学习机制下，核与预测的波动是动态耦合的，其方差可以自洽地计算。在两层网络中，我们展示了特征学习如何动态地减小最终切线核和最终网络预测的方差。我们还展示了初始化方差如何减缓宽但有限网络中的在线学习。在更深的网络中，核方差可以在大特征学习强度下通过后续层急剧累积，但特征学习持续改善特征核的信噪比。在离散时间下，我们证明了诸如稳定性边缘效应等大学习率现象可以很好地被无限宽度动力学捕获，且初始化方差可以动态减小。对于在 CIFAR-10 上训练的 CNN，我们经验性地发现有限宽度对网络动力学的偏差和方差均有显著修正。