贝叶斯深度神经网络中的核重整：等效威斯特算式在比例规模下的等价形式

当训练集大小 $P$ 和深度神经网络宽度 $N$ 以相同速率增长时的扩大极限——即称为比例宽度规模——已广泛研究用于浅层、单隐藏层网络。然而，将这些非微扰结果从浅层架构推广到深层非线性网络具有很大挑战性。本文提出了一种有效的近似方法，用于预测固定深度 $L$ 的贝叶斯多层感知器（MLP）在任意高维数据上的泛化性能。我们提出了等效威斯特算式（equivalent Wishart Ansatz）来捕捉MLP等级经验核的主要随机波动。这使我们能够对MLP在比例极限下的分区函数进行大偏差分析，表达式为以重整理后的NNGP核为主。在该描述中，即使在比例极限下进行强大的表示学习，也仅用 $L$ 个标量序参数来编码，这些参数通过自洽方式确定。将该方法扩展到卷积网络（CNN），我们识别出一种等级的局部核重整机制，这允许量化由于有限宽度效应导致的CNN中更复杂的数据依赖性核变换。我们用固定深度 $L \sim O(10)$ 且 $P\sim O(10^3)$ 的有限深度神经网络的贝叶斯后验抽样实验测试了我们有效的理论，发现整体上与实际结果非常吻合，并且存在两种不同的系统偏差。