有限神经网络作为高斯过程混合模型：从可证明误差界到先验选择

无限宽度或深度的神经网络（NN）具有独立同分布（i.i.d.）参数，等价于高斯过程。由于高斯过程的有利特性，这种等价性常被用于分析神经网络，并在此基础上取得了各种突破。然而，神经网络与高斯过程仅在极限情况下等价；在有限情况下，目前没有方法可以对训练好的神经网络进行近似，以给出高斯模型的误差界。本文提出一种算法框架，用于近似宽度有限、深度有限且参数可能不满足i.i.d.条件的神经网络，同时给出近似误差的界限。具体而言，我们采用Wasserstein距离来量化概率模型之间的接近程度，并借助最优传输和高斯过程工具，对神经网络每一层的输出分布进行高斯过程混合模型的迭代近似。关键地是，对于任意神经网络和任意$\epsilon >0$，我们的 метод能返回一个与神经网络在有限输入点集合上$\epsilon$-接近的高斯过程混合模型。此外，我们利用结果误差界的可微性，展示了本方法可用于调节神经网络参数，以模拟给定高斯过程的函数行为，例如用于贝叶斯推断中的先验选择。我们在回归和分类问题上对各种神经网络架构进行了实验，以检验本文结果的有效性。我们的实验结果表明，本研究为理解神经网络预测并正式量化其不确定性提供了重要一步。