有限贝叶斯神经网络的精确边际先验分布

贝叶斯神经网络仅在无限宽度极限下得到了理论上的充分理解，此时网络权重的高斯先验产生网络输出的高斯先验。近期工作表明有限贝叶斯网络可能优于其无限宽度对应物，但其非高斯函数空间先验仅通过微扰方法得到刻画。在此，我们推导了一类有限全连接前馈贝叶斯神经网络对单个输入样本的函数空间先验的精确解。对于深度线性网络，该先验可用 Meijer $G$-函数简洁表示。有限 ReLU 网络的先验是较小宽度线性网络先验的混合，对应于各层中不同数量的活跃单元。我们的结果从尾部衰减和大宽度行为两方面统一了先前对有限网络先验的描述。