用于 MCMC 神经网络贝叶斯学习的迹类高斯先验

本文引入了一种新的基于神经网络的先验，用于 $\mathbb R^d$ 上的实值函数；与通常的 Karhunen-Loève 函数空间先验相比，该先验在构造上更易于且以更低代价在域维度 $d$ 上扩展。新先验是一种高斯神经网络先验，其中每个权重和偏置都具有独立的高斯先验，但关键区别在于方差随网络宽度的增加而递减，从而使得所得函数在无限宽网络的极限下几乎必然良定义。我们证明，在推断未知函数的贝叶斯处理中，所诱导的函数后验适于使用 Hilbert 空间马尔可夫链蒙特卡洛（MCMC）方法进行蒙特卡洛采样。这类 MCMC 在例如贝叶斯反问题文献中很流行，因为它在网格加密下是稳定的，即即使无限地引入函数先验的更多参数，接受概率也不会收缩到 $0$。在数值示例中，我们展示了相对于其他函数空间先验的这些所述竞争优势。我们还在贝叶斯强化学习中实现示例以从数据中自动化任务，并首次展示了此类问题中 MCMC 对网格加密的稳定性。