残差网络的精确高斯矩匹配：一种二阶方法

我们研究了将一般多元高斯分布的均值和协方差通过深度（残差）神经网络进行逐层矩匹配的问题。我们通过推导对 probit、GeLU、ReLU（作为 GeLU 的极限）、Heaviside（作为 probit 的极限）和 sine 激活函数的精确矩匹配，弥合了长期以来的差距；对于 feedforward 和广义残差层。我们在随机网络上发现，KL 散度误差指标上，与流行替代方案相比提升了数个数量级，最高可达百万倍。在变分贝叶斯神经网络上，我们显示该方法在 KL 散度从蒙特卡洛真值提升上，相对于最先进的确定性推断方法提升了百倍。我们还给出平滑距离误差界，表明在正则性假设下，矩匹配消除了 leading low-variance 误差，并通过网络的层级传递更高阶的局部精度。