深度与循环神经元网络的统一场论方法

理解不同网络架构的能力与局限对机器学习具有根本重要性。基于高斯过程的贝叶斯推断已被证明是研究无限层宽极限 $n\to\infty$ 下循环与深度网络的可行方法。此处我们给出两种架构平均场理论的统一且系统的推导，该推导通过采用无序系统统计物理的既有方法从第一性原理出发。该理论阐明，尽管平均场方程在其时间结构上有所不同，但当分别在单一时间点或层读取输出时，它们却给出相同的高斯核。应用于分类的贝叶斯推断进而预测两种架构具有相同的性能与能力。在数值上，我们发现循环网络相较于深度网络通常更慢地收敛于平均场理论，且收敛速度分别非平凡地依赖于权重先验的参数以及深度或时间步数。我们的方法揭示高斯过程仅是 $1/n$ 系统展开的最低阶，我们计算了次主导阶修正，其结果是架构特定的。因此该形式体系为在有限宽度 $n$ 下研究循环与深度架构间的根本差异铺平了道路。