非线性递归神经网络相关性的统计

相关性的统计是刻画递归神经网络集体动力学的关键量。我们推导了在神经元数量 N 趋于无穷大的情况下，针对高斯退火无序情形下的非线性递归网络相关性统计表达式，包括系统的 1/N 修正项。我们的方法使用网络随机动力学的路径积分表示，将描述简化为少数集体变量，从而实现了高效计算。这一结果推广了针对线性网络的先前结果，纳入了广泛的非线性激活函数家族，这些激活函数以相互作用项形式出现在路径积分中。这些相互作用可以解决线性理论的不稳定性，产生严格为正的参与维数。我们给出了幂律激活函数的具体结果，揭示了由网络耦合控制的尺度行为。此外，我们引入了一类基于 Pade 近似的激活函数，并为其相关性统计提供解析预测。数值模拟确认了我们的理论结果，误差极小。我们还与研究退火无序情形的先前工作进行了比较，据此我们提出了一个用于更一般的彩色噪声情形的新型自洽方程。