面向门控循环神经网络的随机矩阵准则初始化

在训练之前进行适当的权重初始化一直是深度学习革命得以启动的关键因素之一。初始化在“储备计算”中尤为重要，在该方法中，读取层的权重是线性学习的，而储备层的权重是固定的，主要决定最终动态的丰富性、稳定性和记忆能力。在无限宽度极限下，已证明有意义的初始化是那些位于随机初始化模型有效临界点上的初始化。相位转变由权重方差 $g^2$ 控制，将有序相与混沌相分隔，其中信息会逐渐退化。在本文中，我们推导出一种简单准则，用于估计广泛类循环神经网络架构的临界 $g_c$，并表明它在对抗性预测任务上实现门控-RNN 储备计算性能峰值时， closely tracks 该增益。最后，我们认为我们的准则可作为未来初始化方案的设计原则。