循环神经网络中状态与参数时间尺度的耦合

我们表明，循环神经网络 (RNN) 中的门控机制即使使用固定全局步长的训练，也会诱导滞后依赖和方向依赖的有效学习率。这一行为源于状态空间尺度（由门控参数化）与参数空间动力学之间的耦合。通过推导 leaky-integrator 和门控 RNN 的精确雅可比矩阵，并应用一阶展开，我们明确地展示了常数、标量和多维门如何重塑梯度传播、调制有效步长，并在参数更新中引入各向异性。这些发现表明，门控不仅仅是信息流的过滤器，还是优化器驱动的自适应方法（如 Adam）的自适应 preconditioner。经验仿真也证实了这些预测：在多个序列任务中，门控产生滞后依赖的有效学习率，并将梯度流集中到低维子空间中，匹配或超过 Adam 所诱导的各向异性结构。值得注意的是，门控和优化器驱动的自适应性塑造了信用分配的互补方面：门控将状态空间传输与损失相关方向对齐，而优化器则对参数空间更新进行尺度调整。总体而言，本工作提供了一种统一的动力学系统视角，阐明了门控如何耦合状态演化与参数更新，阐明了为何门控体系结构在实践中实现稳健的可训练性。