实时递归学习 (RTRL) 算法收敛性分析：一种循环神经网络类

循环神经网络 (RNN) 通常使用截断反向传播通过时间 (TBPTT) 算法进行训练。为实现计算可行性，TBPTT 算法会对链式法则进行截断，并计算整体数据序列上有限数据块的梯度。这种近似方法可能导致显著不准确性，因为截断反向传播的块长度通常远小于整体序列长度。相比之下，实时递归学习 (RTRL) 是一种在线优化算法，当序列时间步数 $t \rightarrow \infty$ 时，可渐近地跟随数据序列上损失函数的真实梯度。RTRL 通过反向传播 RNN 隐藏层/记忆单元相对于参数的导数，并利用这些前向导数，在数据序列的每个时间步上执行参数的在线更新。RTRL 的在线前向传播允许对极长数据序列进行精确优化，尽管对于参数数量大的模型可能计算代价高昂。我们证明了 RTRL 算法对某类 RNN 的收敛性。收敛分析在数据序列样本数和训练步数趋于无穷时，建立了数据序列、RNN 隐藏层及 RNN 隐藏层前向导数联合分布的固定点。我们证明了 RTRL 算法收敛于损失函数的平稳点。数值实验说明了我们的理论结果。RTRL 的一个潜在应用领域是金融数据分析，后者通常涉及长时间序列和参数数量较小至适中的模型。这使得 RTRL 在计算上是可行的，并且是训练此类模型的具有吸引力的优化方法。因此，我们包含一个将 RTRL 应用于限价簿数据的数据示例。