局部表示对齐RNN是否能解决时序任务？

循环神经网络（RNN）常用于实时处理、流式数据以及训练样本有限的场景。反向传播通过时间（BPTT）是训练RNN的主要算法，但常因易出现梯度爆炸和消失以及生物学不合理性而受到批评。本文提出并评估了一种基于目标传播的方法，用于RNN，采用局部更新以寻求减少上述不稳定性。具有稳定RNN模型的能力增加了其在自然语言处理、时间序列预测、异常检测、控制系统和机器人领域等广泛场景中的实际应用价值。该方法使用局部表示对齐（LRA）。我们全面分析了该方法的性能，实验不同的归一化方法和不同的局部误差函数，并否定了关于该类学习行为的某些假设。也就是说，我们证明尽管网络被分解为子图，模型仍然会出现梯度消失。我们还显示，LRA中提出的梯度裁剪对网络性能影响甚微。这导致LRA RNN模型难以训练，因为存在梯度消失。我们通过在更新方向上引入梯度正则化来解决此问题，并证明该修改促进了梯度流动并显著影响收敛。我们比较和讨论了该算法的性能，并表明在三个标志性任务（时间顺序、3位时间顺序和随机排列）上，正则化的LRA RNN在性能上显著优于未正则化的版本。