通过局部对齐分布式表示实现循环神经网络的持续学习

基于循环神经网络的时序模型已被证明在多种应用中相当强大。然而，训练这些模型通常依赖于随时间反向传播，这需要在许多时间步上展开网络，使得进行信用分配的过程更具挑战性。此外，反向传播本身的性质不允许使用不可微激活函数，并且本质上是顺序的，使得底层训练过程的并行化困难。在此，我们提出并行时序神经编码网络（P-TNCN），一种受生物学启发的模型，由我们称为局部表示对齐的学习算法训练。它旨在解决困扰随时间反向传播训练的循环网络的困难和问题。该架构既不需要时间展开，也不需要其内部激活函数的导数。我们将我们的模型和训练过程与其他随时间反向传播的替代方案（往往计算昂贵）进行比较，包括实时循环学习、回声状态网络和无偏在线循环优化。我们展示其在序列建模基准（如Bouncing MNIST、我们表示为Bouncing NotMNIST的新基准以及Penn Treebank）上优于这些方法。值得注意的是，我们的方法在某些情况下甚至可以胜过完整的随时间反向传播以及诸如稀疏注意力回溯等变体。重要的是，P-TNCN的隐藏单元校正阶段允许其适应新数据集，即使其突触权重保持固定（零样本适应），并在面对任务序列时促进保留先前的生成知识。我们呈现的结果展示了P-TNCN进行零样本适应和在线持续序列建模的能力。