稀疏注意力回溯：通过提醒实现时间信用分配

在长时序序列中学习长期依赖关系需要对过去很久的事件进行信用分配。训练循环神经网络最常用的方法——时间反向传播（BPTT）——要求信用信息通过前向计算的每一步向后传播，可能跨越数千甚至数百万个时间步。当用于长序列时，这在计算上变得昂贵甚至不可行。重要的是，生物大脑不太可能对非常长的内部状态序列（考虑数天、数月或数年）进行如此细致的反向重放。然而，人类常常被提醒起与当前心理状态相关的过去记忆或心理状态。我们考虑这样一种假设：过去与现在之间的此类记忆关联可用于在任意长序列中进行信用分配，将分配给当前状态的信用传播到相关的过去状态。基于这一原理，我们研究了一种新颖的算法，该算法仅通过少数此类时间跳跃连接进行反向传播，这些连接由一种学习到的注意力机制实现，该机制将当前状态与相关的过去状态相关联。我们在实验中证明，在涉及特别长期依赖的任务中，我们的方法匹配或优于常规BPTT和截断BPTT，但不需要在全部状态历史上进行生物学上难以置信的反向重放。此外，我们证明所提出的方法比用BPTT训练的LSTM和用完全自注意力训练的LSTM显著更好地迁移到更长的序列。