具有外部记忆的神经网络中的长时间尺度信用分配

传统循环神经网络中的信用分配通常涉及通过一长串共享权重矩阵进行反向传播。该链的长度随时间步数线性增长，因为同一网络在每个时间步上运行。这产生了许多问题，例如已被充分研究的梯度消失。相比之下，NNEM的架构循环活动不涉及长串活动（尽管某些架构如NTM确实利用传统循环架构作为控制器）。相反，外部存储的嵌入向量在每个时间步上被使用，但前一时间步之间不传递消息。这意味着梯度消失不是问题，因为所有必要的梯度路径都很短。然而，这些路径极其众多（每个记忆中的嵌入向量各一条），并且被重复使用很长时间（直到其离开记忆）。因此，每个记忆的前向传播信息必须存储整个记忆的持续时间。这是有问题的，因为这种额外存储远远超过了实际记忆，在高维设置中大型记忆无法进行反向传播。绕过持有前向传播信息需求的一种方法是每当梯度信息可用时重新计算前向传播。然而，如果观测值太大而无法存储在感兴趣领域中，则无法直接重新执行前向传播。相反，我们依赖一个学习到的自编码器来重建观测值，然后使用嵌入网络重新计算前向传播。由于重新计算的嵌入向量不太可能与存储在记忆中的完全匹配，我们尝试了两种近似方法来利用关于记忆中向量的误差梯度。