具有虫洞连接的记忆增强神经网络
机器学习
2017-01-31 v1 神经与进化计算
机器学习
摘要
近期在长期依赖任务上的经验结果表明，相较于原始循环神经网络（RNN），增备外部记忆的神经网络能更轻松地学习长期依赖任务并取得更好的泛化。我们提出，记忆增强神经网络可通过创建捷径（或虫洞）连接来减弱梯度消失的影响。基于此观察，我们提出了一种名为 TARDIS（序列中时间自动关系发现，Temporal Automatic Relation Discovery in Sequences）的新型记忆增强神经网络模型。TARDIS 的控制器可将其自身先前隐藏状态的选择性嵌入集合存储至外部记忆中，并在需要时重新访问它们。对 TARDIS 而言，记忆充当通往过去的虫洞连接的存储，以更有效地传播梯度，并有助于学习时间依赖关系。TARDIS 的记忆结构类似于神经图灵机（NTM）和动态神经图灵机（D-NTM），但其读写操作均更为简单高效。我们采用离散寻址进行读写操作，这在很大程度上有助于缓解超长序列的梯度消失问题。TARDIS 中的读写操作在记忆填满后与一种启发式方法绑定，这使得相较于 NTM 或 D-NTM 类架构，学习问题更简单。我们针对 MANNs 的梯度传播给出了一般性详细分析。我们在不同长期依赖任务上评估了我们的模型，并在所有任务中报告了具有竞争力的结果。
引用
@article{arxiv.1701.08718,
title = {Memory Augmented Neural Networks with Wormhole Connections},
author = {Caglar Gulcehre and Sarath Chandar and Yoshua Bengio},
journal= {arXiv preprint arXiv:1701.08718},
year = {2017}
}