具有软硬寻址方案的动态神经图灵机
机器学习
2017-03-20 v2 神经与进化计算
摘要
我们通过引入可训练的记忆寻址方案，将神经图灵机（NTM）模型扩展为动态神经图灵机（D-NTM）。该寻址方案为每个记忆单元维护两个独立的向量：内容向量和地址向量。这使得 D-NTM 能够学习包括线性和非线性在内的多种基于位置的寻址策略。我们使用连续可微和离散不可微的读写机制实现了 D-NTM。我们通过在 Facebook bAbI 任务上的实验，使用前馈和 GRU 控制器，研究了学习读写记忆的机制和效果。D-NTM 在一组 Facebook bAbI 任务上进行了评估，并显示出优于 NTM 和 LSTM 基线的性能。我们对我们的模型以及 NTM 的不同变体在 bAbI 任务上进行了广泛的分析。我们还提供了关于序列化 pMNIST、斯坦福自然语言推理、联想回忆和复制任务的进一步实验结果。
引用
@article{arxiv.1607.00036,
title = {Dynamic Neural Turing Machine with Soft and Hard Addressing Schemes},
author = {Caglar Gulcehre and Sarath Chandar and Kyunghyun Cho and Yoshua Bengio},
journal= {arXiv preprint arXiv:1607.00036},
year = {2017}
}
备注
13 pages, 3 figures