面向记忆增强神经网络的部分非循环控制器
神经与进化计算
2019-01-01 v1 机器学习
摘要
记忆增强神经网络（MANNs）是一类配备外部记忆的神经网络，被报道对需要大量长期记忆及其选择性使用的任务有效。MANN的核心模块称为控制器，通常实现为循环神经网络（RNN）（如LSTM），以在控制其他模块时利用上下文信息。然而，此类基于RNN的控制器常使MANN能利用其（较小的）内部记忆直接解决给定任务，妨碍MANN充分利用外部记忆，从而导致次优训练的模型。为解决该问题，我们提出一种新型基于RNN的控制器，它是部分非循环的，避免利用其内部记忆直接解题，同时保持控制其他模块时使用上下文信息的能力。我们在Toy和bAbI任务上使用神经图灵机与可微分神经计算机进行的实证实验表明，所提控制器比标准基于RNN的控制器给出明显更好的结果。
引用
@article{arxiv.1812.11485,
title = {Partially Non-Recurrent Controllers for Memory-Augmented Neural Networks},
author = {Naoya Taguchi and Yoshimasa Tsuruoka},
journal= {arXiv preprint arXiv:1812.11485},
year = {2019}
}