用于语言理解的带外部记忆的循环神经网络
计算与语言
2015-06-02 v1 人工智能
机器学习
神经与进化计算
摘要
循环神经网络(RNNs)在语言理解任务中已变得越来越流行。在该任务中，部署一个语义标注器为输入序列中的每个词关联一个语义标签。RNN的成功可归因于其记忆长期依赖的能力，该依赖将当前时刻的语义标签预测与相距多个时间步的观测联系起来。然而，简单RNN的记忆容量由于梯度消失和爆炸问题而受限。我们提出使用外部记忆来提升RNN的记忆能力。我们在ATIS数据集上进行了实验，观察到所提模型能够取得最先进(state-of-the-art)结果。我们将所提模型与其他模型进行比较，并报告可能为未来研究提供见解的分析结果。
引用
@article{arxiv.1506.00195,
title = {Recurrent Neural Networks with External Memory for Language Understanding},
author = {Baolin Peng and Kaisheng Yao},
journal= {arXiv preprint arXiv:1506.00195},
year = {2015}
}
备注
submitted to Interspeech 2015