作为循环神经网络记忆的語言知識
计算与语言
2017-03-09 v1
摘要
训练循环神经网络以建模长期依赖关系十分困难。因此，我们提出利用外部语言知识作为显式信号，告知模型应利用哪些记忆。具体而言，外部知识用于增强序列，在任意距离的元素之间添加带类型的边，并将生成的图分解为有向无环子图。我们引入了一种模型，将此类图编码为循环神经网络中的显式记忆，并将其用于建模文本中的共指关系。我们将该模型应用于多种文本理解任务，并在所有考虑的基准测试（包括 CNN、bAbi 和 LAMBADA）上取得了新的最先进结果。在 bAbi 问答任务中，我们的模型仅凭每个任务 1000 个训练样本便解决了 20 个任务中的 15 个。对学习到的表示的进一步分析表明，我们的模型能够编码跨文档的细粒度实体信息。
引用
@article{arxiv.1703.02620,
title = {Linguistic Knowledge as Memory for Recurrent Neural Networks},
author = {Bhuwan Dhingra and Zhilin Yang and William W. Cohen and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:1703.02620},
year = {2017}
}