使用循环神经网络在实体、关系和文本上进行推理链
计算与语言
2017-05-02 v3
摘要
我们的目标是将符号逻辑推理的丰富多步推理能力与神经网络的泛化能力相结合。我们尤其关注文本和大规模知识库 (KB) 中关于实体和关系的复杂推理。Neelakantan 等人 (2015) 使用 RNN 来组合知识库中多跳路径的分布式语义；然而由于多种原因，该方法缺乏准确性和实用性。本文提出了三项重要的建模改进：(1) 我们学习联合推理关系、实体和实体类型；(2) 我们使用神经注意力建模来整合多条路径；(3) 我们学习在单个 RNN 中共享强度，该 RNN 表示跨所有关系的逻辑组合。在一项大规模 Freebase+ClueWeb 预测任务中，我们实现了 25% 的误差降低，并且由于共享强度，在稀疏关系上实现了 53% 的误差降低。在 WordNet 的推理链上，我们将平均分位数误差相对于先前最先进水平降低了 84%。代码和数据可在 https://rajarshd.github.io/ChainsofReasoning 获取。
引用
@article{arxiv.1607.01426,
title = {Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks},
author = {Rajarshi Das and Arvind Neelakantan and David Belanger and Andrew McCallum},
journal= {arXiv preprint arXiv:1607.01426},
year = {2017}
}
备注
accepted to EACL 2017 (fixed latex formatting in previous version)