高斯注意力模型及其在知识库嵌入与问答中的应用
机器学习
2016-12-01 v2 人工智能
计算与语言
机器学习
摘要
我们提出用于基于内容的神经记忆访问的高斯注意力模型。利用该注意力模型，神经网络具有额外的自由度，可将其注意力焦点从激光般锐利的控制到宽泛注意力。只要我们能够假设潜空间中的距离反映某种语义概念，该模型便适用。我们将提出的注意力模型用作知识库嵌入到连续向量空间的评分函数，然后训练一个模型，对知识库中的实体执行问答。该注意力模型能够自然地处理遵循一系列关系时的不确定性传播以及条件的合取。在参加了2014年FIFA世界杯的足球运动员数据集上，我们证明了我们的模型能很好地处理路径查询和合取查询。
引用
@article{arxiv.1611.02266,
title = {Gaussian Attention Model and Its Application to Knowledge Base Embedding and Question Answering},
author = {Liwen Zhang and John Winn and Ryota Tomioka},
journal= {arXiv preprint arXiv:1611.02266},
year = {2016}
}
备注
16 pages, 4 figures