巴拉克的妻子希拉里：利用知识图谱进行事实感知语言建模
计算与语言
2019-06-24 v2
摘要
对人类语言进行建模不仅需要生成流畅文本的能力，还需要编码事实知识的能力。然而，传统语言模型只能记住训练时见过的事实，且常常难以回忆它们。为此，我们提出了知识图谱语言模型（KGLM），这是一种具有从知识图谱中筛选并复制与上下文相关事实的机制的神经语言模型。这些机制使模型能够输出从未见过的信息，并生成词汇表之外的词元。我们还引入了 Linked WikiText-2 数据集，这是一个与 Wikidata 知识图谱对齐的标注文本语料库，其内容（大致）匹配流行的 WikiText-2 基准。在实验中，我们证明 KGLM 比一个强基线语言模型取得了显著更好的性能。我们还比较了不同语言模型完成需要事实知识的句子的能力，表明 KGLM 甚至在生成事实方面优于非常大的语言模型。
引用
@article{arxiv.1906.07241,
title = {Barack's Wife Hillary: Using Knowledge-Graphs for Fact-Aware Language Modeling},
author = {Robert L. Logan and Nelson F. Liu and Matthew E. Peters and Matt Gardner and Sameer Singh},
journal= {arXiv preprint arXiv:1906.07241},
year = {2019}
}