一种用于动态表示话语中未知词与实体含义的神经语言模型
计算与语言
2017-10-18 v2
摘要
本研究针对神经语言模型中使用的词嵌入方法，探讨了识别话语中未知词或实体含义的问题。我们提出了一种通过追踪上下文，在神经模型的输入层和输出层即时构建并利用词嵌入的方法。该方法扩展了 Kobayashi 等人 (2016) 使用的动态实体表示，并融合了由 Gu 等人 (2016) 以及 Gulcehre 等人 (2016) 独立提出的复制机制 (copy mechanism)。此外，我们构建了一个名为“匿名化语言建模”(Anonymized Language Modeling) 的新任务和数据集，用于评估模型在阅读过程中捕捉词义的能力。在我们新数据集上进行的实验表明，所提出的 RNN 语言模型变体优于基线模型。此外，实验还证明，输出层的动态更新有助于模型预测重新出现的实体，而输入层的动态更新则能有效预测紧随重新出现实体之后的词。
引用
@article{arxiv.1709.01679,
title = {A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse},
author = {Sosuke Kobayashi and Naoaki Okazaki and Kentaro Inui},
journal= {arXiv preprint arXiv:1709.01679},
year = {2017}
}
备注
11 pages. To appear in IJCNLP 2017