一种受量子多体波函数启发的语言建模方法
计算与语言
2018-09-05 v3
摘要
近期提出的量子语言模型（QLM）旨在通过将量子概率理论应用于建模词项依赖关系，提供一种基于原理的方法。为获得更有效的 QLM，最新进展采用词嵌入作为一种全局依赖信息，并将量子启发的思想集成于神经网络架构中。尽管这些量子启发的语言模型在理论上更具一般性且实践中也有效，它们存在两个主要局限。第一，它们未考虑具有多义性的词之间的相互作用，而这在理解自然语言文本中常见且重要。第二，量子启发语言模型与神经网络的集成主要为了参数的有效训练，缺乏解释此种集成的理论基础。为解决这两个问题，本文我们提出一种受量子多体波函数（QMWF）启发的语言建模方法。QMWF 启发的语言模型可采用张量积来建模前述词间相互作用。它也使我们能揭示在 QMWF 语言建模中使用卷积神经网络（CNN）的内在必要性。此外，我们的方法给出了一种表示与匹配文本/句子对的简单算法。系统评估显示，在三个典型的问答（QA）数据集上，所提出的 QMWF-LM 算法相较于当前最优的量子启发语言模型及若干基于 CNN 的方法均表现出有效性。
引用
@article{arxiv.1808.09891,
title = {A Quantum Many-body Wave Function Inspired Language Modeling Approach},
author = {Peng Zhang and Zhan Su and Lipeng Zhang and Benyou Wang and Dawei Song},
journal= {arXiv preprint arXiv:1808.09891},
year = {2018}
}
备注
10 pages,4 figures,CIKM