PMI 矩阵近似及其在神经语言模型中的应用
计算与语言
2016-09-06 v1
摘要
word2vec 中使用的负采样 (NEG) 目标函数是噪声对比估计 (NCE) 方法的一种简化。NEG 被发现在学习连续词表示方面非常有效。然而，与 NCE 不同，它被认为不适用于学习语言模型的参数。在本研究中，我们驳斥了这一论断，为基于 NEG 的语言建模提供了一个原理性推导，该推导建立在对上下文与预测词之间的逐点互信息矩阵的低维近似的新颖分析之上。所得的语言建模与 NCE 语言模型密切相关，但基于一个简化的目标函数。因此，我们基于 NEG 目标函数为两个主要语言处理任务，即词嵌入和语言建模，提供了一个统一的表述。在两个流行的语言建模基准上的实验结果显示了可比的困惑度，其中 NEG 相比 NCE 具有微弱优势。
引用
@article{arxiv.1609.01235,
title = {PMI Matrix Approximations with Applications to Neural Language Modeling},
author = {Oren Melamud and Ido Dagan and Jacob Goldberger},
journal= {arXiv preprint arXiv:1609.01235},
year = {2016}
}