基于PMI矩阵近似的简单语言模型
计算与语言
2017-07-18 v1
摘要
在本研究中，我们引入了一种通过学习语言模型来估计词-上下文逐点互信息（PMI）的新方法，然后在测试时从PMI推导出所需的条件概率。具体而言，我们展示了通过对word2vec算法进行微小修改，可以得到与成熟的基于噪声对比估计（NCE）的语言模型密切相关的原则性语言模型。我们方法的一个引人注目的方面是，我们的模型使用与word2vec中常用于学习词嵌入的相同简单负采样目标函数进行训练。
引用
@article{arxiv.1707.05266,
title = {A Simple Language Model based on PMI Matrix Approximations},
author = {Oren Melamud and Ido Dagan and Jacob Goldberger},
journal= {arXiv preprint arXiv:1707.05266},
year = {2017}
}
备注
Accepted to EMNLP 2017