利用 $k$ 路共现学习词嵌入
计算与语言
2017-09-06 v1
摘要
两个词之间的共现为理解这些词的语义提供了有用的见解。因此，许多先前关于词嵌入学习的工作都使用两个词之间的共现作为学习词嵌入的训练信号。然而，在自然语言文本中，多个词在同一上下文中相关并共现是很常见的。我们将共现的概念扩展为涵盖一组 个词之间的 路共现。具体而言，我们证明了 个词的联合概率与其嵌入的 范数之和之间的理论关系。接下来，我们基于这一理论结果提出了一种利用 路共现学习词嵌入的学习目标。实验结果表明，推导出的理论关系确实在经验上成立，并且尽管存在数据稀疏性，但对于某些较小的 值， 路嵌入在一系列任务中的表现与 路嵌入相当或更好。
引用
@article{arxiv.1709.01199,
title = {Using $k$-way Co-occurrences for Learning Word Embeddings},
author = {Danushka Bollegala and Yuichi Yoshida and Ken-ichi Kawarabayashi},
journal= {arXiv preprint arXiv:1709.01199},
year = {2017}
}