基于无监督图学习的非向量空间词嵌入
计算与语言
2020-10-07 v1 机器学习
摘要
将词表示为向量空间中的元素（word2vec、GloVe）已成为事实上的标准。尽管这种方法方便，但对语言而言并不自然：词构成一个具有潜在层次结构的图，且该结构必须由词嵌入揭示并编码。我们提出 GraphGlove：端到端学习的无监督图词表示。在我们的设定中，每个词是加权图中的一个节点，词间距离为对应节点间的最短路径距离。我们采用近期一种以可微加权图形式学习数据表示的方法，并用其改进 GloVe 训练算法。我们表明，在词相似度和类比任务上，我们的基于图的表示大幅优于基于向量的方法。我们的分析揭示，所学图的结构是层次性的且与 WordNet 相似，其几何高度非平凡并包含具有不同局部拓扑的子图。
引用
@article{arxiv.2010.02598,
title = {Embedding Words in Non-Vector Space with Unsupervised Graph Learning},
author = {Max Ryabinin and Sergei Popov and Liudmila Prokhorenkova and Elena Voita},
journal= {arXiv preprint arXiv:2010.02598},
year = {2020}
}
备注
Accepted as a long paper for EMNLP 2020. 15 pages, 6 figures