Vec 为何物？迈向概率性奠基的嵌入
计算与语言
2019-11-12 v3 机器学习
机器学习
摘要
Word2Vec (W2V) 和 GloVe 是流行、快速且高效的词嵌入算法。它们的嵌入被广泛使用，并在多种自然语言处理任务上表现良好。此外，W2V 近来已被采用于图嵌入领域，并支撑了若干领先算法。然而，尽管它们无处不在且模型架构相对简单，对于 W2V 和 GloVe 的嵌入参数学习了什么、以及为何对下游任务有用，一直缺乏理论理解。我们表明，PMI 向量之间的不同相互作用反映了语义词关系，如相似性与释义，这些关系在合适投影下被编码于低维词嵌入中，从而从理论上解释了 W2V 和 GloVe 嵌入为何有效。作为结果，我们也揭示了所考虑的语义关系本身之间一个有趣的数学互连。
引用
@article{arxiv.1805.12164,
title = {What the Vec? Towards Probabilistically Grounded Embeddings},
author = {Carl Allen and Ivana Balažević and Timothy Hospedales},
journal= {arXiv preprint arXiv:1805.12164},
year = {2019}
}
备注
Advances in Neural Information Processing, 2019