Poincaré GloVe：双曲词嵌入
计算与语言
2018-11-26 v2
摘要
词生而不平等。事实上，它们构成了一个具有潜在层次结构的贵族图，下一代无监督学习的词嵌入应当揭示这一结构。在本文中，基于空间的 delta-双曲性（即类树性）概念，我们提出将词嵌入到双曲空间的笛卡尔积中，并从理论上将其与高斯词嵌入及其 Fisher 几何相联系。这一联系使我们能够引入一种新颖的、有原则的词嵌入上下位关系评分。此外，我们改编了著名的 GloVe 算法，以在此类黎曼流形上学习无监督词嵌入。我们进一步解释了如何使用黎曼平行传输来解决类比任务，该传输将向量算术推广到这种新几何中。根据大量实验，我们从经验上证明，我们无监督训练的嵌入是首个同时在相似性、类比和上下位检测任务上超越强大且流行的基线的嵌入。特别是在词上下位关系方面，我们在完全无监督的 WBLESS 分类准确率上取得了新的 state-of-the-art。
引用
@article{arxiv.1810.06546,
title = {Poincar\'e GloVe: Hyperbolic Word Embeddings},
author = {Alexandru Tifrea and Gary Bécigneul and Octavian-Eugen Ganea},
journal= {arXiv preprint arXiv:1810.06546},
year = {2018}
}