双曲空间中的 Skip-gram 词嵌入
计算与语言
2019-05-28 v2 人工智能
机器学习
机器学习
摘要
近期研究表明,树状图在双曲空间中的嵌入性能大幅超越其欧氏对应方法。受这些结果及词共现图的无标度结构启发,我们提出一种从自由文本中学习双曲空间词嵌入的算法。基于双曲距离导出了目标函数,并将其纳入 word2vec 的 skip-gram 负采样架构中。随后在词相似度和类比基准上评估了双曲词嵌入。结果表明了双曲词嵌入的潜力,尤其在低维情况下,尽管并未明显优于其欧氏对应方法。我们进一步讨论了在弯曲空间中类比任务表述的微妙之处。
引用
@article{arxiv.1809.01498,
title = {Skip-gram word embeddings in hyperbolic space},
author = {Matthias Leimeister and Benjamin J. Wilson},
journal= {arXiv preprint arXiv:1809.01498},
year = {2019}
}