双曲空间中的跨语言词嵌入
计算与语言
2022-06-28 v2
摘要
跨语言词嵌入可应用于多种自然语言处理任务且跨越多种语言。与以往使用基于欧几里得空间的词嵌入不同，这篇短论文提出一种简单而有效的跨语言 Word2Vec 模型，该模型适配于双曲空间的 Poincaré 球模型，从德英平行语料库中学习无监督跨语言词表示。已有研究表明，双曲嵌入能够捕捉并保留层次关系。我们在上下位词关系和类比任务上评估该模型。所提模型在跨语言类比任务上取得与原始 Word2Vec 模型相当的性能；上下位词任务表明，跨语言 Poincaré Word2Vec 模型能够跨语言从自由文本中捕捉潜在的层次结构，而基于欧几里得的 Word2Vec 表示中不存在这些结构。我们的结果显示，通过保留潜在层次信息，双曲空间能为跨语言嵌入提供更好的表示。
引用
@article{arxiv.2205.01907,
title = {Cross-lingual Word Embeddings in Hyperbolic Space},
author = {Chandni Saxena and Mudit Chaudhary and Helen Meng},
journal= {arXiv preprint arXiv:2205.01907},
year = {2022}
}
备注
6 pages