解构词嵌入算法
计算与语言
2020-11-16 v1 人工智能
摘要
词嵌入是可靠的词特征表示，用于为各类 NLP 应用获取高质量结果。非上下文词嵌入如今用于许多 NLP 任务，尤其在无高内存容量与 GPU 可用的资源受限场景中。鉴于词嵌入在 NLP 中的历史成功，我们针对若干最知名的词嵌入算法提出回顾。本工作中，我们将 Word2vec、GloVe 等解构为一种通用形式，揭示了看似是构建高性能词嵌入所必需的若干共同条件。我们相信本文的理论发现可为未来模型更具依据的研制提供基础。
引用
@article{arxiv.2011.07013,
title = {Deconstructing word embedding algorithms},
author = {Kian Kenyon-Dean and Edward Newell and Jackie Chi Kit Cheung},
journal= {arXiv preprint arXiv:2011.07013},
year = {2020}
}
备注
EMNLP 2020, 6 pages. arXiv admin note: substantial text overlap with arXiv:1911.13280