极值 GloVe：通过尾部推断实现理论上精确的分布式词嵌入
计算与语言
2022-04-28 v1
摘要
Word2Vec 和 GloVe 等分布式词嵌入已在工业场景中被广泛采用。GloVe 的主要技术应用包括推荐系统和自然语言处理。GloVe 背后的基本理论依赖于在加权最小二乘公式中选择一个加权函数，该函数计算单词出现次数与语料库中最大单词计数的幂次比值。然而，GloVe 的初始公式在两个方面理论上不够严谨，即加权函数的选择及其幂指数是特设的。本文利用极值分析理论，提出了一个理论上精确的 GloVe 版本。通过将加权最小二乘损失函数重新表述为期望损失函数，并精确选择幂指数，我们创建了一个理论上精确的 GloVe 版本。我们展示了算法的竞争力，并表明采用建议最优参数的 GloVe 初始公式可视为我们范式的一个特例。
引用
@article{arxiv.2204.13009,
title = {Extremal GloVe: Theoretically Accurate Distributed Word Embedding by Tail Inference},
author = {Hao Wang},
journal= {arXiv preprint arXiv:2204.13009},
year = {2022}
}
备注
ICCIP 2021