词嵌入：稳定性与语义变化
计算与语言
2020-08-03 v1
摘要
词嵌入由自然语言处理（NLP）中的一类技术计算而得，这些技术从大型文本语料库中为语言中的词创建连续向量表示。大多数嵌入技术的训练过程的随机性可能导致令人惊讶的强不稳定性，即随后将相同技术两次应用于相同数据会产生完全不同的结果。在本文中，我们对过去十年中最具影响力的三种嵌入技术：word2vec、GloVe 和 fastText 的训练过程不稳定性进行了实验研究。基于实验结果，我们提出了一个统计模型来描述嵌入技术的不稳定性，并引入了一种新的度量来测量单个词表示的不稳定性。最后，我们提出了一种最小化不稳定性的方法——通过对多次运行计算修正平均——并将其应用于一个具体的语言学问题：语义变化的检测与量化，即测量词的意义和用法随时间的变化。
引用
@article{arxiv.2007.16006,
title = {Word Embeddings: Stability and Semantic Change},
author = {Lucas Rettenmeier},
journal= {arXiv preprint arXiv:2007.16006},
year = {2020}
}