上下文向量是词向量在半数维度上的反射
机器学习
2019-02-27 v1 计算与语言
机器学习
摘要
本文朝 word2vec 等模型中词嵌入与上下文嵌入之间关系的理论分析迈出一步。我们从关于词向量、上下文向量和文本生成本质的基本概率假设出发。这些假设已由现有文献从经验或理论上充分支持。接着，我们表明在这些假设下，广泛使用的词-词 PMI 矩阵近似为一个随机对称高斯系综。这进而意味着上下文向量是词向量在大约一半维度上的反射。作为我们结果的直接应用，我们提出了一种在 SGNS 模型中绑定权重的有理论依据的方法。
引用
@article{arxiv.1902.09859,
title = {Context Vectors are Reflections of Word Vectors in Half the Dimensions},
author = {Zhenisbek Assylbekov and Rustem Takhanov},
journal= {arXiv preprint arXiv:1902.09859},
year = {2019}
}