带有负采样的 word2vec Skip-Gram 是一种加权 Logistic PCA
计算与语言
2017-05-30 v1 机器学习
摘要
我们证明了使用负采样训练的 word2vec 的 skip-gram 公式等价于一种加权 Logistic PCA。这一联系使我们能够更好地理解其目标函数，将其与其他词嵌入方法进行比较，并将其扩展到更高维的模型。
引用
@article{arxiv.1705.09755,
title = {word2vec Skip-Gram with Negative Sampling is a Weighted Logistic PCA},
author = {Andrew J. Landgraf and Jeremy Bellay},
journal= {arXiv preprint arXiv:1705.09755},
year = {2017}
}