word2vec 解析：推导 Mikolov 等人的负采样词嵌入方法
计算与语言
2014-02-18 v1 机器学习
机器学习
摘要
Tomas Mikolov 及其同事开发的 word2vec 软件（https://code.google.com/p/word2vec/）最近获得了广泛关注，并提供了最先进的词嵌入。该软件背后的学习模型在两篇研究论文中进行了描述。我们发现这些论文中对模型的描述有些晦涩难懂。虽然其动机和表述对于神经网络语言建模领域的人来说可能显而易见，但我们不得不花费很大力气才能理清这些方程背后的原理。本笔记旨在解释 Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado 和 Jeffrey Dean 撰写的《词语和短语的分布式表示及其组合性》一文中的方程 (4)（负采样）。
引用
@article{arxiv.1402.3722,
title = {word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method},
author = {Yoav Goldberg and Omer Levy},
journal= {arXiv preprint arXiv:1402.3722},
year = {2014}
}