词嵌入的受控实验
计算与语言
2015-12-15 v2
摘要
提出了一种研究词嵌入属性的实验方法。通过修改训练语料实现的受控实验，能够展示词属性与词向量方向和长度之间的直接关系。该方法使用word2vec CBOW模型进行演示，实验独立改变词频和词共现噪声。实验揭示词向量长度或多或少线性地依赖于词频以及词共现分布中的噪声水平。线性系数取决于具体的词。在特征空间中由共现分布中具有纯噪声的（人工）词所定义的特殊点，被发现虽小但非零。
引用
@article{arxiv.1510.02675,
title = {Controlled Experiments for Word Embeddings},
author = {Benjamin J. Wilson and Adriaan M. J. Schakel},
journal= {arXiv preprint arXiv:1510.02675},
year = {2015}
}
备注
Chagelog: Rerun experiment with subsampling turned off; re-interpreted results in light of Schnabel et al. (2015). 15 pages