词嵌入的范数编码信息增益

词的分布式表示编码了词汇语义信息，但编码了何种类型的信息以及如何编码？我们聚焦于带负采样的跳元模型，发现静态词嵌入的平方范数编码了该词所传达的信息增益；信息增益由该词的共现分布相对于一元分布的 Kullback-Leibler 散度定义。我们的发现通过指数族概率分布的理论框架得以解释，并通过消除词频引起的虚假相关性的精确实验得到证实。该理论还扩展到语言模型中的上下文词嵌入或任何具有 softmax 输出层的神经网络。我们还证明，KL 散度和嵌入的平方范数在关键词提取、专有名词判别和上位词判别等任务中，均提供了衡量词信息量的有用度量。