负采样 Skip-Gram 的二阶共现敏感性
计算与语言
2019-06-10 v2
摘要
我们模拟了一阶与二阶上下文重叠，并表明带负采样的 Skip-Gram 在捕获二阶共现信息方面类似于奇异值分解（SVD），而点互信息（PMI）对此不敏感。我们以一项实证研究支撑上述结果，发现当提供额外二阶信息时这些模型反应不同。我们的发现揭示了带负采样的 Skip-Gram 的一个基本性质，并指向了其在多种任务上取得成功的一种解释。
引用
@article{arxiv.1906.02479,
title = {Second-order Co-occurrence Sensitivity of Skip-Gram with Negative Sampling},
author = {Dominik Schlechtweg and Cennet Oguz and Sabine Schulte im Walde},
journal= {arXiv preprint arXiv:1906.02479},
year = {2019}
}
备注
BlackboxNLP 2019, 6 pages