具有负采样的增量 Skip-gram 模型
计算与语言
2017-04-18 v2
摘要
本文从经验和理论两个角度探索了带负采样的 skip-gram 模型(SGNS)的增量训练策略。现有的神经词嵌入方法，包括 SGNS，都是多遍算法，因此无法执行增量模型更新。为解决此问题，我们提出了 SGNS 的一个简单增量扩展，并提供了详尽的理论分析以证明其有效性。经验实验证明了理论分析的正确性以及该增量算法的实际有用性。
引用
@article{arxiv.1704.03956,
title = {Incremental Skip-gram Model with Negative Sampling},
author = {Nobuhiro Kaji and Hayato Kobayashi},
journal= {arXiv preprint arXiv:1704.03956},
year = {2017}
}