Skip-Gram负采样的黎曼优化
计算与语言
2017-04-27 v1
摘要
Skip-Gram负采样（SGNS）词嵌入模型因在“word2vec”软件中的实现而广为人知，通常通过随机梯度下降进行优化。然而，SGNS目标的优化可视为一个在低秩约束下寻找优质矩阵的问题。解决此类问题最标准的方法是应用黎曼优化框架，在所需低秩矩阵的流形上优化SGNS目标。本文提出一种利用黎曼优化优化SGNS目标的算法，并证明了其相对于流行竞争对手（如训练SGNS的原始方法以及在SPPMI矩阵上的SVD）的优越性。
引用
@article{arxiv.1704.08059,
title = {Riemannian Optimization for Skip-Gram Negative Sampling},
author = {Alexander Fonarev and Oleksii Hrinchuk and Gleb Gusev and Pavel Serdyukov and Ivan Oseledets},
journal= {arXiv preprint arXiv:1704.08059},
year = {2017}
}
备注
9 pages, 4 figures, ACL 2017