word2vec 的谱基础
机器学习
2020-11-10 v2 机器学习
摘要
Mikolov 等人（2013）提出的 word2vec 是一种在自然语言处理中广泛使用的词嵌入方法。尽管其取得了巨大成功并被频繁使用，理论依据仍然缺乏。我们论文的主要贡献是对 word2vec 的高度非线性函数提出一种严格的分析。我们的结果表明，word2vec 可能主要由一种底层的谱方法所驱动。这一见解可能为获得 word2vec 的可证明保证打开大门。我们通过数值模拟支持这些发现。一个引人入胜的开放问题是，谱方法未能捕捉到的 word2vec 的非线性性质是否是有益的，如果是，是通过什么机制。
引用
@article{arxiv.2002.12317,
title = {The Spectral Underpinning of word2vec},
author = {Ariel Jaffe and Yuval Kluger and Ofir Lindenbaum and Jonathan Patsenker and Erez Peterfreund and Stefan Steinerberger},
journal= {arXiv preprint arXiv:2002.12317},
year = {2020}
}