网络嵌入即矩阵分解：统一 DeepWalk、LINE、PTE 与 node2vec
社会与信息网络
2018-02-09 v4 机器学习
机器学习
摘要
自 word2vec 发明以来，跳字模型（skip-gram）极大地推动了网络嵌入研究，近期涌现的 DeepWalk、LINE、PTE 和 node2vec 等方法便是明证。本文证明，上述所有采用负采样的模型均可统一到具有闭式解的矩阵分解框架中。我们的分析与证明揭示：(1) DeepWalk 在经验上产生网络归一化拉普拉斯矩阵的低秩变换；(2) LINE 在理论上是当顶点上下文大小设为 1 时 DeepWalk 的特例；(3) 作为 LINE 的扩展，PTE 可视为多个网络拉普拉斯矩阵的联合分解；(4) node2vec 分解的是一个与二阶随机游走的平稳分布和转移概率张量相关的矩阵。我们进一步给出了基于跳字模型的网络嵌入算法与图拉普拉斯理论之间的理论联系。最后，我们提出 NetMF 方法及其近似算法以计算网络嵌入。在传统网络挖掘任务上，我们的方法相比 DeepWalk 和 LINE 有显著提升。本文为基于跳字模型的网络嵌入方法奠定了理论基础，有助于更深入地理解隐式网络表示学习。
引用
@article{arxiv.1710.02971,
title = {Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec},
author = {Jiezhong Qiu and Yuxiao Dong and Hao Ma and Jian Li and Kuansan Wang and Jie Tang},
journal= {arXiv preprint arXiv:1710.02971},
year = {2018}
}
备注
9 pages, published in WSDM 2018 proceedings