InfiniteWalk：作为带非线性项的拉普拉斯嵌入的深度网络嵌入
机器学习
2020-08-19 v2 社会与信息网络
机器学习
摘要
用于学习词嵌入的skip-gram模型（Mikolov等人2013）已广泛流行，且DeepWalk（Perozzi等人2014）等方法将该模型扩展到从网络学习节点表示。Qiu等人（2018）近期的工作给出了DeepWalk目标的闭式表达式，避免了对小数据集采样的需求并提高了准确性。在这些方法中，考虑词或节点共现的“窗口大小”T是一个关键超参数。我们研究了当T趋于无穷时该目标函数的极限，这使我们能够简化Qiu等人的表达式。我们证明该极限目标对应于对图拉普拉斯伪逆的简单变换进行分解，将DeepWalk与谱图嵌入的大量先前工作联系起来。此外，我们表明通过对该伪逆应用简单的非线性逐元素变换，我们可以恢复有限T目标的良好近似，以及在多标签分类中与DeepWalk和其他skip-gram方法具有竞争力的嵌入。令人惊讶的是，我们发现即使是对拉普拉斯伪逆的简单二值阈值化也常常具有竞争力，这表明近期方法的核心进展是在经典谱嵌入方法之上加了一个非线性。
引用
@article{arxiv.2006.00094,
title = {InfiniteWalk: Deep Network Embeddings as Laplacian Embeddings with a Nonlinearity},
author = {Sudhanshu Chanpuriya and Cameron Musco},
journal= {arXiv preprint arXiv:2006.00094},
year = {2020}
}