面向Node2Vec的高效图计算
分布式、并行与集群计算
2018-05-02 v1
摘要
Node2Vec是一种用于网络分析的最先进的通用特征学习方法。然而，当前的解决方案无法在具有数十亿顶点和边的大规模图上运行Node2Vec，而这在现实应用中很常见。现有的基于Spark的分布式Node2Vec会带来巨大的空间和时间开销。即使对于具有数百万个顶点的中等规模图，它也会耗尽内存。此外，在生成随机游走时，每个顶点最多考虑30条边，导致结果质量差。在本文中，我们提出了Fast-Node2Vec，这是一个在类Pregel图计算框架上的高效Node2Vec随机游走算法族。Fast-Node2Vec在随机游走期间计算转移概率，以减少大规模图的内存空间消耗和计算开销。类Pregel方案避免了Spark只读RDD结构和shuffle操作的空间和时间开销。此外，我们提出了一些优化技术，以进一步减少大度热门顶点的计算开销。实证评估表明，Fast-Node2Vec能够在中型机器集群上计算具有数十亿顶点和边的图上的Node2Vec。与Spark-Node2Vec相比，Fast-Node2Vec实现了7.7到122倍的加速。
引用
@article{arxiv.1805.00280,
title = {Efficient Graph Computation for Node2Vec},
author = {Dongyan Zhou and Songjie Niu and Shimin Chen},
journal= {arXiv preprint arXiv:1805.00280},
year = {2018}
}