DRONE：一种用于处理大规模幂律图的分布式子图中心框架
分布式、并行与集群计算
2019-01-10 v2
摘要
当今大数据时代，社交网络、图数据库、知识图谱、电子商务等需要对不断增长的图结构数据进行高效且可扩展的处理能力。为应对该挑战，提出了两种主流分布式编程模型：顶点中心（VC）与子图中心（SC）。相较于 VC 模型，SC 模型在良好划分的图上收敛更快、通信开销更小，并因“像图一样思考”的理念而易于编程。边切法被视为子图中心模型进行图划分的自然选择，已被 Giraph++、Blogel 和 GRAPE 所采用。然而，边切法在处理大规模幂律图时造成显著的性能瓶颈。因此，SC 模型在实践中竞争力较弱。本文提出一种创新的分布式图计算框架 DRONE（Distributed gRaph cOmputiNg Engine），它结合了子图中心模型与顶点切图划分策略。实验表明，在真实图与合成幂律图上，DRONE 优于最先进的分布式图计算引擎。DRONE 能够扩展至处理万亿边规模的合成幂律图，比现有基于 SC 的框架所报告的规模大数个数量级。
引用
@article{arxiv.1812.04380,
title = {DRONE: a Distributed Subgraph-Centric Framework for Processing Large Scale Power-law Graphs},
author = {Xiaole Wen and Shuai Zhang and Haihang You},
journal= {arXiv preprint arXiv:1812.04380},
year = {2019}
}
备注
13 pages, 9 figures