面向大规模幂律图上面向子图中心编程模型的高效均衡图划分算法
分布式、并行与集群计算
2021-07-08 v2
摘要
子图中心编程模型是一种颇有前景的方法，已应用于许多最先进的分布式图计算框架。然而，传统图划分算法在处理大规模幂律图时存在显著困难。主要问题是在众多子图中心框架中发现的通信瓶颈。详细分析表明，通信瓶颈由划分后子图间巨大的通信量或极端的消息不均衡所导致。传统划分算法未同时考虑这两个因素，尤其在幂律图上。本文中，我们提出一种新颖的高效均衡顶点割图划分算法（EBV），其对总体通信代价与通信均衡赋予适当权重。我们观察到复制顶点数量以及边与顶点分配的均衡性对分布式子图中心框架的通信模式有很大影响，进而波及整体性能。基于此洞见，我们设计了一个评估函数，将复制顶点比例与边、顶点分配的均衡性作为重要参数加以量化。此外，我们按两端点度之和从小到大排序边的处理顺序。实验表明，与其他基于自身的划分算法相比，EBV 将复制因子与通信量分别降低至少 21.8% 与 23.7%。当部署于子图中心框架时，与最先进划分算法相比，其在幂律图上的运行时间平均减少 16.8%。我们的结果表明，EBV 在提升子图中心框架面向大规模幂律图并行处理的性能方面具有巨大潜力。
引用
@article{arxiv.2010.09007,
title = {An Efficient and Balanced Graph Partition Algorithm for the Subgraph-Centric Programming Model on Large-scale Power-law Graphs},
author = {Shuai Zhang and Zite Jiang and Xingzhong Hou and Zhen Guan and Mengting Yuan and Haihang You},
journal= {arXiv preprint arXiv:2010.09007},
year = {2021}
}