Spinner：云中可扩展的图划分
分布式、并行与集群计算
2015-02-03 v2
摘要
一些组织，如社交网络，在日常运营中存储并定期分析大型图。这些图通常分布在多个服务器上，图划分对于高效的图管理至关重要。现有的划分算法侧重于找到具有良好局部性的图划分，但忽视了将划分集成到部署在云上的大规模图管理系统中的实际挑战，例如处理图和计算环境的规模和动态性。在本文中，我们提出Spinner，一种基于标签传播的可扩展自适应图划分算法，设计在Pregel模型之上。Spinner可扩展到大规模图，产生与最先进技术相当的局部性和平衡性，并能有效地适应变化。我们描述了我们的算法及其在Pregel编程模型中的实现，这使得划分十亿顶点图成为可能。我们使用各种合成图和真实图评估Spinner，并表明它可以计算出与最先进技术质量相当的划分。实际上，通过将Spinner与Giraph图处理引擎结合使用，我们相对于标准哈希划分将不同应用程序加速了2倍。
引用
@article{arxiv.1404.3861,
title = {Spinner: Scalable Graph Partitioning in the Cloud},
author = {Claudio Martella and Dionysios Logothetis and Andreas Loukas and Georgos Siganos},
journal= {arXiv preprint arXiv:1404.3861},
year = {2015}
}