大规模图框架在网络分析中的实证比较
分布式、并行与集群计算
2016-01-05 v1 社会与信息网络
摘要
复杂网络是通常表示为图的关系型数据集。对其复杂结构的分析关乎科学与商业的诸多领域，且数据集规模可能达到需要分布式存储与处理的程度。我们描述并比较了用于分布式计算的编程模型，重点关注大规模复杂网络分析的图算法。使用四个框架——GraphLab、Apache Giraph、Giraph++ 和 Apache Flink——实现了针对代表性问题连通分量（Connected Components）、社区发现（Community Detection）、PageRank 和聚类系数（Clustering Coefficients）的算法。这些实现在计算机集群上执行，以评估框架的实际适用性，并将其性能与单机、共享内存并行网络分析包 NetworKit 进行比较。在分布式框架中，GraphLab 和 Apache Giraph 通常表现出最佳性能。在我们的实验中，由八台计算机运行 Apache Giraph 组成的集群能够分析约 20 亿条边的网络，这对于同类型单机而言过大。然而，对于能放入单机内存的网络，共享内存并行实现的性能远优于分布式实现。该研究为根据任务和数据量选择合适的框架提供了实验证据。
引用
@article{arxiv.1601.00289,
title = {An Empirical Comparison of Big Graph Frameworks in the Context of Network Analysis},
author = {Jannis Koch and Christian L. Staudt and Maximilian Vogel and Henning Meyerhenke},
journal= {arXiv preprint arXiv:1601.00289},
year = {2016}
}