大规模网络中社区检测的并行算法工程
分布式、并行与集群计算
2015-02-03 v4 社会与信息网络
摘要
图结构数据在许多应用中最近经历了巨大增长。为了将此类数据转化为有用信息，需要快速的算法和软件工具。一种常见的图分析核心是分离社区检测（或图聚类）。尽管对此任务有大量启发式求解器的研究，但只有少数并行代码存在，尽管并行性对于扩展到实际应用的数据量是必要的。我们通过一个灵活可扩展的具有共享内存并行性的社区检测框架来解决计算能力的不足。在该框架内，我们设计并实现了高效的并行社区检测启发式算法：一种并行标签传播方案；著名的Louvain方法的首次大规模并行化，以及添加精炼的方法扩展；以及结合上述方法的集成方案。在算法工程范式驱动的大量实验中，我们确定了这些算法最成功的参数和组合。我们还将我们的实现与最先进的竞争对手进行了比较。我们最快算法的处理速率通常达到5000万条边/秒。我们推荐并行Louvain方法及其精炼变体，因为它们在质量和速度上都表现出色。我们的方法适用于具有数十亿条边的大规模数据集。
引用
@article{arxiv.1304.4453,
title = {Engineering Parallel Algorithms for Community Detection in Massive Networks},
author = {Christian L. Staudt and Henning Meyerhenke},
journal= {arXiv preprint arXiv:1304.4453},
year = {2015}
}
备注
14 pages, first presented at the 2013 International Conference on Parallel Processing, revised accepted for IEEE Transactions on Parallel and Distributed Systems (TPDS)