基于 LFR 基准的大规模图 I/O 高效生成
数据结构与算法
2017-06-15 v3 分布式、并行与集群计算
社会与信息网络
摘要
LFR 是一种用于评估社区检测算法的流行基准图生成器。我们提出 EM-LFR，首个能够基于 LFR 基准生成大规模复杂网络的外存算法。其最耗时的组件是生成具有给定度序列的随机图，这可分为两步：首先使用 Havel-Hakimi 算法确定性地具体化图，随后随机化。我们的主要贡献是 EM-HH 和 EM-ES，用于这两个步骤的两个 I/O 高效外存算法。我们还提出 EM-CM/ES，一种使用配置模型（Configuration Model）和重连步骤来获得随机简单图的替代采样方案。在实验评估中，我们展示了它们的性能；我们的实现能够在单台机器上处理超过 370 亿条边的图，与大规模并行分布式算法相比具有竞争力，并且即使在适合主存的实例上也快于最先进的内部内存实现。EM-LFR 的实现能够比原始实现快几个数量级地生成大型图实例。我们通过将聚类算法应用于生成的实例，证明两种实现产生的图具有匹配的属性。类似地，我们分析了在 EM-CM/ES 获得的网络上执行 EM-ES 时图属性的演变，发现该替代方法可以加速采样过程。
引用
@article{arxiv.1604.08738,
title = {I/O-Efficient Generation of Massive Graphs Following the LFR Benchmark},
author = {Michael Hamann and Ulrich Meyer and Manuel Penschuck and Hung Tran and Dorothea Wagner},
journal= {arXiv preprint arXiv:1604.08738},
year = {2017}
}
备注
25 pages, 11 figures. We add the sampling of simple graphs using the Configuration Model followed by rewiring steps and experimental results regarding the mixing time of the sampling schemes