中文

HyperANF:在有限资源下近似超大规模图的邻域函数

数据结构与算法 2011-01-27 v2 社会与信息网络 物理与社会

摘要

图G的邻域函数N(t)给出了对于每个t,满足y在少于t跳内可从x到达的节点对<x, y>的数量。邻域函数提供了关于图的丰富信息(例如,可以轻松计算图的直径),但精确计算代价高昂。最近,提出了ANF算法(近似邻域函数)以近似大规模图上的NG(t)。我们描述了一项在速度和可扩展性上对ANF的突破性改进。我们的算法称为HyperANF,它使用新的HyperLogLog计数器,并通过宽字编程高效地组合它们;我们的实现利用过度分解来利用多核并行性。借助HyperANF,我们首次能够在标准工作站上,在几小时内以较小的误差和良好的置信度计算出具有数十亿节点的图的邻域函数。然后,我们转向研究可达节点间最短路径的分布(可通过HyperANF高效近似),并发现了一个令人惊讶的事实:其离散指数能够清晰地区分真正的社交网络与网络图。因此,我们提出了图的spid(最短路径离散指数)作为一种新的、信息丰富的统计量,能够区分上述两种类型的图。我们相信这是首次提出一种具有高度可扩展计算能力的、有意义的非局部复杂网络结构指标。

关键词

引用

@article{arxiv.1011.5599,
  title  = {HyperANF: Approximating the Neighbourhood Function of Very Large Graphs on a Budget},
  author = {Paolo Boldi and Marco Rosa and Sebastiano Vigna},
  journal= {arXiv preprint arXiv:1011.5599},
  year   = {2011}
}