DegreeSketch:大规模图上的分布式基数草图及其应用
分布式、并行与集群计算
2020-04-10 v1
摘要
我们提出 DegreeSketch,一种半流式分布式草图数据结构,并展示其在估计大规模图上局部邻域大小与局部三角形计数重命中点方面的效用。DegreeSketch 由分布在一组处理器上的以顶点为中心的基数草图组成,这些草图在单次遍历中累积,随后充当持久查询引擎,能够近似回答涉及邻接集并集与交集大小的图查询。顶点的第 局部邻域是从 在 中通过至多 条边可达的顶点数,而局部三角形计数是其所属 3-环的数量。两种度量在图分析应用中均有用,但精确计算随图规模增长而扩展性很差。我们提出利用 DegreeSketch 估计局部邻域大小与局部三角形计数重命中点的高效算法。在实验中,我们使用著名的 hyperloglog 基数草图实现 DegreeSketch,并利用分布式通信工具 YGM 在分布式内存中达到最先进的性能。
引用
@article{arxiv.2004.04289,
title = {DegreeSketch: Distributed Cardinality Sketches on Massive Graphs with Applications},
author = {Benjamin W. Priest},
journal= {arXiv preprint arXiv:2004.04289},
year = {2020}
}
备注
22 pages, 8 figures, submitted to VLDB 2020, comments welcome