ASYMP：海量图的容错挖掘
分布式、并行与集群计算
2017-12-29 v1 社会与信息网络
摘要
我们提出 ASYMP，一个为及时分析含数万亿条边的图而开发的分布式图处理系统。ASYMP 具有若干显著特征，包括鲁棒的容错机制、可无缝扩展至数千台机器的无锁架构，以及用于降低单机开销的高效数据访问模式。ASYMP 被用于分析 Google 最大的图，据我们所知，我们在此经验评估中考虑的图是文献中考虑过的最大图。实验结果表明，与 Google 先前的图处理框架相比，ASYMP 能扩展到更大的图、在更拥挤的集群上运行，并更快地完成现实世界的图挖掘分析任务。首先，我们评估 ASYMP 的速度，在多种图上其运行 Connected Component 比 MapReduce 和 Pregel 中的 SOTA 实现快 3–50 倍。然后我们展示该框架的可扩展性与并行性：先表明在不改变机器数的情况下增大图规模运行时间线性增加，再表明增加机器数时运行时间的收益。最后，我们展示框架的容错特性，表明令 50% 的机器失效仅使运行时间增加 41%。
引用
@article{arxiv.1712.09731,
title = {ASYMP: Fault-tolerant Mining of Massive Graphs},
author = {Eduardo Fleury and Silvio Lattanzi and Vahab Mirrokni and Bryan Perozzi},
journal= {arXiv preprint arXiv:1712.09731},
year = {2017}
}