Arabesque：一种分布式图挖掘系统（扩展版）
分布式、并行与集群计算
2015-10-15 v1
摘要
MapReduce和Pregel等分布式数据处理平台已大幅简化了某些类别的分布式图分析算法的设计和部署。然而，这些平台并不适合分布式图挖掘问题，例如在图中查找频繁子图。给定输入图，这些问题需要探索大量子图并找到匹配用户期望的某些“趣味性”标准的模式。这些算法对于社交网络、语义网和生物信息学等领域非常重要。在本文中，我们提出Arabesque，第一个用于实现图挖掘算法的分布式数据处理平台。Arabesque自动化了探索大量子图的过程。它定义了一个高级过滤-处理计算模型，简化了可扩展图挖掘算法的开发：Arabesque探索子图并将它们传递给应用程序，应用程序只需计算输出并决定子图是否应进一步扩展。我们使用Arabesque的API为三个基本图挖掘问题生成分布式解决方案：频繁子图挖掘、模体计数和寻找团。我们的实现仅需少量代码行，可扩展到数万亿个子图，并且在某些情况下代表了首个可用的分布式解决方案。
引用
@article{arxiv.1510.04233,
title = {Arabesque: A System for Distributed Graph Mining - Extended version},
author = {Carlos H. C. Teixeira and Alexandre J. Fonseca and Marco Serafini and Georgos Siganos and Mohammed J. Zaki and Ashraf Aboulnaga},
journal= {arXiv preprint arXiv:1510.04233},
year = {2015}
}
备注
A short version of this report appeared in the Proceedings of the 25th ACM Symp. on Operating Systems Principles (SOSP), 2015