G-thinker：让大图挖掘更轻松更快
分布式、并行与集群计算
2017-09-12 v1
摘要
本文提出了一种用于计算密集型图挖掘任务的通用系统，该任务从大图中找出满足特定要求（如图匹配和社区检测）的所有子图。由于此类任务应用广泛，已提出许多单线程算法。然而，诸如在线社交网络和知识图谱等图通常具有数十亿顶点和边，需要分布式处理以实现扩展。遗憾的是，现有的分布式图处理系统如 Pregel 和 GraphLab 是为数据密集型分析而设计的，对于计算密集型图挖掘任务效率低下，因为对任何数据的计算都伴随着涉及网络传输的数据访问。我们提出了一种称为 G-thinker 的分布式图挖掘框架，专为计算密集型图挖掘工作负载设计。G-thinker 提供直观的图探索 API 以便便捷实现各种图挖掘算法，其运行时引擎通过有界内存消耗、轻量网络通信以及计算与通信间的并行性提供高效执行。进行了大量实验，表明 G-thinker 比现有解决方案快几个数量级，并且能在相同硬件资源下扩展到大两个数量级的图。
引用
@article{arxiv.1709.03110,
title = {G-thinker: Big Graph Mining Made Easier and Faster},
author = {Da Yan and Hongzhi Chen and James Cheng and M. Tamer Özsu and Qizhen Zhang and John C. S. Lui},
journal= {arXiv preprint arXiv:1709.03110},
year = {2017}
}