ConnectIt:一种静态与增量并行图连通性算法框架
分布式、并行与集群计算
2021-08-25 v4 数据结构与算法
摘要
连通分量是图应用中的基本内核。现有最快的并行多核连通性算法基于某种形式的边采样和/或树的链接与压缩。然而,这些设计选择的许多组合尚未被探索。在本文中,我们设计了 ConnectIt 框架,其提供不同的采样策略以及各种树链接和压缩方案。ConnectIt 使我们能够获得数百种连通性算法的新变体,其中大多数可扩展至计算生成森林。除静态图外,我们还将 ConnectIt 扩展为支持并发环境下的插入与连通性查询混合。我们在 72 核机器上展示了 ConnectIt 的实验评估,我们相信这是迄今为止对并行连通性算法最全面的评估。与一系列最先进的静态多核算法相比,我们获得了 12.4 倍的平均加速比(相对于每个图最快的现有实现有 2.36 倍平均加速比)。使用 ConnectIt,我们能够在 72 核机器上于 10 秒内计算最大公开可用图(超过 35 亿个顶点和 1280 亿条边)的连通性,比该图在任何计算环境下最快的现有连通性结果快 3.1 倍。对于我们的增量算法,我们展示了我们的算法可以每秒摄取高达数十亿条边的图更新。为了指导用户在不同情况下选择 ConnectIt 中的最佳变体,我们提供了对不同策略的详细分析。最后,我们展示了 ConnectIt 中的技术如何用于加速两个重要的图应用:近似最小生成森林和 SCAN 聚类。
引用
@article{arxiv.2008.03909,
title = {ConnectIt: A Framework for Static and Incremental Parallel Graph Connectivity Algorithms},
author = {Laxman Dhulipala and Changwan Hong and Julian Shun},
journal= {arXiv preprint arXiv:2008.03909},
year = {2021}
}
备注
This is an extended version of a paper in PVLDB Volume 14 (appeared at VLDB'21)