中文

具有线性运行时间的核外边划分

分布式、并行与集群计算 2022-03-25 v1

摘要

图边划分是优化图结构数据上分布式计算作业的重要预处理步骤。给定图的边集被划分为 kk 个等规模分区,以最小化顶点在分区间的复制。核外边划分算法能够以低内存开销处理该问题。现有核外算法主要以流方式工作,可分为两类。无状态流边划分速度快但划分质量低,而有状态流边划分质量更好但代价高,因为它需要对每条边在每个分区上评估打分函数,导致时间复杂度为 O(Ek)\mathcal{O}(|E|*k)。本文中,我们提出 2PS-L,一种新颖的核外边划分算法,它构建于有状态流模型之上,但实现了线性运行时间(即 O(E)\mathcal{O}(|E|))。2PS-L 包含两个阶段。第一阶段,通过轻量级流聚类算法将顶点分离为簇。第二阶段,图被重新流式处理,并利用第一阶段的顶点聚类将图的划分搜索空间缩减为每条边仅两个目标分区。我们的评估表明,2PS-L 能比现有有状态流边划分器取得更好的划分质量,同时运行时间大幅更低。因此,划分与后续分布式图处理的总运行时间可显著减少。

关键词

引用

@article{arxiv.2203.12721,
  title  = {Out-of-Core Edge Partitioning at Linear Run-Time},
  author = {Ruben Mayer and Kamil Orujzade and Hans-Arno Jacobsen},
  journal= {arXiv preprint arXiv:2203.12721},
  year   = {2022}
}

备注

To appear at IEEE International Conference on Data Engineering (ICDE 2022)