GPOP:一种面向图分区处理的缓存与工作高效框架
分布式、并行与集群计算
2019-11-21 v3
摘要
过去十年中出现了许多共享内存图处理框架,旨在减少开发高性能并行应用的工作量。然而,许多基于点中心或边中心范式的框架存在若干问题,例如缓存利用率低、内存访问不规则、大量使用同步原语以及理论低效,这些问题恶化了整体性能与可扩展性。最近,我们提出了一种用于计算 PageRank 的缓存与内存高效的分区中心范式。在本文中,我们推广该方法以开发一种新颖的图分区处理(GPOP)框架,该框架具有缓存高效、可扩展和工作高效的特点。GPOP 通过将执行粒度提升至称为“分区”的顶点子集来提高内存访问局部性,从而显著改善多种图算法的缓存性能。它通过实现完全无锁和无原子操作的计算来实现高可扩展性。GPOP 内置的分析性能模型使其能够以混合使用源中心与分区中心通信模式的方式,在保证每轮迭代工作高效的同时提升高带宽顺序内存访问。我们使用多个大型数据集广泛评估了 GPOP 在多种图算法上的性能。我们观察到,与 Ligra、GraphMat 和 Galois 相比,GPOP 的 L2 缓存缺失分别最多减少 9 倍、6.8 倍和 5.5 倍。在执行时间方面,GPOP 比 Ligra、GraphMat 和 Galois 分别最多快 19 倍、9.3 倍和 3.6 倍。
引用
@article{arxiv.1806.08092,
title = {GPOP: A cache- and work-efficient framework for Graph Processing Over Partitions},
author = {Kartik Lakhotia and Sourav Pati and Rajgopal Kannan and Viktor Prasanna},
journal= {arXiv preprint arXiv:1806.08092},
year = {2019}
}
备注
23 pages, 7 figures, 4 tables