基于 RMA 缓存的异步分布式内存三角形计数与局部聚类系数计算
分布式、并行与集群计算
2022-03-02 v2
摘要
三角形计数和局部聚类系数是图分析的两个核心度量。它们在社区检测和链接推荐等分析中具有广泛应用。当前最先进的方案受制于同步开销或为分发图所需的高昂预计算，可扩展性有限。我们提出了一种基于一维划分、使用远程内存访问传输数据并避免同步的三角形计数与局部聚类系数的全异步实现。此外，我们展示了这些算法在远程内存访问上的数据重用，以及如何通过缓存这些访问来改进总体通信时间。最后，我们扩展了 CLaMPI（一个用于 MPI RMA 的软件层缓存系统），以包含针对缓存项的应用特定评分，并影响驱逐过程以提高缓存效率。我们的结果显示在共享内存上有改进，并且在分布式内存上针对 LiveJournal1 图从 4 到 64 节点实现了 14 倍加速。此外，我们展示了相对于未缓存版本，缓存远程访问可将总运行时间减少多达 73%。最后，我们将我们的实现与 2020 年图冠军论文 TriC 进行比较，对于无标度图取得了快达 100 倍的结果。
引用
@article{arxiv.2202.13976,
title = {Asynchronous Distributed-Memory Triangle Counting and LCC with RMA Caching},
author = {András Strausz and Flavio Vella and Salvatore Di Girolamo and Maciej Besta and Torsten Hoefler},
journal= {arXiv preprint arXiv:2202.13976},
year = {2022}
}
备注
11 pages, 10 figures, to be published at IPDPS'22