利用稀疏矩阵-矩阵乘法中的多级并行性
分布式、并行与集群计算
2016-11-18 v3 数值分析
数值分析
摘要
稀疏矩阵-矩阵乘法（或称 SpGEMM）是许多高性能图算法以及一些线性求解器（如代数多重网格）的关键原语。现有 SpGEMM 并行实现的扩展性严重受限于通信。尽管已在 Erdos-Renyi 矩阵上的扁平 MPI 模型中提出并从理论上分析了 3D（或 2.5D）算法，但这些算法此前尚未在实践中实现，且其复杂度也未针对一般情况进行分析。本工作中，我们提出了首个 3D SpGEMM 公式的实现，该实现同时利用了多级（节点内与节点间）并行性，在所有并发层次上均相比最先进的公开可用代码取得了显著加速。我们广泛评估了我们的实现，并确定了应作为进一步研究主题的瓶颈。
引用
@article{arxiv.1510.00844,
title = {Exploiting Multiple Levels of Parallelism in Sparse Matrix-Matrix Multiplication},
author = {Ariful Azad and Grey Ballard and Aydin Buluc and James Demmel and Laura Grigori and Oded Schwartz and Sivan Toledo and Samuel Williams},
journal= {arXiv preprint arXiv:1510.00844},
year = {2016}
}