稀疏矩阵-矩阵乘法的超图划分
分布式、并行与集群计算
2016-03-18 v1
摘要
我们提出了一种用于稀疏矩阵-矩阵乘法（SpGEMM）的细粒度超图模型，SpGEMM是科学计算与数据分析中的关键计算内核，其性能常受通信限制。该模型正确描述了并行计算中关键路径上的处理器间通信量，以及顺序计算中流经内存层次结构的数据量。我们表明，为特定输入矩阵确定通信最优算法等价于求解一个超图划分问题。我们的方法是依赖于稀疏性的，即我们为给定输入矩阵寻求最佳算法。除（3D）细粒度模型外，我们还提出了对应于更简单SpGEMM算法的粗粒度1D和2D模型。我们从理论上探究了这些模型间的关系，并在三个以SpGEMM为关键计算的应用背景下实验研究了它们的性能。对于每个应用，我们发现至少一种粗粒度模型与细粒度模型具有同等的通信效率。我们还观察到不同应用对不同的算法有亲和性。我们的结果表明，超图既是推理SpGEMM通信成本的准确模型，也是探索SpGEMM算法设计空间的实用工具。
引用
@article{arxiv.1603.05627,
title = {Hypergraph Partitioning for Sparse Matrix-Matrix Multiplication},
author = {Grey Ballard and Alex Druinsky and Nicholas Knight and Oded Schwartz},
journal= {arXiv preprint arXiv:1603.05627},
year = {2016}
}