在 Cray XE 系统上构建稠密线性代数算法的性能模型
分布式、并行与集群计算
2014-02-07 v1 数学软件
性能
摘要
为了在大规模系统上获得良好的性能，隐藏或最小化通信开销是关键。通信重叠试图隐藏通信开销，而 2.5D 通信避免算法则以额外的内存使用为代价，通过减少数据传输量来提升性能可扩展性。这两种方法可以结合或单独使用，最佳选择取决于机器、算法和问题规模。因此，构建性能模型对于确定每种场景下的最佳方案至关重要。本文提出了一种在 Cray XE 系统上为并行数值例程构建性能模型的方法。我们的模型使用可移植基准测试来测量计算开销和网络特征，以及同时访问网络导致的性能下降。我们通过为两种矩阵乘法算法（Cannon 和 SUMMA）、三角求解（TRSM）和 Cholesky 分解的 2D 和 2.5D 方法（包含和不包含重叠）构建性能模型来验证该方法。我们将这些模型提供的估计值与使用 Cray XE6 系统多达 24,576 个核心的实验结果进行了比较，并预测了算法在更大规模系统上的性能。结果证明，在考虑网络竞争时，估计值得到了显著改善。
引用
@article{arxiv.1402.1285,
title = {Constructing Performance Models for Dense Linear Algebra Algorithms on Cray XE Systems},
author = {Jorge González-Domínguez and Evangelos Georganas and Yili Zheng and María J. Martín},
journal= {arXiv preprint arXiv:1402.1285},
year = {2014}
}