计算并行化的加速比与效率:统一方法与渐近分析
分布式、并行与集群计算
2023-11-16 v2 性能
摘要
在高性能计算环境中,我们观察到可用核心数量持续增长。这一发展要求重新强调文献中建议的性能(可扩展性)分析与加速比定律(例如阿姆达尔定律和古斯塔夫森定律),并聚焦于渐近性能。理解算法并行化的加速比与效率问题有助于多个目的,包括系统操作的优化、程序执行的时序预测,以及渐近性质的分析与加速比界限的确定。然而,文献呈现碎片化,并表现出加速比模型与定律的极大多样性和异质性。这些现象使得难以概览这些模型及其关系、难以在给定算法与计算上下文中识别性能的决定因素,并最终难以确定性能模型与定律对特定并行计算设置的适用性。在本工作中,我们为同构计算环境提供了一个通用的加速比(以及由此的效率)模型。我们的方法推广了文献中提出的许多著名模型,并表明它们可被视为统一方法的特例。该统一加速比模型的通用性通过参数化实现。考虑参数范围的组合,我们识别出六种不同的渐近加速比情形和八种不同的渐近效率情形。联合应用这些加速比与效率情形,我们推导出十一种可扩展性情形,并由此构建了一个可扩展性类型学。研究者可借助我们的类型学对其加速比模型进行分类,并确定当并行处理单元数量增加时模型的渐近行为。此外,我们的结果可用于处理对我们设置的多种扩展。
引用
@article{arxiv.2212.11223,
title = {Speedup and efficiency of computational parallelization: A unifying approach and asymptotic analysis},
author = {Guido Schryen},
journal= {arXiv preprint arXiv:2212.11223},
year = {2023}
}