空闲波、去同步与瓶颈规避在并行程序性能中的作用

分布式内存系统上高度并行应用的性能受诸多因素影响。解析性能建模技术旨在揭示性能瓶颈,常作为优化工作的起点。然而,跨系统层次(插槽、节点、网络)耦合解析模型无法涵盖程序代码与硬件间复杂的相互作用,尤其在涉及执行与通信瓶颈时。本文研究“瓶颈规避”的效应及其如何导致通信开销与计算自动重叠。瓶颈规避使并行代码初始的整体同步行为逐渐丧失,进程随之去同步。这在内存受限程序中最为显著,因此我们选用内存受限的基准与应用代码,具体包括MPI增强的STREAM Triad、稀疏矩阵-向量乘法以及避免集体通信的Chebyshev滤波对角化代码,以在两台不同超级计算平台上展示去同步的后果。我们探究了空闲波作为去同步可能触发因素的作用,并展示了自动异步通信对一系列代码属性与参数(如饱和点、矩阵结构、区域分解和通信并发度)的影响。我们的发现揭示了消除同步点(如集体通信或屏障)如何带来超出仅从总运行时间减去集体通信开销所能预期的性能提升。