并行程序中空闲波的分析建模：通信、集群拓扑与噪声影响

高性能计算（HPC）中大多数分布式内存块同步并行程序假定计算资源在分配的计算节点集中连续且均匀地可用。然而，单个进程上的长时间一次性延迟可能通过系统中传播引起全局扰动，即所谓的空闲波。该过程主要由底层并行代码的通信拓扑决定。本文对理解空闲波动态机制作出重要贡献。我们研究了空闲波在 MPI 并行程序各秩之间的传播机制。我们提出了经验证的关于其传播速度相对于通信参数与拓扑的分析模型，特别关注稀疏通信模式。我们研究了空闲波与 MPI 集合操作的相互作用，并表明根据实现方式，集合操作可能对波透明。最后我们分析了空闲波衰减的两种机制：拓扑衰减（源于系统各部分通信特性差异）与噪声诱导衰减（由系统或应用噪声引起）。我们表明噪声诱导衰减在很大程度上与噪声特性无关，仅取决于总噪声功率。推导了空闲波衰减率相对于噪声功率的分析表达式。模型验证使用了三种不同超级计算平台上的微基准测试与模板算法。