异构架构上不规则点对点通信的节点感知策略性能表征
分布式、并行与集群计算
2022-09-14 v1
摘要
超级计算机架构因包含异构计算节点而趋向于更高的计算吞吐量。这些多GPU节点提升了节点内计算效率，同时也增加了需通信的数据量以及潜在的数据流路径数量。本工作中，我们通过性能建模表征了异构计算环境下使用MPI的不规则点对点通信性能，展示了设备感知与经主机中转通信这两种标准通信策略的局限性。所提模型建议将通信数据经主机进程中转，随后对高节点间消息数量采用节点感知通信策略。值得注意的是，模型还预测当与大量节点通信时，利用所有可用CPU核心通信节点间数据的节点感知通信可带来最优性能策略。通过分布式稀疏矩阵-向量乘中不规则点对点通信模式的案例研究提供了模型验证。重要的是，我们讨论了模型预测对新兴超级计算机架构通信策略设计的影响。
引用
@article{arxiv.2209.06141,
title = {Characterizing the Performance of Node-Aware Strategies for Irregular Point-to-Point Communication on Heterogeneous Architectures},
author = {Shelby Lockhart and Amanda Bienz and William D. Gropp and Luke N. Olson},
journal= {arXiv preprint arXiv:2209.06141},
year = {2022}
}
备注
14 pages, 13 figures