一种局域感知的 Bruck Allgather 算法
分布式、并行与集群计算
2022-08-25 v2
摘要
集合通信算法是 MPI 的重要组成部分，使应用程序员能够利用常见分布式操作的底层优化。MPI_Allgather 收集最初分布所有进程的数据，使每个进程都可获得全部数据。对于小数据量，通常采用 Bruck 算法以最小化任一进程通信的最大消息数。然而，每一步通信的代价取决于源进程与目标进程的相对位置，非本地消息（如节点间）比本地消息（如节点内）代价显著更高。本文以局域感知优化 Bruck 算法，最小化非本地消息的数量与大小，以提升 allgather 操作的性能与可扩展性。
引用
@article{arxiv.2206.03564,
title = {A Locality-Aware Bruck Allgather},
author = {Amanda Bienz and Shreeman Gautam and Amun Kharel},
journal= {arXiv preprint arXiv:2206.03564},
year = {2022}
}