Allreduce 操作的推广

Allreduce 是最常用的 MPI 集合操作之一，因此其性能在过去数十年备受关注。许多具有不同性质与目的的算法被提出。我们提出一种受魔方数学启发的、基于置换的通信描述新方法，其中转动构成称为群的数学结构。类似地，一组 $P$ 个进程间的循环通信模式可由置换群描述。这一新方法可构造广泛使用的 Allreduce 算法（如环算法、递归倍增与递归折半）的推广。利用所发展方法，我们构建了一种算法，成功解决了非 2 的幂次进程数这一已知问题，该问题会使许多现有算法性能下降。所提算法对任意进程数提供通用解，其通信步数在动态变化：延迟最优版本为 $\lceil \log{P} \rceil$，带宽最优情况为 $2 \cdot \lceil \log{P} \rceil$。