用于不规则收集与散射的实用、线性时间、完全分布式算法

我们提出了新的、简单的、完全分布式的实用算法，具有线性时间通信代价，用于不规则收集与散射操作，其中处理器贡献或消耗可能不同数量的数据。在具有启动延迟 $\alpha$ 和单位代价 $\beta$ 的线性代价传输模型中，新算法耗时 $3|{\log_2 p}|\alpha+\beta \sum_{i\neq r}m_i$，其中 $p$ 是处理器数量，$m_i$ 是处理器 $i, 0\leq i<p$ 的数据量，处理器 $r, 0\leq r<p$ 是由算法确定的根处理器。对于固定的、外部给定的根处理器 $r$，存在至多 $\beta(M_{d'}-m_{r_{d'}}-\sum_{0\leq j<d'}M_j)$ 时间步的附加惩罚，其中每个 $M_j$ 是由算法构造的以 $r_j$ 为根的 $2^j$ 个不同处理器树中的数据总量。最坏情况惩罚小于 $\beta \sum_{i\neq r}m_i$ 时间步。这些算法在实现 MPI（消息传递接口）的操作方面具有吸引人的特性。使用固定树的标准算法在最坏情况下耗时 $|{\log_2 p}|(\alpha+\beta \sum_{i\neq r} m_i)$，或耗时 $\sum_{i\neq r}(\alpha+\beta m_i)$。我们利用新算法为 MPI 的 MPI_Gatherv 和 MPI_Scatterv 集合操作提供了原型实现，并给出了来自小型和中小型 InfiniBand 集群的基准测试结果。为了构建实验评估，我们制定了用于不规则集合操作的新性能指南，可用于评估相对于相应规则集合操作的性能。我们表明新算法能以较大余量满足这些性能期望，而标准实现则不能。