Map-Reduce 计算代价的上下界

本文研究 map-reduce 计算中并行性与通信代价之间的权衡。对于任何非“尴尬并行”的问题，我们将 reducer 的工作划分得越细以提取更多并行性，mapper 与 reducer 之间的总通信量就越大。我们引入了一个可在单轮 map-reduce 计算中求解的问题模型。该模型提供了一种通用方法，用于发现通信代价关于可分配给单个 reducer 的最大输入数量的函数的下界。我们使用该模型分析了三个问题的权衡：寻找 Hamming 距离为 $d$ 的字符串对、在较大图中寻找三角形及其他模式，以及矩阵乘法。对于寻找 Hamming 距离为 1 的字符串，我们得到了完全匹配的上下界。对于三角形及许多其他图，我们得到了相差常数因子的上下界。对于矩阵乘法问题，我们得到了单轮 map-reduce 算法匹配的上下界。我们还探讨了矩阵乘法的两轮 map-reduce 算法，并证明对于给定的 reducer 规模，其通信量绝不会超过最优单轮算法，且通常显著更少。