GYM：一种 MapReduce 中的多轮连接算法

多轮算法现在广泛应用于分布式数据处理系统，但算法能从增加轮数中获益的程度尚不清楚。本文针对计算 $n$ 个关系的等值连接问题，回答了一系列轮数下的这一问题。具体而言，给定任意查询 $Q$，其宽度为 $\w$，{\em 交集宽度} 为 $\iw$，输入大小为 $\mathrm{IN}$，输出大小为 $\mathrm{OUT}$，以及一个每台机器可用内存为 $M$ 的机器集群，我们证明：(1) $Q$ 可在 $O(n)$ 轮内计算完成，通信代价为 $O(n\frac{(\mathrm{IN}^{\w} + \mathrm{OUT})^2}{M})$。(2) $Q$ 可在 $O(\log(n))$ 轮内计算完成，通信代价为 $O(n\frac{(\mathrm{IN}^{\max(\w, 3\iw)} + \mathrm{OUT})^2}{M})$。交集宽度是我们引入的一个关于查询和查询的广义超树分解 (GHDs) 的新概念，用于捕捉 GHDs 中相邻循环组件的连接程度。我们通过引入 Yannakakis 算法的分布式广义版本（称为 GYM）实现了第一个结果。GYM 接受任何宽度为 $\w$、深度为 $d$ 的 $Q$ 的 GHD 作为输入，并在 $O(d + \log(n))$ 轮和 $O(n\frac{(\mathrm{IN}^{\w} + \mathrm{OUT})^2}{M})$ 的通信代价下计算 $Q$。我们通过展示如何构建宽度为 $\max(\w, 3\iw)$、深度为 $O(\log(n))$ 的 $Q$ 的 GHDs 实现了第二个结果。我们描述了另一种构建具有更宽宽度和更浅深度的 GHDs 的技术，展示了在通信和轮数之间可以做出的权衡谱系。