中文

无环连接的实例与输出最优并行算法

数据库 2019-04-01 v2

摘要

大规模并行连接算法近年来受到广泛关注,而先前的大部分工作主要关注最坏情况最优算法。然而,这些连接算法的最坏情况最优性依赖于输出规模非常大的困难实例,而这在实践中很少出现。一种更强的最优性概念是输出最优,它要求算法在所有具有相同输入和输出规模的实例类中是最优的。更强的最优性是实例最优,即算法在每个实例上都是最优的,但这并不总是能够实现。在传统的 RAM 计算模型中,经典的 Yannakakis 算法在任何无环连接上都是实例最优的。但在大规模并行计算(MPC)模型中,情况变得复杂得多。我们首先证明,对于 r-分层连接类,在 MPC 模型中仍然可以实现实例最优性。然后,我们给出了一种用于任意无环连接的 MPC 算法,其负载为 O(\INp+\IN\OUTp)O ({\IN \over p} + {\sqrt{\IN \cdot \OUT} \over p}),其中 \IN,\OUT\IN,\OUT 是连接的输入和输出规模,pp 是 MPC 模型中的服务器数量。这将 Yannakakis 算法的 MPC 版本改进了 O(\OUT\IN)O (\sqrt{\OUT \over \IN} ) 倍。此外,我们证明当 \OUT=O(p\IN)\OUT = O(p \cdot \IN) 时,对于每个无环但非 r-分层的连接,该算法是输出最优的。最后,我们给出了 MPC 模型中三角形连接的第一个输出敏感下界,表明它本质上比无环连接更困难。

关键词

引用

@article{arxiv.1903.09717,
  title  = {Instance and Output Optimal Parallel Algorithms for Acyclic Joins},
  author = {Xiao Hu and Ke Yi},
  journal= {arXiv preprint arXiv:1903.09717},
  year   = {2019}
}