多半连接的并行评估
摘要
尽管诸如 Amazon AWS 之类的服务使计算能力充裕可用，但增加更多计算节点可能在例如按使用量付费的计划中带来高成本，同时并不总能显著改善查询的净运行时间（即挂钟时间）。在这项工作中，我们提供了在 MapReduce 中并行评估 SGF 查询的算法，以优化总时间，同时保持较低的净时间。SGF 查询不仅能指定所有半连接归约器，还能指定涉及析取和否定的更具表达力的查询。由于 SGF 查询可被视为（可能嵌套的）半连接的布尔组合，我们引入了一种新颖的多半连接（MSJ）MapReduce 算子，其能够在一个作业中评估一组半连接。我们利用该算子获得 SGF 查询的并行查询计划，这些计划在净时间方面优于顺序计划，并提供了旨在最小化总时间而不严重影响净时间的额外优化。尽管后一种优化是 NP 难的，我们提出了有效的贪心算法。我们使用基于 Hadoop 的自身实现 Gumbo 进行的实验，证实了并行查询计划的有用性，以及我们优化的有效性和可扩展性，均相对于 Pig 和 Hive 有显著改进。
引用
@article{arxiv.1605.05219,
title = {Parallel Evaluation of Multi-Semi-Joins},
author = {Jonny Daenen and Frank Neven and Tony Tan and Stijn Vansummeren},
journal= {arXiv preprint arXiv:1605.05219},
year = {2016}
}
备注
added Gumbo code reference, added Subset Sum reference, adjusted alignment in Figure 1, adjusted Figure 5 (remove redundant units, larger font), removed capitals in Table 2, boxes for environment ends, clarified proof in appendix, reference cleanup (pages, capitalization), uncapitalized "REQUEST" and "ASSERT" when used in text, small rewordings (no results affected)