数据丛林中的 RHEEMix：面向跨平台系统的基于代价的优化器
数据库
2020-09-08 v3
摘要
在追求高效且可扩展的数据分析过程中，“一刀切并不适用”的洞见催生了大量专门的数据处理平台，而当今复杂的数据分析正超越单一平台的局限。在本文中，我们介绍了 Rheem 的基于代价的优化器，Rheem 是一个应对这些新需求的开源跨平台系统。该优化器将数据分析任务的子任务分配给最合适的平台。我们的主要贡献是：(i)~一种基于图变换探索替代执行策略的机制；(ii)~一种新颖的基于图的方法，用于高效规划子任务与平台间的数据移动；以及 (iii)~一种基于新颖枚举代数的高效计划枚举算法。我们在多种真实任务下广泛评估了我们的优化器。结果表明，我们的优化器能够为给定任务选择最高效的平台组合，使数据分析师无需选择和编排平台。此外，通过使用多平台而非单一平台，我们的优化器使任务运行速度提升超过一个数量级。
引用
@article{arxiv.1805.03533,
title = {RHEEMix in the Data Jungle: A Cost-based Optimizer for Cross-platform Systems},
author = {Sebastian Kruse and Zoi Kaoudi and Bertty Contreras and Sanjay Chawla and Felix Naumann and Jorge-Arnulfo Quiané-Ruiz},
journal= {arXiv preprint arXiv:1805.03533},
year = {2020}
}