Stubby：一种基于转换的 MapReduce 工作流优化器

利用由基于数据的生产者 - 消费者关系连接的 MapReduce 作业组成的工作流对大型数据集进行分析的趋势日益增长。这一趋势催生了多种用于生成 MapReduce 工作流的接口开发，范围从基于程序的接口到基于查询的接口。研究表明，优化后的工作流与未优化的工作流之间的性能差距可能非常大。然而，由于接口种类繁多、执行计划空间庞大以及优化所需的各种信息经常缺失，MapReduce 工作流的自动基于成本的优化仍然是一个挑战。我们引入了一个全面的计划空间，涵盖由流行工作流生成器生成的 MapReduce 工作流。随后，我们提出了 Stubby，这是一种基于成本的优化器，它能够在任何给定设置中，根据可用信息，有选择地搜索完整计划空间中那些可以被正确枚举和计价的子空间。Stubby 基于计划到计划的转换和一种高效的搜索算法来枚举计划空间。Stubby 被设计为可扩展至新接口和新类型的优化，鉴于 MapReduce 系统的快速演变，这是一个理想的特性。我们使用来自多个领域的代表性工作流评估了 Stubby 的效率和有效性。