LOCAT：Spark SQL 应用的低开销在线配置自动调优
分布式、并行与集群计算
2022-11-09 v4
摘要
Spark SQL 已在工业界广泛部署，但其性能调优颇具挑战。近期研究尝试采用机器学习(ML)解决该问题，但存在两方面的缺陷。首先，收集训练样本耗时长久(高开销)。其次，同一应用针对某一输入数据大小的最优配置未必适用于其他大小。为应对这些问题，我们提出一种基于贝叶斯优化(BO)的新方法 LOCAT，用于在线自动调优 Spark SQL 应用的配置。LOCAT 创新了三项技术。第一项技术称为 QCSA，在收集训练样本时通过查询配置敏感性分析(QCSA)剔除对配置不敏感的查询。第二项技术名为 DAGP，是一种数据大小感知高斯过程(DAGP)，将应用性能建模为配置参数及输入数据大小的函数分布。第三项技术称作 IICP，针对性能识别重要配置参数(IICP)并仅调优重要参数。据此，LOCAT 能以低开销调优 Spark SQL 应用配置并适应不同输入数据大小。我们采用来自基准测试套件 TPC-DS、TPC-H 和 HiBench 的 Spark SQL 应用，在两个差异显著的集群(四节点 ARM 集群与八节点 x86 集群)上运行以评估 LOCAT。ARM 集群上的实验结果显示，LOCAT 将最先进方法的优化过程加速至少 4.1 倍、至多 9.7 倍；此外，LOCAT 将应用性能提升至少 1.9 倍、至多 2.4 倍。在 x86 集群上，LOCAT 展现出与 ARM 集群相似的结果。
引用
@article{arxiv.2203.14889,
title = {LOCAT: Low-Overhead Online Configuration Auto-Tuning of Spark SQL Applications},
author = {Jinhan Xin and Kai Hwang and Zhibin Yu},
journal= {arXiv preprint arXiv:2203.14889},
year = {2022}
}
备注
16 pages, 21 figures, SIGMOD '22. This arxiv version is an extended version of the SIGMOD '22 paper with same title, allowed by conference chairs