Tuneful：面向大数据分析的意义感知在线配置调优器
分布式、并行与集群计算
2020-01-23 v1 系统与控制
系统与控制
摘要
Spark等分布式分析引擎是处理极大数据集的常用选择。然而，为这些系统找到良好配置仍然具有挑战性，每个工作负载可能需要不同的设置才能最优运行。使用次优配置会带来显著的额外运行时间成本。我们提出Tuneful，一种高效调优内存集群计算系统配置的方法。Tuneful结合增量敏感性分析与贝叶斯优化，以少量执行次数从高维搜索空间中识别近优配置。该设置允许在线调优，无需任何先前训练。我们的实验结果表明，与现有最先进（SOTA）技术相比，Tuneful将寻找近优配置的搜索时间减少了62%（中位数）。这意味着调优成本的摊销显著加快，使得针对新型工作负载的实际调优成为可能。
引用
@article{arxiv.2001.08002,
title = {Tuneful: An Online Significance-Aware Configuration Tuner for Big Data Analytics},
author = {Ayat Fekry and Lucian Carata and Thomas Pasquier and Andrew Rice and Andy Hopper},
journal= {arXiv preprint arXiv:2001.08002},
year = {2020}
}