基于学习的大数据分析框架自动参数调优
软件工程
2018-08-21 v1 分布式、并行与集群计算
摘要
大数据分析框架（BDAFs）已被广泛用于数据处理应用。这些框架向用户提供大量配置参数，导致了令用户不堪重负的调优问题。为解决此问题，已提出许多自动调优方法。然而，在时间约束下于高维参数空间中生成足够样本仍是一项关键挑战。本文中，我们提出 AutoTune——一个旨在优化 BDAFs 上应用执行时间的自动参数调优系统。AutoTune 首先从生产系统构建较小规模的测试床，从而可在给定时间约束下生成更多样本，进而训练更好的预测模型。此外，AutoTune 算法产生一组能覆盖高维参数空间广泛区域的样本，并利用训练好的预测模型搜索更有前景的配置。AutoTune 在公有云上基于 Spark 框架与 HiBench 基准测试实现并评估。大量实验结果表明，AutoTune 相较默认配置平均提升 63.70%，相较五种最先进调优算法提升 6%–23%。
引用
@article{arxiv.1808.06008,
title = {Learning-based Automatic Parameter Tuning for Big Data Analytics Frameworks},
author = {Liang Bao and Xin Liu and Weizhao Chen},
journal= {arXiv preprint arXiv:1808.06008},
year = {2018}
}
备注
12 pages, submitted to IEEE BigData 2018