面向大数据性能优化的自主式体系结构
分布式、并行与集群计算
2023-04-21 v1 人工智能
摘要
基于 Apache Spark 和 Hadoop 的大数据软件栈已在众多企业中成为关键业务系统。Spark 和 Hadoop 作业的性能取决于大量配置参数。人工调优成本高且脆弱。此前已有研究致力于开发在线与离线自动调优方法，以降低大数据栈对人工调优的依赖。然而，这些方法仅在小数据集上以非常简单的单用户工作负载展示了有限的性能提升。本文提出 KERMIT——一种能够为大数据提供自主调优的体系结构，可在线自动调优 Apache Spark 和 Hadoop，其性能比人类管理员凭经验调优快 30%，并达到通过穷举搜索调优参数空间所得最快可能调优速度的 92%。KERMIT 能以高达 99% 的准确率检测重要工作负载变化，并以高达 96% 的准确率预测未来工作负载类型。它能够在未显式使用此类工作负载样本训练的情况下，识别并分类复杂的多用户工作负载。它不依赖过往工作负载历史来预测未来工作负载类别及其相关性能。KERMIT 能够识别并学习新的工作负载类别，且可在无人工干预的情况下适应工作负载漂移。
引用
@article{arxiv.2304.10503,
title = {Autonomic Architecture for Big Data Performance Optimization},
author = {Mikhail Genkin and Frank Dehne and Anousheh Shahmirza and Pablo Navarro and Siyu Zhou},
journal= {arXiv preprint arXiv:2304.10503},
year = {2023}
}