ALOJA-ML：一个自动化 Hadoop 部署特征描述与知识发现框架

本文介绍了 ALOJA-Machine Learning (ALOJA-ML)，它是 ALOJA 项目的扩展，利用机器学习技术来解释 Hadoop 基准测试性能数据和性能调优；在此我们详细阐述了该方法、模型的有效性及初步结果。Hadoop 呈现了一个复杂的执行环境，其成本和性能取决于大量的软件配置和多种硬件部署选择。这些结果伴随着一个测试平台和工具，用于部署和评估不同硬件配置、参数调优和云服务的成本效益。尽管 ALOJA 项目在专家指导的基准测试中取得了初步成功，但很明显，真正全面的研究需要建模过程的自动化，以便对庞大且资源受限的搜索空间进行系统分析。ALOJA-ML 提供了这样一个自动化系统，通过从大量配置参数下观测到的基准测试中对 Hadoop 执行进行建模，从而实现知识发现。由此产生的性能模型可用于预测各种工作负载的执行行为；它们允许对新配置和硬件选择进行“先验”的执行时间预测，并提供了一条基于模型的异常检测途径。此外，这些模型可以通过自动优先安排候选的未来基准测试，有效地指导基准测试探索。ALOJA-ML 模型的洞察可用于减少集群上的操作时间、加速数据采集和知识发现过程，并且重要的是，降低运行成本。除了从本文提出的方法论中学习之外，社区还可以从 ALOJA 数据集、框架和衍生洞察中普遍受益，以改进大数据应用的设计和部署。