ALOJA-ML：Hadoop 部署中自动化特征刻画与知识发现的框架
摘要
本文介绍了 ALOJA-Machine Learning (ALOJA-ML)，它是 ALOJA 项目的扩展，利用机器学习技术来解释 Hadoop 基准测试性能数据和性能调优；在此我们详述了该方法、模型的有效性及初步结果。Hadoop 呈现出一个复杂的执行环境，其成本和性能依赖于大量的软件 (SW) 配置和多种硬件 (HW) 部署选择。这些结果附带有测试平台和工具，用于部署和评估不同硬件配置、参数调优及云服务的成本效益。尽管基于专家指导的基准测试在 ALOJA 项目早期取得了成功，但很明显，一项真正全面的研究需要建模过程的自动化，以便对庞大且资源受限的搜索空间进行系统分析。ALOJA-ML 提供了这样一个自动化系统，通过跨大量配置参数对观测到的基准测试进行建模来实现知识发现。所得的性能模型可用于预测各种工作负载的执行行为；它们允许对新配置和硬件选择进行执行时间的“先验”预测，并提供了一条基于模型的异常检测途径。此外，这些模型可以通过自动优先安排候选的未来基准测试来高效地指导基准测试探索。从 ALOJA-ML 模型中获得的见解可用于减少集群上的运行时间，加速数据获取和知识发现过程，并且重要的是，降低运行成本。除了从本文提出的方法论中学习之外，社区通常还可以受益于 ALOJA 数据集、框架和衍生见解，以改进大数据应用的设计和部署。
引用
@article{arxiv.1511.02031,
title = {Status of Indirect (and Direct) Dark Matter searches},
author = {Marco Cirelli},
journal= {arXiv preprint arXiv:1511.02031},
year = {2015}
}
备注
25 pages, many figures (including a new summary chart of all current DM ID constraints). The generic parts of the text concerning DM ID are copied from arXiv:1202.1454, of which this work is (in some sense) an update. v2: references added. v3: a few more references added