一个用于 MapReduce 性能自调优的开源项目
分布式、并行与集群计算
2020-01-01 v1
摘要
许多 Hadoop 配置参数对 Hadoop 上运行 MapReduce 作业的性能有显著影响。一般用户手动调优参数以获得最优 MapReduce 性能既耗时又繁琐。此外，大多数现有自调优系统实现不透明，难以在实际中使用。本研究提出一个托管正在开发的名为 Catla 的自调优系统的开源项目，以解决上述问题。Catla 集成了多种直接搜索与无导数优化技术，以提升用户的调优效率。本研究阐述了该系统及其用法概览，并报告了一个简单示例以展示这一进行中项目的益处。尽管该项目仍在开发中且远未完善，其致力于通过提升大数据分析性能来贡献 Hadoop 生态。
引用
@article{arxiv.1912.12456,
title = {An Open-Source Project for MapReduce Performance Self-Tuning},
author = {Donghua Chen},
journal= {arXiv preprint arXiv:1912.12456},
year = {2020}
}
备注
3 pages and 3 figures