衡量 Hadoop 优化的最优性
分布式、并行与集群计算
2013-07-12 v1 性能
摘要
近年来，大量研究聚焦于如何优化 Hadoop 作业。其方法多种多样，从改进 HDFS 和 Hadoop 作业调度器，到优化 Hadoop 配置中的参数。尽管这些方法在提升 Hadoop 作业性能方面取得了成功，然而，关于其优化性能的极限却知之甚少。也就是说，给定的 Hadoop 优化有多优？当某种 Hadoop 优化方法 X 将作业性能提升了 Y% 时，我们如何判断这一提升是否已达到极致？为回答这一问题，本文首先考察了 Hadoop 作业运行时间的理想最佳情况（即下界），并开发了一种度量方法，以准确评估给定 Hadoop 优化相对于该下界的最优程度。随后，我们展示了如何利用所提出的度量方法来改进 Hadoop 作业的优化。
引用
@article{arxiv.1307.2915,
title = {Measuring the Optimality of Hadoop Optimization},
author = {Woo-Cheol Kim and Changryong Baek and Dongwon Lee},
journal= {arXiv preprint arXiv:1307.2915},
year = {2013}
}