论数据倾斜、拖后腿任务与 MapReduce 进度指示器
分布式、并行与集群计算
2015-04-03 v2 性能
软件工程
摘要
我们致力于解决预测 MapReduce 应用程序性能的问题，设计了准确的进度指示器，使程序员能够在作业执行期间了解已完成计算时间的百分比。通过大量实验，我们表明最先进的进度指示器（包括 Hadoop 提供的那个）可能会受到数据倾斜、负载不平衡和拖后腿任务 (straggling tasks) 的严重影响。这主要是由于它们隐含地假设运行时间与输入大小成线性关系。因此，我们设计了一种名为 NearestFit 的新型基于性能分析的进度指示器，它不依赖线性假设，而是利用了最近邻回归和统计曲线拟合技术的精心组合。我们的理论进度模型需要细粒度的性能分析数据，这在实际中可能非常难以管理。为克服这一问题，我们借助空间和时间高效的数据流算法来计算模型中某些量的准确近似值。我们在 Hadoop 2.6.0 之上实现了 NearestFit。在 Amazon EC2 平台上针对各种真实世界基准进行的广泛实证评估表明，NearestFit 在空间和时间开销方面具有实用性，且其准确度通常非常高，即使在竞争对手出现不可忽略的误差和大幅预测波动的场景中也是如此。总体而言，NearestFit 显著提升了当前 MapReduce 进度分析的最先进水平。
引用
@article{arxiv.1503.09062,
title = {On data skewness, stragglers, and MapReduce progress indicators},
author = {Emilio Coppa and Irene Finocchi},
journal= {arXiv preprint arXiv:1503.09062},
year = {2015}
}