MapReduce应用的网络负载分析与配置
分布式、并行与集群计算
2013-01-30 v2 性能
摘要
在本文中，我们研究了固定大小MapReduce应用在shuffle阶段的配置参数与网络负载之间的依赖关系，然后提出了一种分析方法来建模这种依赖关系。我们的方法包括三个关键阶段：性能剖析、建模和预测。在第一阶段，使用不同的MapReduce配置参数（此处为mapper数和reducer数）多次运行应用，以在给定集群上剖析应用在shuffle阶段的网络负载。然后，通过多元线性回归对这些参数与网络负载之间的关系进行建模。为了评估，我们使用了三个应用（WordCount、Exim Mainlog解析和TeraSort）在4节点MapReduce私有集群上评估我们的技术。
引用
@article{arxiv.1206.2016,
title = {Network Load Analysis and Provisioning of MapReduce Applications},
author = {Nikzad Babaii Rizvandi and Javid Taheri and Reza Moraveji and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:1206.2016},
year = {2013}
}
备注
6 pages-submitted to The Thirteenth International Conference on Parallel and Distributed Computing, Applications and Technologies(PDCAT-12), Beijing, China