OS4M：通过在操作级别调度实现 MapReduce 工作负载的全局负载均衡
分布式、并行与集群计算
2014-06-17 v1
摘要
MapReduce 的效率与其负载均衡密切相关。现有的 MapReduce 负载均衡工作侧重于粗粒度调度。本研究关注 MapReduce 操作的细粒度调度，其中每个操作代表一次 Map 或 Reduce 函数的调用。默认情况下，MapReduce 采用基于哈希的方法调度 Reduce 操作，这通常导致负载均衡较差。此外，Reduce 任务的复制阶段与 Map 任务重叠，由于 I/O 争用，显著阻碍了 Map 任务的进度。而且，Reduce 任务的三个阶段顺序运行，同时消耗不同的资源，从而导致资源利用率不足。为克服这些问题，我们引入了一组名为 OS4M（面向 MapReduce 的操作调度）的机制以提高 MapReduce 的性能。OS4M 通过收集所有 Map 操作的统计信息来实现负载均衡，并计算全局最优调度以分发 Reduce 操作。使用 OS4M，Reduce 任务的复制阶段不再与 Map 任务重叠，且 Reduce 任务的三个阶段根据其操作负载进行流水线化处理。OS4M 已透明地集成到 MapReduce 中。在标准基准测试上的评估表明，与 Hadoop 基线相比，OS4M 的作业持续时间最多可缩短 42%。
引用
@article{arxiv.1406.3901,
title = {OS4M: Achieving Global Load Balance of MapReduce Workload by Scheduling at the Operation Level},
author = {Liya Fan and Bo Gao and Fa Zhang and Zhiyong Liu},
journal= {arXiv preprint arXiv:1406.3901},
year = {2014}
}
备注
arXiv admin note: substantial text overlap with arXiv:1401.0355