面向虚拟 MapReduce 集群的混合作业驱动调度
分布式、并行与集群计算
2018-09-12 v2
摘要
对于预算有限的租户而言，通过从 VPS 提供商处租用多个虚拟专用服务器（VPS）来建立虚拟 MapReduce 集群是一种经济高效的方式。为这类计算环境提供合适的调度方案，本文从租户视角提出了一种混合作业驱动调度方案（简称 JoSS）。JoSS 不仅提供作业级调度，还提供 map 任务级调度和 reduce 任务级调度。JoSS 基于作业规模和作业类型对 MapReduce 作业进行分类，并设计相应的调度策略来调度每一类作业。其目标是改善 map 任务和 reduce 任务的数据局部性，避免作业饥饿，并提升作业执行性能。进一步引入 JoSS 的两种变体，分别实现更好的 map 数据局部性和更快的任务分配。我们进行了大量实验，将这两种变体与 Hadoop 所支持的现有调度算法进行评估和比较。结果表明，这两种变体在 map 数据局部性、reduce 数据局部性和网络开销方面优于其他被测算法，且未带来显著开销。此外，这两种变体分别适用于不同的 MapReduce 工作负载场景，并在所有被测算法中提供最佳的作业性能。
引用
@article{arxiv.1808.08040,
title = {Hybrid Job-driven Scheduling for Virtual MapReduce Clusters},
author = {Ming-Chang Lee and Jia-Chun Lin and Ramin Yahyapour},
journal= {arXiv preprint arXiv:1808.08040},
year = {2018}
}
备注
13 pages and 17 figures