SAF：面向 Hadoop Yarn 集群的模拟退火公平调度
分布式、并行与集群计算
2020-08-31 v1
摘要
Apache 推出了 YARN 作为下一代 Hadoop 框架，提供资源管理及跨 Hadoop 集群交付一致数据治理工具的中央平台。Hadoop YARN 支持 MapReduce 等多种框架以处理不同类型数据，并采用 FIFO、Capacity 和 Fair 等不同的调度策略。DRF 是不考虑历史信息、利用短期收敛至公平性的多类型资源分配最佳选项。然而，由于资源利用率方面公平性与性能之间的权衡，DRF 性能仍不尽如人意。为解决该问题，我们提出模拟退火公平调度（SAF），一种资源分配中的长期公平方案，以在资源利用率和 MakeSpan 方面实现公平性与优异性能。我们引入一个新参数称为熵，用以指示整个集群已分配资源公平性的无序程度。我们在 Hadoop Yarn 集群中将 SAF 实现为可插拔调度器，并在 Yarn 调度器负载模拟器（SLS）与 CloudSim Plus 仿真框架中使用标准 MapReduce 基准对其评估。最终，两种仿真工具的结果均佐证了我们的主张。与 DRF 相比，SAF 显著提升了 YARN 集群的资源利用率，并将 MakeSpan 降低至适当水平。
引用
@article{arxiv.2008.12586,
title = {SAF: Simulated Annealing Fair Scheduling for Hadoop Yarn Clusters},
author = {Mahsa Ghanavatinasab and Mastaneh Bahmani and Reza Azmi},
journal= {arXiv preprint arXiv:2008.12586},
year = {2020}
}
备注
28 pages, 8 sections, 7 figures