Chronos：面向截止时间关键型 MapReduce 作业推测执行的统一优化框架
分布式、并行与集群计算
2018-04-18 v1
摘要
在 MapReduce 等云处理系统中满足期望的应用截止时间至关重要，因为云应用的性质正变得日益任务关键且对截止时间敏感。已有研究表明，MapReduce 作业的执行时间常受到少数慢任务（称为掉队者）的不利影响，导致高延迟与截止时间违例。尽管现有工作已开发若干策略通过启动推测性或克隆任务尝试来缓解掉队者，但均未能提供量化框架来优化推测执行，以向满足应用截止时间提供有保障的服务水平协议（SLAs）。本文中，我们将若干推测调度策略统一于一个称为 Chronos 的优化框架下，其定义了一种新度量——截止时间前完成概率（PoCD），用以衡量 MapReduce 作业满足其期望截止时间的概率。我们系统分析了 Clone、Speculative-Restart 和 Speculative-Resume 等流行策略的 PoCD，并以闭式量化其 PoCD。结果揭示了 PoCD 与推测执行成本之间的重要权衡，后者由不同策略下所需总（虚拟）机器时间度量。我们提出一个优化问题以联合优化不同策略中的 PoCD 与执行成本，并开发了保证最优的算法解。Chronos 在 Hadoop MapReduce 上原型实现，并通过实验与轨迹驱动仿真对照三种基线策略进行评估，实现了 50% 的净效用提升，PoCD 最高达 80%，成本改进达 88%。
引用
@article{arxiv.1804.05890,
title = {Chronos: A Unifying Optimization Framework for Speculative Execution of Deadline-critical MapReduce Jobs},
author = {Maotong Xu and Sultan Alamro and Tian Lan and Suresh Subramaniam},
journal= {arXiv preprint arXiv:1804.05890},
year = {2018}
}