云环境中容忍暂时性失效的 Bag-of-Tasks 调度器
分布式、并行与集群计算
2018-10-25 v1
摘要
云平台已成为执行高性能计算（HPC）应用的显著环境，提供按需资源以及可扩展性。它们通常提供不同类别的虚拟机（VM），在可用性与易失性方面确保不同保证，并通过多种定价模型提供相同资源。例如，在 Amazon EC2 云中，用户按小时为按需 VM 付费，而 spot VM 是以更低价格可用的未使用实例。尽管有经济优势，spot VM 可随时被 EC2 终止、停止或休眠。利用易于休眠的 spot VM（出于成本考虑）与按需 VM，我们在本文中提出一种针对由独立任务（bag-of-task）组成且带截止时间约束的 HPC 应用的静态调度。然而，若 spot VM 休眠且未在保证应用截止时间的时间内恢复，则发生暂时性失效。因此，我们的调度旨在最小化 EC2 云中 bag-of-tasks 应用的货币成本，同时遵守其截止时间并避免暂时性失效。为此，我们的算法静态创建两张调度映射：（i）第一张包含每个任务的开始时间及其应执行的 VM（即当前价格最低的可用 spot 或按需 VM）；（ii）第二张包含第一张映射中分配在 spot VM 上的每个任务的开始时间及其为满足应用截止时间以避免暂时性失效而应执行的按需 VM。当 spot VM 的休眠期超过时间限制时，将使用后者。基于任务执行轨迹、Amazon EC2 VM 类别配置及 VM 市场历史的仿真性能结果证实了我们的调度之有效性及其对暂时性失效的容忍能力。
引用
@article{arxiv.1810.10279,
title = {A Bag-of-Tasks Scheduler Tolerant to Temporal Failures in Clouds},
author = {Luan Teylo and Lúcia Maria de A. Drummond and Luciana Arantes and Pierre Sens},
journal= {arXiv preprint arXiv:1810.10279},
year = {2018}
}