Spot-on:面向云竞价实例上容错长时任务的检查点框架
分布式、并行与集群计算
2022-10-07 v1 基因组学
摘要
竞价实例(spot instances)为云计算环境中运行的应用提供了一种经济高效的方案。然而,由于竞价实例会遭遇不可预测的回收,在其上运行长时作业颇具挑战。在此,我们提出 Spot-on,一个通用软件框架,通过检查点与重启支持竞价实例上的容错长时工作负载。Spot-on 利用现有的检查点软件包,并与主流云厂商兼容。以一个基因组学应用为测试用例,我们证明了 Spot-on 同时支持特定于应用的检查点与透明检查点方法。相较于使用按需实例运行应用,它使这些工作负载得以完成,并显著降低了计算成本。相较于使用特定于应用的检查点机制运行应用,受透明检查点保护的应用将运行时间最多减少 40%,从而进一步节省多达 86% 的成本。
引用
@article{arxiv.2210.02589,
title = {Spot-on: A Checkpointing Framework for Fault-Tolerant Long-running Workloads on Cloud Spot Instances},
author = {Ashley Tung and Haiyan Wang and Yue Li and Zhong Wang and Jingchao Sun},
journal= {arXiv preprint arXiv:2210.02589},
year = {2022}
}
备注
3 pages, 3 figures, accepted to "Third International Symposium on Checkpointing for Supercomputing (SuperCheck-SC22) https://supercheck.lbl.gov/