OptEx：一种面向Spark的截止时间感知成本优化模型
分布式、并行与集群计算
2016-11-17 v1
摘要
我们提出OptEx，一个Apache Spark（流行的并行处理引擎）上作业执行的闭式模型。据我们所知，OptEx是首个解析建模Spark上作业完成时间的工作。该模型可用于估计给定Spark作业在云上的完成时间，涉及输入数据集大小、迭代次数、组成底层集群的节点数。实验结果表明OptEx在估计作业完成时间时产生6%的平均相对误差。此外，该模型可用于估计在云上运行给定Spark作业在SLO（即服务等级目标）指定的完成截止时间下的成本最优集群组合。我们通过实验展示OptEx能够以98%的准确度正确估计在SLO截止时间下运行给定Spark作业的成本最优集群组合。
引用
@article{arxiv.1603.07936,
title = {OptEx: A Deadline-Aware Cost Optimization Model for Spark},
author = {Subhajit Sidhanta and Wojciech Golab and Supratik Mukhopadhyay},
journal= {arXiv preprint arXiv:1603.07936},
year = {2016}
}
备注
10 pages, IEEE CCGrid 2016