基于周转时间预测的高性能计算混合云作业放置顾问
分布式、并行与集群计算
2016-08-30 v3
摘要
多家公司和研究机构正将其计算密集型应用迁移至混合高性能计算（HPC）云环境。这种转变依赖于软件系统的创建，这些系统能帮助用户在考虑执行时间和访问本地集群的队列等待时间的情况下，决定作业应放置在何处。盲目依赖周转时间预测技术将对HPC云环境内的响应时间产生负面影响。本文介绍了一种工具，用于在HPC混合云环境中做出作业放置决策，该工具考虑了执行时间和等待时间预测的不准确性。我们使用来自真实超级计算中心的作业轨迹进行实验，并利用真实加速比曲线比较了不同环境间的性能。我们还扩展了一种最先进的基于机器学习的预测器，使其能够利用集群调度器的数据。我们的主要发现是：(i) 根据工作负载特征，存在一个转折点，在此之后应忽略预测，转而采取更保守的决策，以最小化作业务周转时间；(ii) 调度器数据在利用作业轨迹数据改进机器学习生成的预测方面起着关键作用——我们的实验显示预测准确率提高了约20%。
引用
@article{arxiv.1608.06310,
title = {Job Placement Advisor Based on Turnaround Predictions for HPC Hybrid Clouds},
author = {Renato L. F. Cunha and Eduardo R. Rodrigues and Leonardo P. Tizzei and Marco A. S. Netto},
journal= {arXiv preprint arXiv:1608.06310},
year = {2016}
}
备注
14 pages, 7 figures, accepted for publication at Future Generation Computer Systems (FGCS)