Lotaru：面向异构基础设施资源管理的本地工作流任务运行时预测
分布式、并行与集群计算
2023-09-14 v1
摘要
许多用于工作流中任务调度、能源与碳效率以及成本优化的资源管理技术依赖于先验的任务运行时知识。基于历史数据构建运行时预测模型在实践中往往不可行，因为工作流、其输入数据以及集群基础设施都会发生变化。另一方面，在作业流运行时于特定机器上估算任务运行时的在线方法，必须在启动阶段应对测量数据缺乏的问题。科学工作流经常在由具有不同 CPU、I/O 与内存配置的机器组成的异构基础设施上执行，由于不同机器类型上任务运行时不同，进一步使预测复杂化。本文提出 Lotaru，一种在异构计算集群上执行前本地预测科学工作流任务运行时的方法。关键在于，我们的方法不依赖历史数据，并能应对启动阶段训练数据的缺乏。为此，我们使用微基准，缩减输入数据以在本地快速剖析工作流，并基于本地工作流执行与微基准收集的数据点，通过贝叶斯线性回归预测任务运行时。由于其贝叶斯方法，Lotaru 提供不确定性估计，可用于分布式集群基础设施上的高级调度方法。在我们使用五个真实世界科学工作流的评估中，我们的方法优于两个最先进的运行时预测基线，并将绝对预测误差降低超过 12.5%。在第二组实验中，使用我们的方法预测的运行时进行最先进的调度、碳减排与成本预测，其预测性能所达成的结果接近于具备完美运行时先验知识的情况。
引用
@article{arxiv.2309.06918,
title = {Lotaru: Locally Predicting Workflow Task Runtimes for Resource Management on Heterogeneous Infrastructures},
author = {Jonathan Bader and Fabian Lehmann and Lauritz Thamsen and Ulf Leser and Odej Kao},
journal= {arXiv preprint arXiv:2309.06918},
year = {2023}
}