HPC 系统中的在线作业失败预测
分布式、并行与集群计算
2023-08-31 v1 人工智能
机器学习
摘要
现代高性能计算(HPC)系统是复杂的机器,对经济和社会有重大影响。随着其计算能力的提升,其能耗也在稳步上升,在当下的环境与能源危机下成为一个关键问题。因此,开发优化 HPC 系统管理的策略至关重要,既为保障顶级性能,也为提升能效。一种策略是在工作负载层面着手,在作业于系统上执行之前标出最有可能失败的作业。执行期间失败的作业会不必要地占用资源,可能延误其他作业,对系统性能与能耗产生不利影响。本文中,我们利用经典机器学习算法研究提交时刻的作业失败预测。我们的创新在于(i)将这些算法与自然语言处理(NLP)工具结合以表示作业,以及(ii)所设计的方法可在真实系统中以在线方式工作。该研究基于从意大利 CINECA 的 HPC 中心所托管的生产机器中提取的数据集。实验结果表明我们的方法是前景可观的。
引用
@article{arxiv.2308.15481,
title = {Online Job Failure Prediction in an HPC System},
author = {Francesco Antici and Andrea Borghesi and Zeynep Kiziltan},
journal= {arXiv preprint arXiv:2308.15481},
year = {2023}
}