基于 KPI 的 HPC 作业聚类与可视化：一种特征降维方法
人工智能
2023-12-12 v1
摘要
高性能计算（HPC）系统需要持续监控以确保其稳定性。监控系统收集了大量关于不同参数或关键绩效指标（KPIs）的数据，例如资源使用情况、IO 等待时间等。对这些通常以时间序列形式存储的数据进行恰当分析，可以为选择正确的管理策略以及及早发现问题提供洞见。在本文中，我们引入了一种根据 KPI 指标对 HPC 作业进行聚类的方法。我们的方法通过对时间序列应用两种技术来降低所收集数据固有的高维度：基于文献的特征提取和基于方差的特征提取。我们还定义了一个流程，通过结合前两种方法和主成分分析（PCA）来可视化获得的聚类。最后，我们在一个真实数据集上验证了我们的贡献，得出结论：与 CPU 使用相关的 KPI 为聚类分析提供了最佳的凝聚力和分离度，并且我们的可视化方法取得了良好结果。
引用
@article{arxiv.2312.06534,
title = {KPIs-Based Clustering and Visualization of HPC jobs: a Feature Reduction Approach},
author = {Mohamed Soliman Halawa and Rebeca P. Díaz-Redondo and Ana Fernández-Vilas},
journal= {arXiv preprint arXiv:2312.06534},
year = {2023}
}
备注
23 pages, 11 figures