通过HammerCloud和Big PanDA利用现代HEP基准测试套件优化ATLAS计算资源使用
分布式、并行与集群计算
2025-02-10 v1 高能物理 - 实验
摘要
2023年4月，基于HEP特定应用的新基准测试HEPScore23被WLCG采纳，取代了HEP-SPEC06。作为向新基准测试过渡的一部分，需要将各站点公布的CPU核心能力与运行ATLAS工作负载时观察到的有效能力进行比较。一个目标是验证新旧基准测试分数之间的转换率。另一个目标是理解HEPScore在多核作业槽上运行时的表现，即完全按照计算站点在生产环境中的使用方式进行。我们的研究利用HammerCloud基础设施和PanDA工作负载管理系统，使用增强的HEP基准测试套件在136个计算站点收集了大量的基准测试统计数据。这不仅使我们能够收集性能指标，而且借助插件，还能在执行期间收集机器负载、内存使用情况和其他用户定义的指标等信息，并将其存储在OpenSearch数据库中。这些广泛的测试允许对这些站点声明的与实际的计算能力进行深入分析。结果为承诺给ATLAS的计算资源的真实世界性能提供了宝贵的见解，识别了需要改进的领域，同时突出了表现不佳或超出预期的站点。此外，这有助于确保各站点的高效运维实践。收集到的指标使我们能够检测并修复配置问题，从而提高了实际体验的性能。
引用
@article{arxiv.2502.04853,
title = {Optimisation of ATLAS computing resource usage through a modern HEP Benchmark Suite via HammerCloud and Big PanDA},
author = {Natalia Szczepanek and Domenico Giordano and Ivan Glushkov and Gonzalo Menendez Borge and Alessandro Di Girolamo and Alexander Lory and Ilija Vukotic},
journal= {arXiv preprint arXiv:2502.04853},
year = {2025}
}
备注
8 pages, 7 figures, Paper submitted to the proceedings of the CHEP 2024, 27th Conference on Computing in High Energy and Nuclear Physics and will be published in EPJ Web of Conferences (EPJ WoC)