HPC 系统资源利用率分析：NERSC Perlmutter 案例研究
分布式、并行与集群计算
2023-03-14 v3
摘要
HPC 应用的资源需求差异显著。然而，HPC 系统通常主要按节点分配资源，以防止共置工作负载的干扰。这种粗粒度资源分配与多变资源需求之间的差距可能导致 HPC 资源未被充分利用。在本研究中，我们分析了 NERSC 的 Perlmutter 系统的资源使用和应用行为，这是一个先进的开放科学 HPC 系统，同时拥有仅 CPU 和 GPU 加速节点。我们为期一个月的使用分析显示，CPU 通常未被充分利用，尤其是对于启用 GPU 的作业。此外，约 64% 的仅 CPU 和启用 GPU 的作业使用了 50% 或更少的可用主机内存容量。另外，约 50% 的启用 GPU 的作业使用了最多 25% 的 GPU 内存，且对于所有作业，内存容量在某些方面均未被充分利用。虽然我们的研究处于 Perlmutter 生命周期的早期，因此策略和应用工作负载可能会发生变化，但它提供了关于性能特征、应用行为的宝贵见解，并推动了具有更细粒度资源分配的系统的发展。
引用
@article{arxiv.2301.05145,
title = {Analyzing Resource Utilization in an HPC System: A Case Study of NERSC Perlmutter},
author = {Jie Li and George Michelogiannakis and Brandon Cook and Dulanya Cooray and Yong Chen},
journal= {arXiv preprint arXiv:2301.05145},
year = {2023}
}