基于无服务器计算的高性能计算软件资源解聚
分布式、并行与集群计算
2024-07-29 v5
摘要
聚合的高性能计算资源具有僵化的分配系统和编程模型,难以适应多样化和不断变化的工作负载。因此,高性能计算系统未能有效利用大量未使用的内存池,并提高空闲计算资源的利用率。先前的工作试图通过工作负载共置和资源解聚来提高超级计算系统的吞吐量和效率。然而,这些方法未能提供一种无需重大硬件修改和性能损失即可应用于现有系统的解决方案。在本文中,我们通过采用无服务器计算这一新的云范式来提高超级计算机的利用率。我们展示了无服务器函数如何提供对批处理管理集群节点资源的细粒度访问。我们提出了一种面向高性能计算的函数即服务(FaaS),满足高性能应用的需求。我们展示了一种软件资源解聚方法,其中将函数放置在未分配和未充分利用的节点上,使得空闲核心和加速器得以利用,同时保持接近原生的性能。
引用
@article{arxiv.2401.10852,
title = {Software Resource Disaggregation for HPC with Serverless Computing},
author = {Marcin Copik and Marcin Chrapek and Larissa Schmid and Alexandru Calotoiu and Torsten Hoefler},
journal= {arXiv preprint arXiv:2401.10852},
year = {2024}
}
备注
Accepted for publication in the 2024 International Parallel and Distributed Processing Symposium (IPDPS)