物尽其用：基于 HPC-Whisk 的非侵入式动态 FaaS 基础设施
分布式、并行与集群计算
2022-11-03 v1
摘要
现代HPC工作负载管理器及其精细调优提升了HPC集群的高利用率。然而，由于不可避免的不确定性，完全避免节点空闲是不可能的。尽管此类空闲槽位通常过短而无法运行任何HPC作业，但它们又过长而不容忽视。函数即服务（FaaS）范式有望填补这一空白，且能良好匹配，因为典型FaaS函数持续数秒而非数小时。本文展示了如何在HPC集群的空闲节点上构建FaaS基础设施，使其不显著影响HPC作业性能。我们通过集成开源软件Slurm与OpenWhisk，动态适配不断变化的空闲物理机集合。我们设计并实现了一个原型方案，在运行生产负载的5万核集群上覆盖了多达90%的空闲时间槽。
引用
@article{arxiv.2211.00717,
title = {Using Unused: Non-Invasive Dynamic FaaS Infrastructure with HPC-Whisk},
author = {Bartłomiej Przybylski and Maciej Pawlik and Paweł Żuk and Bartłomiej Łagosz and Maciej Malawski and Krzysztof Rzadca},
journal= {arXiv preprint arXiv:2211.00717},
year = {2022}
}