前沿规模扩展：基于 ExaWorks 的不确定性量化工作流程应用
分布式、并行与集群计算
2024-07-02 v1
摘要
在大规模运行时，现代科学工作流程需要中间件来处理分配资源、分布计算载荷并保证韧性执行。虽然单个步骤可能无需复杂控制方法，但将其整合为完整工作流程需要更高级的管理机制。本文使用 RADICAL-EnTK（ECP ExaWorks 项目的一个 SDK 组件）实现并执行了 novel 的 Exascale Additive Manufacturing（ExaAM）工作流程，运行于 Oak Ridge Leadership Computing Facility 的 Frontier 超级计算机上约 8000 个计算节点。EnTK 帮助我们解决了资源需求差异（如异构性、规模与运行时长）、不同工作流程的执行环境以及容错等挑战。开发的 EnTK 应用天然的可移植性特征使我们能够快速调整这些应用以适配 Frontier 运行，同时确保资源利用率达到预期水平（最高达 90%）。
引用
@article{arxiv.2407.01484,
title = {Scaling on Frontier: Uncertainty Quantification Workflow Applications using ExaWorks to Enable Full System Utilization},
author = {Mikhail Titov and Robert Carson and Matthew Rolchigo and John Coleman and James Belak and Matthew Bement and Daniel Laney and Matteo Turilli and Shantenu Jha},
journal= {arXiv preprint arXiv:2407.01484},
year = {2024}
}