AI 耦合的 HPC 工作流
分布式、并行与集群计算
2022-08-26 v1 人工智能
机器学习
软件工程
摘要
科学发现日益需要复杂且可扩展的工作流。工作流已成为“新应用”，其中多尺度计算活动由多个异构可执行任务组成。特别是，将 AI/ML 模型引入传统 HPC 工作流，实现了高精度建模，通常相较传统方法降低了计算需求。本章讨论将 AI/ML 模型集成到 HPC 计算中的多种模式，由此产生多种类型的 AI 耦合 HPC 工作流。我们阐明了跨科学领域耦合 AI/ML 与 HPC 日益增长的需求，并通过各模式下的若干生产级用例加以例证。我们进一步讨论了极端规模 AI 耦合 HPC 活动的主要挑战——任务异构性、自适应性与性能——以及旨在解决这些挑战的若干框架与中间件方案。尽管 HPC 工作流与 AI/ML 计算范式各自独立有效，我们强调它们的集成乃至最终融合，正带来一系列领域中科学性能的显著提升，最终实现原本无法达成的科学探索。
引用
@article{arxiv.2208.11745,
title = {AI-coupled HPC Workflows},
author = {Shantenu Jha and Vincent R. Pascuzzi and Matteo Turilli},
journal= {arXiv preprint arXiv:2208.11745},
year = {2022}
}