面向 HPC 系统上计算流体力学的深度强化学习
机器学习
2022-11-21 v1 计算工程、金融与科学
摘要
强化学习(RL)非常适合于在动力系统背景下设计控制策略。此类动力系统的一个显著实例是支配流体动力学的方程组。近期研究结果表明，RL 增强的计算流体动力学(CFD)求解器可以超越当前最优水平，例如在湍流建模领域。然而，在监督学习中，训练数据可先验地以离线方式生成，而 RL 在训练期间需要与 CFD 求解器进行持续的运行时交互与数据交换。为利用 RL 增强 CFD 的潜力，因而必须在高性能计算(HPC)硬件上高效实现 CFD 求解器与 RL 算法之间的交互。为此，我们提出 Relexi，一个可扩展的 RL 框架，它弥合了 HPC 系统上机器学习工作流与现代 CFD 求解器之间的鸿沟，为两者提供其专用硬件。Relexi 以模块化理念构建，并借助 SmartSim 库提供的内存数据传输，允许轻松集成各类 HPC 求解器。在此，我们展示了 Relexi 框架可扩展至数千核上的数百个并行环境。这使得利用现代 HPC 资源以实现更大规模问题或更快周转成为可能。最后，我们通过在大涡模拟中寻找最优涡黏系数选择的控制策略，展示了 RL 增强 CFD 求解器的潜力。
引用
@article{arxiv.2205.06502,
title = {Deep Reinforcement Learning for Computational Fluid Dynamics on HPC Systems},
author = {Marius Kurz and Philipp Offenhäuser and Dominic Viola and Oleksandr Shcherbakov and Michael Resch and Andrea Beck},
journal= {arXiv preprint arXiv:2205.06502},
year = {2022}
}
备注
11 pages, 5 figures, the code can be accessed at https://github.com/flexi-framework/relexi