关于强化学习中流体力学环境的观点
机器学习
2026-05-26 v1
摘要
我们考虑开发高效与高维动态环境相互作用的智能体，以实现与开放世界的实用强化学习（RL）代理的视角，这些代理仅见证和影响其小部分。我们认为，规范流体力学问题及其仿真为开发此类方法提供了引人注目的测试平台。这些问题源于非线性不稳定性，其中小扰动可生长以改变系统动力学。非线性不稳定性代表了几个开放的科学挑战，具有工业应用——液态喷流的液滴破碎、两种流体界面之间的混合以及海洋中异常高大的浪 Rogue 波的出现。在这些设置中，代理可能利用跨越变化动力学的保存表示来高效学习。我们提出了两个代理与流体力学环境交互的问题描述，描述状态空间、动作空间和奖励函数。对于这些示例，我们指定了环境中非平稳性方面以及保存的不变性。我们指出Dedalus和JAX-CFD作为可用于开发强化学习方法的开源仿真器（Burns等，2016；Kochkov等，2021））。我们演示了使用Dedalus进行环境生成，通过创建学习在稳态环境中导航的RL代理。这为开发能够从事自然流和工业流动中科学挑战的RL代理奠定了基础。
引用
@article{arxiv.2605.25011,
title = {A perspective on fluid mechanical environments for challenges in reinforcement learning},
author = {Shruti Mishra and Michael Chang and Vamsi Spandan and Shmuel M. Rubinstein},
journal= {arXiv preprint arXiv:2605.25011},
year = {2026}
}