用于发现非线性时空输运系统降阶闭合模型的变分多尺度强化学习
机器学习
2022-07-27 v1 动力系统
流体动力学
摘要
在众多科学应用的计算建模与仿真中，一个核心挑战是由于底层高度非线性的多尺度相互作用，为其粗粒度表示实现鲁棒且准确的闭合。这些闭合模型常见于许多非线性时空系统，用以解释因降阶表示而产生的损失，包括流体中的许多输运现象。先前的数据驱动闭合建模工作主要集中于使用高保真仿真数据的监督学习方法。另一方面，强化学习（RL）在时空扩展系统中是一种强大但相对未被探索的方法。在本研究中，我们提出一个模块化动态闭合建模与发现框架，以稳定可能出现在许多具有二次非线性的非线性时空动力系统中的基于 Galerkin 投影的降阶模型。然而，创建鲁棒 RL 智能体的关键要素是引入可行的奖励函数，该函数可由 RL 模型与高保真仿真数据之间的任意差异度量构成。首先，我们引入多模态 RL（MMRL）来发现模式依赖的闭合策略，利用高保真数据奖励我们的 RL 智能体。随后，我们 formulate 一种变分多尺度 RL（VMRL）方法，以在设计奖励函数时无需访问高保真数据即可发现闭合模型。具体而言，我们的主要创新是利用变分多尺度形式体系来量化 Galerkin 系统中模态相互作用之间的差异。我们在黏性 Burgers 方程仿真中的结果表明，所提出的 VMRL 方法可得到鲁棒且准确的闭合参数化，并有可能用于为复杂动力系统发现尺度感知的闭合模型。
引用
@article{arxiv.2207.12854,
title = {Variational multiscale reinforcement learning for discovering reduced order closure models of nonlinear spatiotemporal transport systems},
author = {Omer San and Suraj Pawar and Adil Rasheed},
journal= {arXiv preprint arXiv:2207.12854},
year = {2022}
}