基于强化学习的偏微分方程状态估计
机器学习
2024-04-05 v2 系统与控制
系统与控制
摘要
在由非线性偏微分方程（如流体流动）控制的系统中，卡尔曼滤波等状态估计器的设计依赖于降阶模型（ROM），该模型将原始高维动力学投影到计算上易处理的低维空间。然而，ROM 容易产生较大误差，从而对估计器性能产生负面影响。在此，我们引入强化学习降阶估计器（RL-ROE），一种基于 ROM 的估计器，其中接收测量值的修正项由通过强化学习训练的非线性策略给出。策略的非线性使 RL-ROE 能够有效补偿 ROM 的误差，同时仍利用对动力学的不完美知识。使用涉及 Burgers 方程和 Navier-Stokes 方程的例子，我们表明在传感器极少的情况下，训练后的 RL-ROE 优于使用相同 ROM 设计的卡尔曼滤波器。此外，它能在不直接知晓物理参数值的情况下，针对对应于不同物理参数值的轨迹给出准确的高维状态估计。
引用
@article{arxiv.2302.01189,
title = {Reinforcement learning-based estimation for partial differential equations},
author = {Saviz Mowlavi and Mouhacine Benosman},
journal= {arXiv preprint arXiv:2302.01189},
year = {2024}
}
备注
24 pages, 15 figures