基于降阶神经ODE模型与强化学习的数据驱动时空混沌控制
机器学习
2022-11-23 v1 混沌动力学
摘要
深度强化学习（RL）是一种数据驱动方法，能够为高维系统发现复杂控制策略，因此在流控制应用中具有前景。特别地，本工作受降低湍流中能量耗散这一目标的启发，所考虑的示例是Kuramoto-Sivashinsky方程（KSE）的时空混沌动力学。与RL相关的一个主要挑战是，必须通过反复与目标系统交互来生成大量训练数据，当系统在计算或实验上代价高昂时，这变得非常昂贵。我们以数据驱动的方式缓解这一挑战：将自编码器的降维与神经ODE框架相结合，仅从有限数据集中获得低维动力学模型。我们在RL训练期间用该数据驱动降阶模型（ROM）替代真实系统，以高效估计最优策略，随后可将其部署于真实系统。对于在四个位置施加局部强迫（“射流”）的KSE，我们证明仅从经历随机强迫的KSE快照就能学习到一个准确捕捉受迫动力学及底层自然动力学的ROM。利用该ROM以及最小化耗散与功率成本的控制目标，我们通过深度RL从中提取控制策略。我们表明基于ROM的控制策略能很好地迁移到真实KSE，并强调RL智能体发现并稳定了KSE系统的一个底层受迫平衡解。我们证明该ROM中捕获且通过RL发现的受迫平衡与已知的自然KSE平衡解相关。
引用
@article{arxiv.2205.00579,
title = {Data-driven control of spatiotemporal chaos with reduced-order neural ODE-based models and reinforcement learning},
author = {Kevin Zeng and Alec J. Linot and Michael D. Graham},
journal= {arXiv preprint arXiv:2205.00579},
year = {2022}
}