基于领域信息强化学习提高混沌对流控制鲁棒性
机器学习
2025-11-04 v1 流体动力学
摘要
混沌对流在许多现实系统中出现，例如微流体装置和化学反应器。稳定这些流动是 highly desirable 的，但在混沌 regime 下仍具有挑战性，尤其是传统控制方法常常失败。强化学习（RL）在层流设置下显示出为控制提供的前景，但其在混沌和湍流动力学下的泛化和鲁棒性尚未得到良好探索，尽管这对实际部署至关重要。本文聚焦于Rayleigh-B\'enard Convection（RBC），这是一种用于传递热量的典型模型，通过引入基于领域的知识设计奖励函数来增强泛化和样本效率。我们采用在多样初始条件和流动 regime 下训练的Proximal Policy Optimization训练的领域信息RL代理。我们在奖励函数中加入鼓励B\'enard cell合并的项，以示例一种可取的宏观属性。在层流 regime 下，领域信息RL代理将对流热传递降低最高可达33%，而在混沌流动 regime 下，仍实现10%的降低，这显著优于实际应用中使用的传统控制器。我们比较了领域信息与非领域信息代理：我们的结果表明，领域信息奖励设计导致稳定流动、训练期间更快收敛，并在无需重新训练的情况下实现跨 regime 的泛化。我们的工作表明，优雅的领域信息先验可以大大增强基于RL的混沌流控制的鲁棒性，使实际部署更加可行。
引用
@article{arxiv.2511.00272,
title = {Improving the Robustness of Control of Chaotic Convective Flows with Domain-Informed Reinforcement Learning},
author = {Michiel Straat and Thorben Markmann and Sebastian Peitz and Barbara Hammer},
journal= {arXiv preprint arXiv:2511.00272},
year = {2025}
}