基于图神经网络的不变控制策略用于主动流动控制

强化学习已在主动流动控制任务中获得广泛关注，最初的应用探索了通过在二维圆柱周围增强流场来实现阻力减缓。随后，强化学习被扩展至更复杂的湍流流动，并展现出学习复杂控制策略的巨大潜力。然而，这些应用仍面临计算挑战，因其样本效率低且关联的仿真成本高。由于缺乏泛化能力，这些训练好的策略网络往往隐式地依赖于其训练条件的输入配置。这一工作提出使用图神经网络以解决这一局限，有效提高适用范围，从而从初始强化学习训练成本中获取更多价值。图神经网络能够自然地处理非结构化的三维流动数据，保留空间关系，无需笛卡尔网格的约束。此外，它们将旋转、反射和置换不变性纳入所学控制策略中，从而提高泛化性，消除常用 CNN 或 MLP 架构的局限。为证明这一方法的有效性，我们回顾了 established 的二维圆柱基准问题用于主动流动控制。强化学习训练使用 Relexi 实现，流动仿真在高阶不可连续 Galerkin 框架 FLEXI 中并行进行。我们的结果表明，基于图神经网络的控制策略在实现与现有方法相当的性能方面取得了良好结果，同时受益于改进的泛化特性。这项工作确立了图神经网络作为基于强化学习的流动控制的有前景的架构，并凸显了 Relexi 和 FLEXI 在流体动力学中大规模强化学习应用的能力。