基于多智能体强化学习的三维圆柱体向湍流过渡的流动控制

为三维（3D）阻力体设计主动流动控制（AFC）策略具有挑战性且具有关键工业意义。本研究探索了使用深度强化学习发现新型控制策略以实现阻力降低的潜力。我们引入了一个用于 3D 圆柱体的高维 AFC setup，考虑雷诺数（$Re_D$）从 100 到 400，这一范围包括向 3D 暗面不稳定性的过渡。该 setup 包括多个零质量-flux 喷嘴位于顶部和底部表面上，排列成两个槊口。该方法依赖于将计算流体动力学求解器与基于近端策略优化算法的多智能体强化学习（MARL）框架耦合。MARL 提供了若干优势：它利用局部不变性，可跨几何形态实现可调控制，促进迁移学习和跨应用代理，并导致显著的训练加速。我们的结果表明，在 $Re_D=400$ 时，DRL 控制实现了 16% 的阻力降低，优于经典周期控制（后者实现最高 6% 的降低）。在 $Re_D=400$ 时，对阻力气动分解（POD）分析揭示了 DRL 控制导致稳定的湍流结构，呈现更长的循环气泡。鉴于作者所知，本研究中基于 MARL 的框架是首次在 3D 圆柱体上进行训练。这一突破为在日益复杂的湍流流动配置上进行 AFC 铺平了道路。