用于三维瑞利-贝纳德对流控制的多智能体强化学习

深度强化学习已应用于许多与流动控制相关的场景。多智能体强化学习作为深度强化学习的一种变体，已被证明在控制具有局部性和平移不变性的流动方面比单智能体强化学习更有效。我们首次提出了基于多智能体强化学习的控制方法在三维瑞利-贝纳德对流中的实现。控制通过修改沿底壁划分的多个控制段的温度分布来执行，每个控制段作为一个独立的智能体。考虑了瑞利数$\mathrm{Ra}=500$和$750$两种瑞利-贝纳德对流状态。对学习到的控制策略的评估显示，在$\mathrm{Ra}=500$和$750$时，对流强度分别降低了$23.5\%$和$8.7\%$。多智能体强化学习控制器将不规则形状的对流模式转换为规则直滚流，其对流强度较低，类似于相对更稳定状态下的流动。我们在两个瑞利数下与比例控制进行了比较，表明多智能体强化学习能够优于比例控制器。学习到的控制策略是复杂的，具有不同的非线性分段执行器延迟和执行幅度。我们还在比训练所用更大的域上进行了成功评估，证明了多智能体强化学习的平移不变性允许学习策略的直接迁移。