利用深度强化学习降低钝体阻力
流体动力学
2023-05-08 v1 数值分析
数值分析
最优化与控制
摘要
我们提出一种深度强化学习方法，用于解决流体力学中的经典问题，即降低钝体阻力。我们将该问题构建为具有连续动作空间的离散时间控制：在每个时间步，一个自主智能体可设定位于物体后方的两股流体射流的流量。该智能体使用近端策略优化（Proximal Policy Optimization）训练，学习一种有效策略使射流与尾流中的涡旋相互作用，从而降低阻力。为应对流体动力学模拟的计算复杂性（否则训练过程将极其昂贵），我们在域的粗离散化上训练智能体。我们提供的数值证据表明，在此近似环境中训练的策略在迁移到更密网格时仍保持良好性能。我们的模拟显示出可观的阻力降低，并随之带来总功率的节省（总功率定义为控制系统消耗功率与阻力功率之和），与无任何射流的参考钝体模拟相比达 40%。最后，我们定性地研究了神经网络学到的控制策略。我们观察到，它通过学习涡旋形成频率并相应激活射流，从而将涡旋从物体后表面吹离，实现了阻力降低。
引用
@article{arxiv.2305.03647,
title = {Reducing the Drag of a Bluff Body by Deep Reinforcement Learning},
author = {Enrico Ballini and Alberto Silvio Chiappa and Stefano Micheletti},
journal= {arXiv preprint arXiv:2305.03647},
year = {2023}
}