状态维度不匹配下三维方柱主动流动控制的深度强化迁移学习
流体动力学
2024-01-24 v1
摘要
本文致力于开发一种深度强化学习（DRL）控制策略，以减轻高雷诺数流动条件下作用于三维（3D）方柱上的气动力。位于方柱四角的四个射流用作执行器，方柱表面的压力探头用作反馈观测器。部署了软演员-评论家（SAC）算法来识别有效的控制方案。此外，我们使用低雷诺数（Re =1000）下的二维（2D）方柱流场对DRL智能体进行预训练，然后将其迁移到Re =22000的三维方柱上。为解决从二维到三维情况迁移学习中的状态维度不匹配问题，开发了一种状态维度不匹配迁移学习方法以增强SAC算法，命名为SDTL-SAC。结果表明，跨不同状态空间的迁移学习实现了与SAC算法相同的控制策略，显著提高了训练速度，训练成本降低了51.1%。此外，SAC控制策略使阻力系数显著降低了52.3%，同时大幅抑制了升力波动。这些结果凸显了DRL在主动流动控制中的潜力，为该控制技术在工程实际中的高效、鲁棒和实用化实施奠定了基础。
引用
@article{arxiv.2401.12543,
title = {Deep reinforcement transfer learning for active flow control of a 3D square cylinder under state dimension mismatch},
author = {Lei Yan and Gang Hu and Wenli Chen and Bernd R. Noack},
journal= {arXiv preprint arXiv:2401.12543},
year = {2024}
}