如何通过深度强化学习控制流体弹球的水动力
系统与控制
2023-05-03 v1 人工智能
系统与控制
摘要
用于流体弹球（均匀流中按等边三角形配置排列的三个独立旋转圆柱）的深度强化学习（DRL），因其在复杂流体动力学问题中自学习与数据驱动状态估计的有效性，能够学习高效的流动控制策略。本工作中，我们提出一种基于 DRL 的实时反馈策略，通过圆柱旋转来控制流体弹球所受水动力，即力的极值与跟踪。通过恰当设计奖励函数并编码历史观测，在经过数千次迭代的自动学习后，基于 DRL 的控制被证明能在非参数控制参数空间中做出合理且有效的控制决策，其表现可与甚至优于通过冗长暴力搜索找到的最优策略。随后，我们用机器学习模型分析了其中一项结果，从而揭示了决策依据与力跟踪过程的物理机制。本工作的发现可控制流体弹球系统运行中的水动力，并有望为在其他复杂流体动力学问题中探索高效主动流动控制策略铺平道路。
引用
@article{arxiv.2304.11526,
title = {How to Control Hydrodynamic Force on Fluidic Pinball via Deep Reinforcement Learning},
author = {Haodong Feng and Yue Wang and Hui Xiang and Zhiyang Jin and Dixia Fan},
journal= {arXiv preprint arXiv:2304.11526},
year = {2023}
}