高度扰动环境下基于部分观测的翼型俯仰控制深度强化学习
流体动力学
2024-04-03 v1
摘要
本研究探索了应用深度强化学习（RL）设计翼型俯仰控制器，以最小化随机扰动流中的升力变化。该控制器被视为部分可观测马尔可夫决策过程中的智能体，从环境中接收非马尔可夫观测，模拟了流信息仅限于力和压力传感器的实际约束。深度RL，特别是TD3算法，用于在此类条件下逼近最优控制策略。测试在两种环境下对平板翼型进行：经典的非定常环境（垂直加速度扰动，即Wagner设置）和带有脉冲点力扰动的粘性流模型。在两种情况下，用额外的尾流信息（例如来自压力传感器）增强升力、俯仰角和角速度的观测，并保留过去观测的记忆，提高了RL控制性能。结果表明，RL控制能够匹配或超越标准线性控制器在最小化升力变化方面的能力。特别关注了训练数据的选择以及对未见扰动的泛化能力。
引用
@article{arxiv.2404.01506,
title = {Deep reinforcement learning of airfoil pitch control in a highly disturbed environment using partial observations},
author = {Diederik Beckers and Jeff D. Eldredge},
journal= {arXiv preprint arXiv:2404.01506},
year = {2024}
}