基于改进 Q-learning 的高机动飞机姿态控制
系统与控制
2022-10-25 v1 系统与控制
摘要
本文针对一种具有低稳定性特征的新型区域桁架支撑翼飞机，采用强化学习（RL）解决其姿态控制问题。近年来，RL 越来越多地应用于具有挑战性的场景，特别是自主飞行控制。然而，离散 RL 算法面临的一个显著困境是状态-动作表的维度限制以及 RL 环境要素定义的困难。为解决这些问题，本文首先建立所述飞机的详细数学模型以构建 RL 环境。随后，将最普遍的离散 RL 算法 Q-learning 分别应用于马尔可夫决策过程（MDP）和部分可观测马尔可夫决策过程（POMDP）框架，以控制飞行器的纵向模态。为消除由离散动作选择引起的残余波动，同时跟踪可变俯仰角，提出模糊动作分配（FAA）方法，利用训练得到的 Q 表生成连续控制指令。据此，将证明通过定义精确的奖励函数并观测所有关键状态，所引入控制系统的性能优于调优良好的 PID 控制器。
引用
@article{arxiv.2210.12317,
title = {Attitude Control of Highly Maneuverable Aircraft Using an Improved Q-learning},
author = {Mohsen Zahmatkesh and Seyyed Ali Emami and Afshin Banazadeh and Paolo Castaldi},
journal= {arXiv preprint arXiv:2210.12317},
year = {2022}
}
备注
7 pages, 7 figures