具有推力矢量转子的四旋翼无人机控制策略的发展式强化学习

在本文中，我们提出了一种新颖的基于发展式强化学习的控制器，用于具有推力矢量能力的四旋翼飞行器。这种多旋翼无人机设计具有可倾转的转子。它利用转子力的大小和方向在飞行中达到期望状态。该机器人的控制策略通过使用从四旋翼飞行器（相对简单、无推力矢量的无人机设计）的已学控制器进行策略迁移来学习。该方法允许为多输入多输出系统学习控制策略。所学习策略的性能通过基于物理的仿真在悬停和航点导航任务中进行评估。飞行仿真利用基于强化学习的飞行控制器，无任何额外的 PID 组件。结果表明，与从该新无人机设计（由传统四旋翼改装而来，即增加自由度：传统四旋翼为 4 个执行器，倾转转子四旋翼为 8 个执行器）从头学习控制策略相比，所提方法学习更快。我们通过展示倾转转子平台在仿真中从各种非静态初始条件恢复以达到期望状态，证明了所学策略的鲁棒性。与从头学习的策略相比，倾转转子无人机的发展式策略还表现出更优的容错性。结果表明，所提方法能够将已学行为从较简单系统（低维动作空间）引导至更复杂机器人（相对较高维动作空间），并更快达到更好性能。