基于深度强化学习的飞行控制器合成

传统控制方法在许多涉及信息物理系统（CPS）控制的部署场景中不足以应对。在此类场景中，CPS 控制器必须运行并响应不可预测的交互、状况或失效模式。应对此类不可预测性需要使用能够实现规划与推理的执行与认知控制功能。受无人机竞速运动启发，本学位论文通过研究利用深度神经网络为构建底层飞行控制器引入高层认知要素，来解决最先进飞行控制中的上述问题。本文报告了用于构建神经飞行控制器的开源完整解决方案栈的开发与发布。该栈包含：为特定飞行器合成专属飞行控制器的多旋翼数字孪生构建方法、用于实现训练环境（GymFC）的调参框架，以及全球首个神经网络支持的飞行控制器固件（Neuroflight）。GymFC 的新颖方法融合了用于飞行控制训练的数字孪生范式，以实现向硬件的无缝迁移。此外，本论文考察了替代性奖励系统函数以及对软件环境的改动，以弥合模拟与真实世界部署环境之间的差距。本论文所总结的工作表明，强化学习能够被用于训练神经网络控制器，其不仅能够在真实环境中维持稳定飞行，还可完成精确特技机动。因此，本工作为开发下一代飞行控制系统奠定了基础。