协同强化与模仿学习用于沿河视觉驱动的无人机自主飞行

在复杂的河流环境中，用于救援和监视等任务的无人机视觉驱动自主飞行与避障需要鲁棒的控制策略，但由于缺乏可训练的河流环境模拟器，这一策略难以获得。为了在实际部署前轻松验证基于视觉的导航控制器在沿河飞行任务中的性能，我们使用Unity开发了一个可训练的逼真无动力学河流仿真环境。本文解决了普通强化学习算法在此类部分可观测、非马尔可夫环境中学习导航策略时遇到的缺陷。我们提出了一种协同方法，结合了强化学习和模仿学习。首先，在人工收集的演示上训练一个模仿学习专家，然后指导强化学习策略训练过程。同时，利用强化学习智能体生成的体验重新训练模仿学习专家，增强其对未见数据的泛化能力。通过利用强化学习和模仿学习的优势，该框架相比纯强化学习、纯模仿学习以及强化学习结合静态模仿学习算法，实现了更快的收敛速度和更高的性能。结果验证了所提方法在任务完成度和效率方面的有效性。代码和可训练环境已公开。