基于端到端深度强化学习的四旋翼机群避碰与导航

用于四旋翼控制的端到端深度强化学习（DRL）具有诸多优势——易于部署、任务泛化与实时执行能力。先前的端到端基于 DRL 的方法已展示了将所学控制器部署到单个四旋翼或在简单无障碍环境中机动的四旋翼编队上的能力。然而，障碍物的加入使可能的交互数量呈指数增长，从而增加了训练 RL 策略的难度。在本工作中，我们提出一种端到端 DRL 方法来控制处于含障碍环境中的四旋翼机群。我们为智能体提供课程学习以及裁剪碰撞片段的重放缓冲区，以提升在富障碍环境中的性能。我们实现了一种注意力机制以关注邻近机器人与障碍物的交互——这是该机制在部署于严重计算受限硬件上的机群行为策略上的首次成功演示。我们的工作是首个证明可通过端到端 DRL 训练出避免邻居与避免障碍的控制策略，并能零样本迁移至真实四旋翼的工作。我们的方法在仿真中可扩展至 32 个机器人、80% 障碍物密度，在实物部署中可扩展至 8 个机器人、20% 障碍物密度。视频演示可在项目网站获取：https://sites.google.com/view/obst-avoid-swarm-rl。