基于分布式异步引导策略搜索的群体机器人强化学习

原则上，强化学习与策略搜索方法能够使机器人学习高度复杂且通用的技能，从而使其能够在现实世界的复杂性与多样性中发挥作用。然而，训练一个能在广泛的真实世界条件下良好泛化的策略，所需的经验数量和多样性远远超过用单个机器人实际收集的量。幸运的是，多个机器人可以相互分享经验，从而集体地学习一个策略。在这项工作中，我们探索分布式和异步策略学习，以此作为在具有挑战性的真实世界操作任务上实现泛化并缩短训练时间的手段。我们提出了引导策略搜索的分布式异步版本，并利用四个机器人在基于视觉的开门任务上展示了群体策略学习。我们表明，与单机器人方案相比，该方法实现了更好的泛化性、利用率以及训练时间。