利用强化学习构建动态四足机器守门员

我们提出了一种强化学习（RL）框架，使四足机器人能够在现实世界中执行足球守门任务。使用四足机器人进行足球守门是一个具有挑战性的问题，它将高度动态的 locomotion 与精确而快速的非抓取式物体（球）操控相结合。机器人需要在极短的时间内（通常小于一秒）通过动态 locomotion 动作对可能飞行的球做出反应并拦截。在本文中，我们提出使用分层无模型 RL 框架来解决此问题。该框架的第一部分包含用于不同 locomotion 技能的多个控制策略，可用于覆盖球门的不同区域。每个控制策略使机器人能够在执行一项特定 locomotion 技能（如跳跃、扑球和侧步）的同时跟踪随机参数化末端执行器轨迹。这些技能随后被框架的第二部分（一个高层规划器）所利用，以确定所需的技能和末端执行器轨迹，从而拦截飞向球门不同区域的球。我们将所提出的框架部署在 Mini Cheetah 四足机器人上，并证明了我们的框架在现实世界中对快速运动球的各种敏捷拦截的有效性。