OGMP：用于敏捷通用机器人控制的预言机引导多模式策略

强化学习在机器人控制中的有效性依赖于针对特定任务的先验知识和启发式方法的定制集成，这对其在复杂任务中的直接应用构成了挑战，并 necessitates 一种统一的方法。在本工作中，我们定义了一类称为预言机 (oracles) 的通用先验，它们在训练期间以闭环方式被查询时生成状态参考。通过将允许的状态限制在预言机的假设附近，我们提出了一种与任务无关的预言机引导策略优化。为了增强模块化，我们引入了对任务至关重要的模式，表明掌握一组紧凑模式及其转换的策略可以处理无限时域任务。例如，要在无限长的轨道上进行跑酷，策略必须有效地学习跳跃、跨越、 pacing 以及在这些模式之间进行转换。我们在具有挑战性的双足控制任务（跑酷和跳水）中验证了该方法，使用的是 16 自由度动态双足机器人 HECTOR。我们的方法为每个任务生成单一策略，在仿真中解决了 diverse 轨道上的跑酷问题以及从高达 2 米的不同高度进行的全向跳水，展示了通用的敏捷性。我们展示了跑酷成功的 sim-to-real 迁移，包括跨越高达腿长 105% 的间隙、跳过高达机器人标称高度 20% 的障碍物，以及以高达 0.6 m/s 的速度 pacing，并在真实机器人上实现了这些模式之间的有效转换。