作为探索的无监督技能发现用于学习敏捷运动

探索对于使腿式机器人学习能够克服多样化障碍的敏捷运动行为至关重要。然而，这种探索本身极具挑战性，我们通常依赖大量的奖励工程、专家演示或课程学习——所有这些都限制了泛化能力。在这项工作中，我们提出了技能发现即探索（SDAX），这是一种新颖的学习框架，可显著减少人工工程工作量。SDAX 利用无监督技能发现来自主获取用于克服障碍的多样化技能库。为了在训练过程中动态调节探索水平，SDAX 采用了一个双层优化过程，该过程可自主调整探索的程度。我们证明，SDAX 使四足机器人能够习得高度敏捷的行为，包括爬行、攀爬、跳跃以及执行诸如蹬墙跳等复杂动作。最后，我们将学习到的策略部署到真实硬件上，验证了其成功迁移到现实世界的能力。