持续学习的腿式机器人：在真实世界中微调运动策略

腿式机器人在物理上能够穿越各种具有挑战性的环境，但设计足够鲁棒以应对这种多样性的控制器一直是机器人学中的长期挑战。强化学习为自动化控制器设计过程提供了一种有吸引力的方法，并且在合适的环境范围内训练时能够产生极其鲁棒的控制器。然而，很难预测机器人在部署期间将遇到的所有可能条件，并在训练时将其一一列举。如果我们不训练足够鲁棒以处理任何突发情况的控制器，而是让机器人能够在所处的任何环境中持续学习，会怎样？这种真实世界中的强化学习带来了若干挑战，包括效率、安全性和自主性。为应对这些挑战，我们提出了一种实用的机器人强化学习系统，用于在真实世界中微调运动策略。我们证明，适量的真实世界训练可以显著提升部署期间的性能，这使得一台真实的 A1 四足机器人能够在包括户外草坪和多种室内地形在内的各类环境中自主微调多种运动技能。