基于深度强化学习的Cassie双足机器人反馈控制

双足运动技能难以开发。控制策略常利用动力学的局部线性化结合降阶抽象以得到易处理的解决方案。在这些基于模型的控制策略中，控制器往往不能完全感知许多细节，包括力矩限制、关节限制以及其他为简化而必然从控制计算中排除的非线性因素。深度强化学习（DRL）为控制双足运动提供了一种有前景的无模型方法，可更充分地利用动力学。然而，机器学习文献中的当前结果常基于并非对应硬件的特设仿真模型。因此，DRL在可实现的双足机器人上的成功程度仍不清楚。本文中，我们利用双足机器人Cassie的逼真模型证明了DRL的有效性。通过将反馈控制问题表述为寻找马尔可夫决策过程的最优策略，我们得以用DRL学习鲁棒的行走控制器来模仿参考运动。不同行走速度的控制器通过模仿原始参考运动的简单时间缩放版本学习得到。控制器的鲁棒性通过若干具有挑战性的测试得到证明，包括传感延迟、在崎岖地形上盲走以及骨盆处意外推力。我们还展示了可在各独立策略间进行插值，且插值策略可提升鲁棒性。