学习人形机器人在离散地形上的通用动态运动

本文探讨了人形机器人地形自适应动态运动的挑战，该问题传统上通过基于优化的方法或强化学习（RL）来解决。基于优化的方法，如模型预测控制，擅长寻找最优反作用力并实现敏捷运动，尤其是在四足机器人中，但难以处理腿式系统的非线性混合动力学以及步态位置、时机和反作用力的实时计算。相反，基于强化学习的方法在导航动态和崎岖地形方面显示出潜力，但受限于其庞大的数据需求。我们引入了一种新颖的运动架构，该架构将通过在简化环境中进行强化学习训练的神经网络策略，与结合了模型预测控制（MPC）和全身脉冲控制（WBIC）的最先进运动控制器集成在一起。该策略能够高效地学习高层运动策略，如步态选择和落脚点定位，而无需进行完整的动力学仿真。这种控制架构使人形机器人能够动态地穿越离散地形，并基于地面高度图做出策略性运动决策（例如，行走、跳跃和跨越）。我们的结果表明，与传统的基于强化学习的方法相比，这种集成控制架构以显著更少的训练样本实现了动态运动，并且无需额外训练即可迁移到不同的人形机器人平台。该控制架构已在动态仿真中进行了广泛测试，为三种不同的机器人实现了基于地形高度的动态运动。