通过质心动量正则化的多智能体强化学习学习人形机器人手臂运动

人类在运动过程中自然地摆动双臂以调节全身动力学、减少角动量并帮助维持平衡。受此原理启发，我们提出了一种肢体级的多智能体强化学习（RL）框架，该框架通过涌现的手臂运动实现人形机器人的协调全身控制。我们的方法对手臂和腿部采用独立的演员-评论家结构，使用集中式评论家但分散式演员进行训练，这些演员仅共享基础状态和质心角动量（CAM）观测，允许每个智能体通过模块化奖励设计专注于任务相关行为。由CAM跟踪和阻尼奖励引导的手臂智能体促进了减少整体角动量和垂直地面反作用力矩的手臂运动，有助于在运动或外部扰动下改善平衡。与单智能体和替代多智能体基线的比较研究进一步验证了我们方法的有效性。最后，我们将学习到的策略部署在人形平台上，在多种运动任务中实现了稳健的性能，包括平地行走、崎岖地形穿越和爬楼梯。