利用深度强化学习为双足机器人学习敏捷足球技能

我们研究深度强化学习(Deep RL)是否能够为一款低成本、微型人形机器人合成复杂且安全的运动技能，这些技能可在动态环境中组合成复杂的行为策略。我们使用深度强化学习训练了一个具有20个驱动关节的人形机器人进行简化的一对一(1v1)足球比赛。所得智能体展现出稳健且动态的运动技能，如快速跌倒恢复、行走、转向、踢球等；并以平滑、稳定且高效的方式在这些技能间切换。该智能体的运动与战术行为会适应特定的比赛情境，若手动设计将不切实际。该智能体还发展出对比赛的基本策略理解，例如学会预判球的运动并封堵对手射门。我们的智能体在仿真中训练并零样本迁移到真实机器人。我们发现，在仿真训练中结合足够高频率的控制、有针对性的动力学随机化以及扰动，能够实现高质量的迁移。尽管机器人本身脆弱，但在训练中对行为进行基本正则化使机器人学会了安全且有效的运动，同时仍以保持动态和敏捷的方式执行——远超对该机器人的直观预期。事实上，在实验中，与脚本化基线相比，它们行走速度加快181%，转向速度加快302%，起身所需时间减少63%，踢球速度加快34%，同时高效组合技能以实现更长期的目标。