从运动控制到模拟人形足球中的团队配合

物理世界中的智能行为在多个空间和时间尺度上呈现出结构。尽管动作最终由瞬时肌肉张力或关节力矩执行，但它们必须被选择以服务于在更长的时间尺度上定义、且涉及远超身体本身的关系的目标，最终涉及与其他智能体的协调。人工智能近期的已展示出基于学习的方法在复杂运动、长期规划和多智能体协调等各自问题上的前景。然而，旨在将其整合的研究有限。我们通过训练在逼真虚拟环境中进行足球比赛的、物理模拟的人形化身团队来研究这一问题。我们开发了一种结合模仿学习、单智能体与多智能体强化学习以及基于种群的训练的方法，并利用可迁移的行为表征在不同抽象层次上进行决策。在一系列阶段中，玩家首先学习控制完全关节化的身体以执行逼真的、类人的运动如跑动和转向；随后掌握运球和射门等中级足球技能；最后发展出对他人的意识并作为团队配合，从而弥合了毫秒时间尺度上的低级运动控制与数十秒时间尺度上作为团队的协调目标导向行为之间的鸿沟。我们利用包括来自真实世界体育分析学的统计在内的若干分析技术，研究了不同抽象层次上行为的涌现以及支撑这些行为表征。我们的工作构成了在具身多智能体设定下多尺度集成决策的完整演示。项目视频见 https://youtu.be/KHMwq9pv7mg。