为 RoboCup 设计一支技能娴熟的足球队：通过强化学习探索技能集原语

RoboCup 3D 足球仿真联赛是一个通过模拟足球比赛展示自主人形机器人代理创新的竞争平台。我们的团队 FC Portugal 在 RoboCup 2021 之后从头用 Python 开发了新的代码库。团队的表现依赖于一组围绕新颖统一原语的技能，以及定制的近端策略优化（Proximal Policy Optimization）算法的对称扩展版本。我们的方法已在官方 RoboCup 比赛中经过充分测试，FC Portugal 赢得了 2022 年和 2023 年的最近两次主要比赛。本文介绍了我们的训练框架，以及利用技能集原语开发的技能时间线，这些原语显著提高了技能的采样效率和稳定性，并促进了无缝过渡。我们从 2021 年开发的显著快速的冲刺踢球开始，进展到最新的技能集，包括多用途全向行走、具有前所未有的控球能力的盘带、稳固的踢球以及推挤技能。推挤技能解决了低层碰撞场景和高层策略以增加控球率。我们通过一种创新的多智能体学习方法解决了该任务的资源密集型性质。最后，我们将团队代码库发布给 RoboCup 社区，为其他团队构建新功能提供 robust 且现代的基础。