学习跨团队规模迁移角色分配

多智能体强化学习是解决需要学习型智能体协调的复杂任务的关键。然而，强协调往往导致在指数级庞大的状态-动作空间中进行昂贵的探索。一种强大的方法是将团队工作分解为角色，这些角色理想情况下分配给具备相关技能的智能体。因此，训练智能体在团队中自适应地选择和扮演涌现的角色，使团队能够扩展到复杂任务并快速适应变化的环境。然而，这些潜力尚未被当前基于角色的多智能体强化学习方法完全实现，因为它们要么假设预定义的角色结构，要么假设固定的团队规模。我们提出了一个框架，用于学习角色分配并在不同团队规模间进行迁移。具体来说，我们通过演示为小型团队训练一个角色分配网络，并将该网络迁移到更大的团队，后者通过与环境的交互继续学习。我们证明，重用基于角色的信用分配结构可以促进更大规模强化学习团队的学习过程，以完成需要不同角色的任务。我们的方法在增强的角色强制捕食者-猎物游戏以及星际争霸II微管理基准测试的新场景中，均优于竞争技术。