FoX：多智能体强化学习中的编队感知探索

近来，深度多智能体强化学习（MARL）因在各种合作多智能体任务中的成功而广受关注。然而，由于智能体的部分可观测性以及随智能体数量增长而指数级扩大的探索空间，探索在MARL中仍是一大挑战。首先，为解决探索空间的可扩展性问题，我们在探索空间上定义了一种基于编队的等价关系，旨在通过仅探索不同编队中有意义的状态来缩减搜索空间。随后，我们提出了一种新颖的编队感知探索（FoX）框架，该框架通过引导部分可观测智能体仅基于自身观测充分感知当前编队，鼓励其访问多样编队中的状态。数值结果表明，所提FoX框架在Google Research Football（GRF）与稀疏Starcraft II多智能体挑战（SMAC）任务上显著优于最先进的MARL算法。