通过GNN驱动的内在激励增强去中心化MARL中的异构智能体合作

多智能体强化学习（MARL）正成为各种序列决策和控制任务的关键框架。与单智能体对应物不同，多智能体系统需要智能体之间的成功合作。这些系统在现实场景中的部署通常需要去中心化训练、多样化的智能体集合以及从稀疏的环境奖励信号中学习。这些挑战在部分可观测性和缺乏关于智能体异构性的先验知识的情况下变得更加突出。尽管有 notable 的研究使用内在激励（IM）来解决去中心化环境中的奖励稀疏性或合作问题，但那些处理异构性的研究通常假设中心化训练、参数共享和智能体索引。为了克服这些限制，我们提出了CoHet算法，它利用一种新颖的基于图神经网络（GNN）的内在激励，在部分可观测性和奖励稀疏性的挑战下，促进去中心化环境中异构智能体策略的学习。在多智能体粒子环境（MPE）和向量化多智能体模拟器（VMAS）基准上的评估表明，与最先进的方法相比，CoHet在各种合作多智能体场景中均表现出优越的性能。我们的研究还分析了智能体动力学模型对内在激励模块的影响，深入了解了不同CoHet变体的性能，以及其对日益增多的异构智能体的鲁棒性。