基于动态有向图通信的协作多智能体系统训练与执行衔接

多智能体系统必须学会通信并理解智能体之间的交互，以实现部分可观测任务中的协作目标。然而，现有方法缺乏动态有向通信机制，且依赖全局状态，从而削弱了通信在集中训练中的作用。因此，我们提出了基于 Transformer 的图粗化网络（TGCNet），一种新颖的多智能体强化学习（MARL）算法。TGCNet 学习动态有向图的拓扑结构以表示通信策略，并整合图粗化网络以在训练期间近似全局状态的表示。它还在执行期间利用 Transformer 解码器进行特征提取。在多个协作 MARL 基准上的实验证明了相较于流行 MARL 算法的最先进性能。进一步的消融研究验证了我们提出的动态有向图通信机制和图粗化网络的有效性。