基于超图卷积的协作多智能体强化学习
人工智能
2022-04-29 v2 机器学习
多智能体系统
摘要
近年来，多智能体系统（MAS）取得了巨大成功。值分解将联合动作价值分解为个体动作价值，是 MAS 中的重要工作。然而，许多值分解方法忽略了不同智能体间的协调，导致臭名昭著的“懒惰智能体”问题。为增强 MAS 中的协调性，本文提出超图卷积混合（HGCN-MIX），一种将超图卷积与值分解相结合的方法。HGCN-MIX 将智能体及其关系建模为超图，其中智能体为节点，节点间的超边表示相应智能体可协调以获得更大奖励。然后，它训练一个能捕捉智能体间协作关系的超图。利用学习到的超图考虑其他智能体的观测与动作如何影响自身决策，MAS 中的智能体可更好地协调。我们在 StarCraft II 多智能体挑战基准中评估 HGCN-MIX。实验结果表明，HGCN-MIX 训练的联合策略优于或达到当前 SOTA 技术的同等性能水平。我们还观察到，在智能体数量众多的场景中，HGCN-MIX 的性能提升更为显著。此外，我们进行了额外分析以强调，当超图学习到更多关系时，HGCN-MIX 能训练出更强的联合策略。
引用
@article{arxiv.2112.06771,
title = {Cooperative Multi-Agent Reinforcement Learning with Hypergraph Convolution},
author = {Yunpeng Bai and Chen Gong and Bin Zhang and Guoliang Fan and Xinwen Hou and Yu Liu},
journal= {arXiv preprint arXiv:2112.06771},
year = {2022}
}
备注
8 pages, 6 figures, accepted by IJCNN 2022