QTypeMix：通过异质与同质价值分解增强多智能体合作策略
多智能体系统
2024-08-15 v1 人工智能
摘要
在多智能体合作任务中，异质智能体的存在是常见的。与同质智能体间的合作相比，协作需要考虑每个智能体最适合的子任务。然而，多智能体系统的运行通常涉及大量复杂的交互信息，这使得学习异质策略更具挑战性。相关的多智能体强化学习方法有时使用分组机制来形成更小的合作组，或利用先验领域知识来学习不同角色的策略。相比之下，智能体应学习更深层的角色特征，而不依赖于额外信息。因此，我们提出了QTypeMix，它将价值分解过程分为同质和异质两个阶段。QTypeMix通过TE损失从局部历史观察中学习提取类型特征。此外，我们引入了包含注意力机制和超网络的先进网络结构，以增强表示能力并实现价值分解过程。在SMAC和SMACv2的14张地图上测试所提方法的结果表明，QTypeMix在不同难度的任务中均达到了最优性能。
引用
@article{arxiv.2408.07098,
title = {QTypeMix: Enhancing Multi-Agent Cooperative Strategies through Heterogeneous and Homogeneous Value Decomposition},
author = {Songchen Fu and Shaojing Zhao and Ta Li and YongHong Yan},
journal= {arXiv preprint arXiv:2408.07098},
year = {2024}
}
备注
16 pages, 8 figures