面向多智能体部分可观测环境的软层次图循环网络
机器学习
2021-09-07 v1 人工智能
多智能体系统
摘要
多智能体深度强化学习 (MADRL) 的最新进展使其在现实任务中更具实用性，但其相对较差的可扩展性与部分可观测约束给其性能与部署带来了挑战。基于人类社会可被视为大规模部分可观测环境的直观观察，其中每个个体具有与邻居通信及记忆自身经验的功能，我们提出了一种称为层次图循环网络 (HGRN) 的新型网络结构，用于部分可观测下的多智能体协作。具体而言，我们将多智能体系统构建为图，使用层次图注意力网络 (HGAT) 实现相邻智能体间的通信，并利用 GRU 使智能体能够记录历史信息。为鼓励探索并提升鲁棒性，我们设计了一种最大熵学习方法以学习具有可配置目标动作熵的随机策略。基于上述技术，我们提出了一种基于值的 MADRL 算法称为 Soft-HGRN，及其 actor-critic 变体名为 SAC-HRGN。基于三个同质任务与一个异构环境的实验结果不仅表明我们的方法相比四种基线取得了明显改进，也展示了所提模型的可解释性、可扩展性与可迁移性。消融研究证明了各组件的功能与必要性。
引用
@article{arxiv.2109.02032,
title = {Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially Observable Environments},
author = {Zhenhui Ye and Xiaohong Jiang and Guanghua Song and Bowei Yang},
journal= {arXiv preprint arXiv:2109.02032},
year = {2021}
}
备注
9 pages, 6 figures, 1 table. Under review