FCMNet：面向多智能体系统团队级协作的全通信记忆网络
机器人学
2022-02-01 v2 人工智能
机器学习
多智能体系统
摘要
部分可观测多智能体系统中的分散式协作需要智能体间的高效通信。为支持此工作，本文关注一类全局通信可用但可能不可靠的问题，从而排除了可微通信学习方法。我们引入 FCMNet，一种基于强化学习的方法，使智能体能够同时学习 a) 有效的多跳通信协议与 b) 支持团队级决策的通用分散式策略。具体而言，我们提出的方法利用多个有向循环神经网络的隐藏状态作为智能体间的通信消息。使用简单的多跳拓扑，我们赋予每个智能体在每步顺序接收由其他每个智能体编码的信息的能力，从而改进全局协作。我们在具有共享奖励的极具挑战性的 StarCraft II 微操任务集，以及具有个体奖励的协作式多智能体路径规划任务上演示了 FCMNet。我们的对比结果表明，FCMNet 在所有 StarCraft II 微操任务上优于最先进的基于通信的强化学习方法，并在某些任务上优于值分解方法。我们进一步在随机消息丢失或二值化消息（即不可微通信信道）等现实通信扰动下考察 FCMNet 的鲁棒性，以展示 FCMNet 在多种真实条件下应用于机器人任务的潜在适用性。
引用
@article{arxiv.2201.11994,
title = {FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems},
author = {Yutong Wang and Guillaume Sartoretti},
journal= {arXiv preprint arXiv:2201.11994},
year = {2022}
}
备注
To appear in the International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2022)