从显式通信到默契协作:一种协作式多智能体强化学习新范式
多智能体系统
2023-05-01 v1 人工智能
机器学习
摘要
集中训练分散执行 (CTDE) 是一种广泛应用的学习范式,在复杂任务中取得了显著成功。然而,部分可观测性问题以及智能体间缺乏有效共享信号常常限制其促进协作的效果。虽然通信可以应对这一挑战,但同时也降低了算法的实用性。受人类团队协作学习启发,我们提出了一种新范式,促进从显式通信到默契协作的逐步转变。在初始训练阶段,我们通过智能体间共享相关信息并利用各智能体局部轨迹重建该信息来促进协作。随后我们将显式通信信息与重建信息结合以获得混合信息。在整个训练过程中,我们逐步降低显式通信信息的比例,实现向无通信的完全分散执行的平滑过渡。多种场景下的实验结果表明,我们无通信方法的性能可接近甚至超越 QMIX 及基于通信的方法。
引用
@article{arxiv.2304.14656,
title = {From Explicit Communication to Tacit Cooperation:A Novel Paradigm for Cooperative MARL},
author = {Dapeng Li and Zhiwei Xu and Bin Zhang and Guoliang Fan},
journal= {arXiv preprint arXiv:2304.14656},
year = {2023}
}
备注
16 pages, 10figures