复杂全合作任务中多智能体强化学习算法的扩展基准测试
机器学习
2025-07-08 v2
摘要
多智能体强化学习（MARL）近期已成为一个重要的研究领域。然而，MARL的评估往往缺乏系统性的多样性，阻碍了对算法能力的全面理解。特别是，合作型MARL算法主要在SMAC和GRF等基准上进行评估，这些基准主要侧重于团队游戏场景，未能充分评估在完全合作的实际任务（如多机器人协作与仓储、资源管理、搜索救援以及人机协作）中所需智能体能力的各个方面。此外，MARL算法主要在低维状态空间上进行评估，因此它们在高维（例如图像）观测上的性能尚未得到充分研究。为填补这一空白，本文强调了在更广泛的现有基准上扩展系统性评估的迫切需求。为此，我们对知名的MARL算法在复杂的全合作基准上进行了广泛的评估和比较，包括以图像作为智能体观测的任务。有趣的是，我们的分析表明，许多在SMAC和GRF上被誉为最先进的算法，在全合作基准上的表现可能不如标准的MARL基线。最后，为了实现更系统、更完善的合作型MARL算法评估，我们开源了PyMARLzoo+，这是对广泛使用的(E)PyMARL库的扩展，它解决了[TBG++21]中的一个开放挑战，促进了与PettingZoo所有基准以及Overcooked、PressurePlate、Capture Target和Box Pushing的无缝集成与支持。
引用
@article{arxiv.2502.04773,
title = {An Extended Benchmarking of Multi-Agent Reinforcement Learning Algorithms in Complex Fully Cooperative Tasks},
author = {George Papadopoulos and Andreas Kontogiannis and Foteini Papadopoulou and Chaido Poulianou and Ioannis Koumentis and George Vouros},
journal= {arXiv preprint arXiv:2502.04773},
year = {2025}
}