MARL-LNS：基于大邻域搜索的协作式多智能体强化学习
多智能体系统
2024-04-05 v1 机器学习
摘要
在过去五年中，由于其在现实世界应用中的巨大潜力，协作式多智能体强化学习（MARL）已成为一个日益重要的研究课题。由于维度灾难，流行的“集中式训练分散式执行”框架需要很长的训练时间，且仍无法高效收敛。在本文中，我们提出了一个通用训练框架 MARL-LNS，通过使用现有的深度 MARL 算法作为底层训练器，在交替的智能体子集上进行训练，从而在算法上解决这些问题，同时不涉及任何需要训练的额外参数。基于该框架，我们提供了三种算法变体：随机大邻域搜索（RLNS）、批量大邻域搜索（BLNS）和自适应大邻域搜索（ALNS），它们以不同方式交替智能体子集。我们在 StarCraft Multi-Agent Challenge 和 Google Research Football 上测试了我们的算法，结果表明我们的算法能够自动减少至少 10% 的训练时间，同时达到与原始算法相同的最终技能水平。
引用
@article{arxiv.2404.03101,
title = {MARL-LNS: Cooperative Multi-agent Reinforcement Learning via Large Neighborhoods Search},
author = {Weizhe Chen and Sven Koenig and Bistra Dilkina},
journal= {arXiv preprint arXiv:2404.03101},
year = {2024}
}