解决多智能体强化学习中的旋转学习动力学
机器学习
2025-02-21 v2 机器学习
摘要
多智能体强化学习（MARL）已成为通过智能体的合作与竞争解决复杂问题的强大范式，广泛应用于多个领域。尽管取得了显著成功，MARL仍面临可重复性危机。我们指出，部分问题源于来自竞争智能体目标的旋转优化动力学，标准优化算法已不足以应对。我们将MARL方法重新框构为变分不等式（VIs），提供一种统一框架来解决此类问题。利用为VIs设计的优化技术，我们提出一种通用方法，将能够处理旋转动力学的梯度基VI方法集成到现有MARL算法中。实验结果表明，在各类基准测试中，本方法显著提升了性能。在零和博弈中、石头-剪刀-布和匹配硬币游戏中，VI方法实现了更好的平衡策略收敛；在Multi-Agent Particle Environment: Predator-prey中，还提升了团队协作。这些结果凸显了先进优化技术在MARL中的变革性潜力。
引用
@article{arxiv.2410.07976,
title = {Addressing Rotational Learning Dynamics in Multi-Agent Reinforcement Learning},
author = {Baraah A. M. Sidahmed and Tatjana Chavdarova},
journal= {arXiv preprint arXiv:2410.07976},
year = {2025}
}