MA2QL：一种完全去中心化多智能体强化学习的极简方法
机器学习
2023-02-08 v2 多智能体系统
摘要
去中心化学习在合作多智能体强化学习（MARL）中已展现出巨大潜力。然而，非平稳性仍是完全去中心化学习中的一个重大挑战。本文以最简单且基础的方式解决非平稳性问题，提出了多智能体交替Q学习（MA2QL），其中智能体轮流通过Q学习更新其Q函数。MA2QL是一种针对完全去中心化合作MARL的极简方法，但具有理论依据。我们证明，当每个智能体在每轮保证-收敛时，其联合策略收敛到纳什均衡。在实践中，MA2QL仅需要对独立Q学习（IQL）进行极小改动。我们在多种合作多智能体任务上对MA2QL进行了实证评估。结果表明，尽管改动极小，MA2QL始终优于IQL，验证了MA2QL的有效性。
引用
@article{arxiv.2209.08244,
title = {MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning},
author = {Kefan Su and Siyuan Zhou and Jiechuan Jiang and Chuang Gan and Xiangjun Wang and Zongqing Lu},
journal= {arXiv preprint arXiv:2209.08244},
year = {2023}
}
备注
18 pages