多智能体环境中独立强化学习算法的研究
多智能体系统
2021-11-02 v1 人工智能
机器学习
摘要
独立强化学习算法在多智能体设定中并无找到最优策略的理论保证。然而在实践上，先前工作已在部分领域中报道独立算法表现良好，而在其他领域中表现糟糕。此外，文献中缺乏对独立算法优缺点的全面研究。在本文中，我们在涵盖三类主要多智能体环境（即合作、竞争与混合）的四个 PettingZoo 环境中对独立算法的性能进行实证比较。我们表明，在完全可观测环境中，独立算法在合作与竞争设定下可与多智能体算法表现相当。对于混合环境，我们表明通过独立算法训练的智能体学会 individually 表现良好，但未能学会与盟友合作及与敌人竞争。我们还表明，增加循环结构可改善独立算法在合作部分可观测环境中的学习。
引用
@article{arxiv.2111.01100,
title = {Investigation of Independent Reinforcement Learning Algorithms in Multi-Agent Environments},
author = {Ken Ming Lee and Sriram Ganapathi Subramanian and Mark Crowley},
journal= {arXiv preprint arXiv:2111.01100},
year = {2021}
}
备注
15 pages, 7 figures, Accepted for NeurIPS 2021 Deep Reinforcement Learning Workshop