PettingZoo：面向多智能体强化学习的 Gym
机器学习
2021-11-17 v7 多智能体系统
机器学习
摘要
本文介绍 PettingZoo 库及配套的智能体-环境循环（"AEC"）博弈模型。PettingZoo 是一个包含多样化多智能体环境集合、具有通用且优雅的 Python API 的库。PettingZoo 的开发旨在加速多智能体强化学习（"MARL"）研究，使工作更具可互换性、可及性与可复现性，类似于 OpenAI 的 Gym 库之于单智能体强化学习所起的作用。PettingZoo 的 API 虽继承了 Gym 的诸多特性，但在 MARL API 中独树一帜，因其围绕新颖的 AEC 博弈模型构建。我们通过针对流行 MARL 环境中主要问题的案例研究部分论证：流行的博弈模型是对 MARL 中常用博弈的糟糕概念模型，因而会助长难以察觉的混淆性 bug，而 AEC 博弈模型解决了这些问题。
引用
@article{arxiv.2009.14471,
title = {PettingZoo: Gym for Multi-Agent Reinforcement Learning},
author = {J. K. Terry and Benjamin Black and Nathaniel Grammel and Mario Jayakumar and Ananth Hari and Ryan Sullivan and Luis Santos and Rodrigo Perez and Caroline Horsch and Clemens Dieffendahl and Niall L. Williams and Yashas Lokesh and Praveen Ravi},
journal= {arXiv preprint arXiv:2009.14471},
year = {2021}
}