面向多智能体网络系统的可扩展强化学习

我们研究一种多智能体网络环境下的强化学习（RL），其中智能体的状态与动作以局部方式交互，目标是找到局部化策略以最大化（折扣）全局奖励。该设置下的一个基本挑战是状态-动作空间大小随智能体数量指数增长，使大规模网络问题难以处理。本文中，我们提出一种可扩展行动者-评论家（SAC）框架，该框架利用网络结构并找到局部化策略，对某个 $\rho\in(0,1)$ 为目标函数平稳点的 $O(\rho^{\kappa})$-近似，其复杂度随网络最大 $\kappa$-跳邻域的局部状态-动作空间大小缩放。我们使用来自无线通信、传染病与交通的示例来说明我们的模型与方法。