网络化智能体去中心化批量多智能体强化学习的有限样本分析

尽管多个社区对多智能体强化学习（MARL）的兴趣日益增长，理解其理论基础长期被公认为一个挑战性问题。在本工作中，我们通过为带网络化智能体的去中心化批量MARL提供有限样本分析来解决此问题。具体而言，我们考虑两种去中心化MARL设定：智能体团队由时变通信网络连接，且在没有中央控制器的情况下，要么协作、要么在零和博弈设定中竞争。这些设定涵盖了文献中许多常规MARL设定。对两种设定，我们开发了可以去中心化方式实现的批量MARL算法，并量化了所估计动作值函数的有限样本误差。我们的误差分析刻画了函数类、每次迭代的样本数以及迭代次数如何决定所提算法的统计精度。与单智能体RL的有限样本界相比，我们的结果包含了由去中心化计算引起的额外误差项，这在我们的去中心化MARL设定中是固有的。本工作似乎是首个针对批量MARL的有限样本分析，是朝有限样本机制下对一般MARL算法的严格理论理解迈出的一步。