基于策略式奖励的可证明高效离线多智能体强化学习

本文研究离线多智能体强化学习。我们提出策略式集中原理，直接为联合策略构建置信区间，不同于为联合动作空间中每一点构建置信区间的点式集中原理。对于两人零和马尔可夫博弈，利用策略式奖励的凸性，我们提出一种计算高效的算法，其样本复杂度对动作数量的依赖优于先前基于点式奖励的方法。此外，对于离线多智能体一般和马尔可夫博弈，基于策略式奖励与一种新颖的代理函数，我们给出首个样本复杂度仅随 $\sum_{i=1}^mA_i$ 缩放的算法，其中 $A_i$ 为第 $i$ 个玩家的动作规模，$m$ 为玩家数。形成鲜明对比的是，基于点式奖励的方法因多智能体维度灾难，其样本复杂度随联合动作空间大小 $\Pi_{i=1}^m A_i$ 缩放。最后，我们所有算法均可自然地将预先指定的策略类 $\Pi$ 作为输入，并输出接近 $\Pi$ 中最佳策略的策略。在此设定下，样本复杂度仅随 $\log |\Pi|$ 而非 $\sum_{i=1}^mA_i$ 缩放。