基于去中心化影子奖励 Actor-Critic 的通用效用多智能体强化学习

我们基于团队长期状态-动作占据测度的任意非线性函数（即\emph{通用效用}）提出一种新的多智能体强化学习（MARL）合作机制。这涵盖了累积回报，也允许纳入风险敏感性、探索与先验。我们推导了\emph{去中心化影子奖励 Actor-Critic（DSAC）}，其中智能体交替进行策略评估（评论家）、与邻居的加权平均（信息混合）以及对其策略参数的局部梯度更新（行动者）。DSAC 在经典评论家步骤上要求智能体 (i) 估计其局部占据测度，以 (ii) 估计局部效用相对于其占据测度的导数，即“影子奖励”。DSAC 以高概率在 $\mathcal{O}(1/\epsilon^{2.5})$（定理 \ref{theorem:final}）或更少步数 $\mathcal{O}(1/\epsilon^{2})$（推论 \ref{corollary:communication}）内收敛至 $\epsilon$-平稳点，具体取决于通信量。我们进一步确立了该问题不存在伪平稳点，即 DSAC 能找到全局最优策略（推论 \ref{corollary:global}）。实验展示了在合作 MARL 中超越累积回报的目标的优势。