面对对手的联邦策略梯度方法的全局收敛保证

联邦强化学习 (FRL) 允许多个代理人在不共享原始轨迹的情况下协同构建决策制定策略。然而，如果其中一小部分代理人为对手性代理人，则可能导致灾难性结果。我们提出一种对对手性代理人具有鲁棒性的策略梯度方法，这些代理人可向服务器发送任意值。在此设置下，我们的结果提供了具有一般参数化的首个全局收敛保证。这些结果表明即使面对对手，也能够实现对数 $\tilde{\mathcal{O}}\left( \frac{1}{N\epsilon^2} \left( 1+ \frac{f^2}{N}\right)\right)$ 的最优样本复杂度，其中 $N$ 为代理人总数，$f<N/2$ 为对手代理人数量。