基于 ADMM 梯度更新的联邦自然策略梯度中通信效率的改进

联邦强化学习(FedRL)使智能体能够协作训练全局策略而无需共享各自数据。然而,高通信开销仍是一个关键瓶颈,尤其是对于二阶的自然策略梯度(NPG)方法。为解决此问题,我们提出了 FedNPG-ADMM 框架,其利用交替方向乘子法(ADMM)高效近似全局 NPG 方向。我们从理论上证明,使用基于 ADMM 的梯度更新将每次迭代的通信复杂度从 ${O}({d^{2}})$ 降低到 ${O}({d})$,其中 $d$ 为模型参数数量。此外,我们表明达到 $\epsilon$ 误差的平稳收敛需要 ${O}(\frac{1}{(1-\gamma)^{2}{\epsilon}})$ 次迭代(折扣因子为 $\gamma$),证明 FedNPG-ADMM 保持了与标准 FedNPG 相同的收敛速率。通过在 MuJoCo 环境中对 proposed 算法进行评估,我们证明 FedNPG-ADMM 保持了标准 FedNPG 的奖励性能,并且当其联邦智能体数量增加时其收敛速率有所提升。