带生成模型的压缩联邦强化学习

强化学习最近获得了前所未有的普及，但它仍然面临样本效率低下的问题。为了解决这一挑战，联邦强化学习应运而生，其中智能体通过聚合局部估计来协作学习单一策略。然而，这个聚合步骤会带来显著的通信成本。在本文中，我们提出了CompFedRL，一种通信高效的联邦强化学习方法，结合了周期性聚合和（直接/误差反馈）压缩机制。具体来说，我们考虑了带生成模型设置的压缩联邦Q学习，其中中央服务器通过周期性聚合来自局部智能体的压缩Q估计来学习最优Q函数。我们首次通过提供算法的有限时间分析来刻画这两种机制（它们一直难以捉摸）的影响，证明了在使用直接或误差反馈压缩时具有强收敛行为。我们的界限表明，在降低通信成本的同时，关于智能体数量和其他联邦超参数的解决方案精度有所提高。为了证实我们的理论，我们还进行了深入的数值实验来验证我们的发现，考虑了Top-K和Sparsified-K稀疏化算子。