马尔可夫噪声与异构性下的联邦随机逼近：在强化学习中的应用

由于强化学习算法以数据密集著称，从环境中采样观测的任务通常分散于多个智能体。然而，将这些观测从智能体传输至中心位置在通信成本上可能极其昂贵，且会损害各智能体局部行为策略的隐私。联邦强化学习是一种由$N$个智能体协作学习全局模型而不共享各自数据与策略的框架。该全局模型是对应于$N$个智能体的$N$个局部算子平均的唯一不动点。每个智能体维护全局模型的局部副本并利用本地采样数据更新。本文中，我们表明通过智能体在求解该联合不动点问题时的精心协作，可快$N$倍找到全局模型，即线性加速。我们首先提出具有马尔可夫噪声与异构性的联邦随机逼近通用框架，展示收敛的线性加速。然后将该框架应用于联邦强化学习算法，考察联邦同策略TD、异策略TD与$Q$学习的收敛性。