基于马尔可夫抽样的异构型联邦随机逼近的更紧有限时速率

受动力化强化学习 (RL) 和带时间相关数据的优化启发，本文研究了一类通用的联邦随机逼近问题，涉及 M 个智能体，其中每个智能体由特定于智能体的（可能非线性）局部算子特征化。目标是通过服务器进行间歇性通信，以寻找各智能体局部算子平均值的根。我们设置的普适性源于：(i) 每个智能体具有马尔可夫数据，(ii) 智能体局部算子根具有异构性。最近少数在联邦设置下同时考虑这两个特征的工作无法保证收敛至目标点，或未显示合作的任何好处；此外，这些方法依赖投影步骤以保证迭代受限。本文克服了上述所有限制。我们发展出一种名为 FedHSA 的新型算法，并证明其保证收敛至正确点，同时因合作在样本复杂度上实现 M 倍线性加速。据我们了解，这是首个此类有限时结果，且在不依赖投影步骤的情况下建立它（这涉及对马尔可夫抽样导致的复杂时间相关性、为节省通信而进行的多次局部步骤以及异构局部算子引起的漂移效应之间相互作用的相当精细的论证。我们的结果对广泛的异构型联邦 RL 问题（例如策略评估和控制）具有启发意义，这些问题涉及函数逼近，其中智能体的马尔可夫决策过程在其概率转移核和奖励函数方面可能有所不同。