局部训练与异构智能体的联邦SARSA收敛性保证
机器学习
2026-02-05 v2 机器学习
摘要
我们提出了一种对联邦SARSA（FedSARSA）进行新型理论分析，采用线性函数逼近和局部训练。在存在局部转移和奖励异构性的情况下，我们提供了FedSARSA的收敛性保证，首次给出该设置下的样本和通信复杂度界。我们分析的核心是一种新的、精确的单智能体SARSA的多步误差展开，这本身也具有独立的兴趣。我们的分析精确量化了异构性的影响，表明即使在进行多次局部更新后，FedSARSA也能收敛。关键的是，我们表明FedSARSA相对于智能体数量实现线性加速，直到由于马尔可夫采样的高阶项。数值实验支持了我们的理论发现。
引用
@article{arxiv.2512.17688,
title = {Convergence Guarantees for Federated SARSA with Local Training and Heterogeneous Agents},
author = {Paul Mangold and Eloïse Berthier and Eric Moulines},
journal= {arXiv preprint arXiv:2512.17688},
year = {2026}
}
备注
Deep FedSARSA !