面向任意客户端参与情况的联邦学习：精确收敛与线性收敛性可达
机器学习
2025-10-07 v3 分布式、并行与集群计算
摘要
本工作针对联邦学习（Federated Learning, FL）中因客户端参与方式任意化和数据异构性而面临的根本性挑战进行了研究，这些特征在实际应用场景中十分常见。已有研究表明，流行的FedAvg类算法在实现精确收敛方面存在困难，由于需要衰减学习率才能缓解此类情形，收敛速率也可能较慢。为此，我们提出随机矩阵及其对应的时变图这一新颖建模工具，以准确捕捉任意客户端参与及其本地更新过程的动态特性。基于此方法，我们从全新角度出发，围绕联邦学习算法的设计提出去中心化视角，并提出FOCUS（Federated Optimization with Exact Convergence via Push-pull Strategy），一种可证明收敛的算法，旨在有效克服上述两个挑战。具体而言，我们提供了严格的数学证明，表明FOCUS无论是否存在任意客户端参与，均可实现以线性速率的精确收敛，使其成为首个证明此重大结果的研究工作。
引用
@article{arxiv.2503.20117,
title = {Exact and Linear Convergence for Federated Learning under Arbitrary Client Participation is Attainable},
author = {Bicheng Ying and Zhe Li and Haibo Yang},
journal= {arXiv preprint arXiv:2503.20117},
year = {2025}
}
备注
Accepted by NeurIPS 2025