FedOSAA: 利用单步 Anderson 加速改进联邦学习
机器学习
2025-03-17 v1 分布式、并行与集群计算
摘要
联邦学习(FL)是一种分布式机器学习方法,允许多个本地客户端与中央服务器在保持数据留存于各自设备的前提下协同训练模型。一阶方法,特别是结合方差缩减技术的方法,因其实现简单且性能稳定而成为最广泛使用的 FL 算法。然而,这些方法收敛速度较慢,需要大量通信轮数才能达到全局极小点。我们提出了 FedOSAA,一种新方法,它既保持了一阶方法的简单性,又实现了通常与二阶方法相关的快速收敛。我们的方法在基于带方差缩减的一阶方法(如 FedSVRG 和 SCAFFOLD)的经典本地更新之后,于本地训练中执行一步 Anderson 加速(AA)。该 AA 步骤能够利用历史数据点的曲率信息,并给出近似 Newton-GMRES 方向的新更新,从而显著改善收敛性。对于光滑且强凸的损失函数,我们建立了 FedOSAA 收敛至全局极小点的局部线性收敛速率。数值对比表明,FedOSAA 显著提升了原始一阶方法的通信与计算效率,取得了与 GIANT 等二阶方法相当的性能。
关键词
引用
@article{arxiv.2503.10961,
title = {FedOSAA: Improving Federated Learning with One-Step Anderson Acceleration},
author = {Xue Feng and M. Paul Laiu and Thomas Strohmer},
journal= {arXiv preprint arXiv:2503.10961},
year = {2025}
}