去中心化零星联邦学习：一个具有收敛保证的统一算法框架
机器学习
2025-03-07 v4 分布式、并行与集群计算
摘要
去中心化联邦学习（DFL）涵盖了（i）模型更新和（ii）模型聚合均由客户端在没有中央服务器的情况下独立完成的联邦学习设置。现有的 DFL 工作大多关注客户端在本地模型交换之间进行固定次数本地更新的设置，忽视了通信和计算能力中的异构性和动态性。在这项工作中，我们提出了去中心化零星联邦学习（），这是一种建立在本地梯度更新和聚合过程中广义“零星性”概念之上的 DFL 方法论。 通过将每次迭代中（i）每个客户端梯度下降的发生和（ii）客户端对之间模型的交换建模为任意指示随机变量，从而在一个统一的算法框架下涵盖了许多现有的去中心化优化方法，捕捉了“异构且时变”的计算/通信场景。我们在通信图连通性、客户端间数据异构性以及梯度噪声的温和假设下，分析性地刻画了 在凸和非凸模型以及恒定和递减学习率下的收敛行为。我们展示了我们的界限如何作为特例恢复现有的去中心化梯度下降结果。实验表明，在各种系统设置下，与基线方法相比， 始终能实现更快的训练速度。
引用
@article{arxiv.2402.03448,
title = {Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees},
author = {Shahryar Zehtabi and Dong-Jun Han and Rohit Parasnis and Seyyedali Hosseinalipour and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2402.03448},
year = {2025}
}