中文

无偏知觉联邦平均收敛性分析

机器学习 2025-07-15 v1 分布式、并行与集群计算 信号处理

摘要

联邦学习(FL)通过不集中原始数据来实现去中心化模型训练。然而,实际的 FL 部署面临一个关键现实挑战:客户端在服务器聚合时可能间歇性参与且具有未知且可能偏向的参与概率。大多数现有收敛结果要么假设完全设备参与,要么依赖于(事实上均匀)客户端可用性分布的知识——这些假设在实际中很少成立。在本工作中,我们 characterize 一致遵循众所周知的 \emph{无偏知觉联邦平均(FedAvg)} 算法在随机(且大小可变)客户端参与下的随机动力学的优化问题,并严格建立其在凸、可能非光滑损失函数下的收敛性,实现标准的 O(1/T)\mathcal{O}(1/\sqrt{T}) 收敛率,其中 TT 表示聚合时间窗。我们的分析提供了针对一般、非均匀、随机客户端参与的无偏知觉 FedAvg 的首个收敛保证,且无需了解参与分布。我们也经验性地演示了无偏知觉 FedAvg 实际上优于常见(且次优的)加权聚合 FedAvg 变体,即便服务器端拥有参与权重的知识。

关键词

引用

@article{arxiv.2507.10325,
  title  = {Convergence of Agnostic Federated Averaging},
  author = {Herlock and Rahimi and Dionysis Kalogerias},
  journal= {arXiv preprint arXiv:2507.10325},
  year   = {2025}
}

备注

5 pages, 2 figurres, CAMSAP conference