联邦平均算法的连续时间分析
机器学习
2025-02-03 v1 分布式、并行与集群计算
最优化与控制
摘要
联邦平均 (FedAvg) 是水平联邦学习中流行的算法, 其中样本分布在不同的客户之间, 且不与彼此或中心服务器共享.存在大量针对 FedAvg 的离散迭代设置下的收敛分析, 保证了针对各种损失函数和不同数据异构性水平的收敛.我们将该分析扩展到连续时间设置,其中全局权重根据多变量随机微分方程 (SDE) 进行演化, 这是 FedAvg 首次从连续时间视角进行研究.我们使用随机过程技术在不同损失函数下建立收敛保证,其中一些损失函数比现有离散设置下的工作更为通用.我们还提供了 FedAvg 对服务器权重更新可近似为正态随机变量的条件.最后, 我们使用连续时间公式揭示了 FedAvg 的泛化特性.
引用
@article{arxiv.2501.18870,
title = {Continuous-Time Analysis of Federated Averaging},
author = {Tom Overman and Diego Klabjan},
journal= {arXiv preprint arXiv:2501.18870},
year = {2025}
}
备注
Under review