论及在异构数据下联邦学习中动量初始化的重新思考
机器学习
2024-12-02 v1
摘要
数据异构性是联邦学习性能的主要挑战。最近，动量基于优化技术已被证明在缓解异构性问题方面非常有效。随着模型更新，动量更新也被传输到服务器端并进行聚合。因此，以全局动量初始化的本地训练将由全局梯度历史所指导。然而，我们注意到传统动量累积在联邦学习系统中存在次优问题。用于加权较少历史梯度和较多近期梯度的动量，这会导致在本地训练结束时引入更多偏置性本地梯度。在本工作中，我们提出了一种新的方法来计算用于本地初始化的估计动量。该方法称为反转动量联邦学习(Reversed Momentum Federated Learning, RMFL)。其关键思想是对随时间推移的梯度分配指数衰减权重，这与传统动量累积相反。在三个具有不同异构性水平的流行基准数据集上评估了 RMFL 的有效性。
引用
@article{arxiv.2411.19798,
title = {Rethinking the initialization of Momentum in Federated Learning with Heterogeneous Data},
author = {Chenguang Xiao and Shuo Wang},
journal= {arXiv preprint arXiv:2411.19798},
year = {2024}
}