面向跨孤岛联邦学习的动量协调
机器学习
2022-01-20 v2 分布式、并行与集群计算
摘要
通信效率对于联邦学习（FL）至关重要。在客户端进行本地训练步骤以降低客户端与服务器间的通信频率是解决该问题的常用方法。然而，由于不同客户端中 \textit{non-i.i.d.} 的数据分布，该策略导致了客户端漂移问题，严重恶化了性能。在本工作中，我们提出一种通过维护双动量缓冲区来改善跨孤岛 FL 训练性能的新方法。在我们的算法中，一个动量缓冲区用于跟踪服务器模型更新方向，另一个用于跟踪本地模型更新方向。更重要的是，我们引入了一种新颖的动量融合技术来协调服务器与本地动量缓冲区。我们还推导了首个同时涉及服务器与本地标准动量 SGD 的理论收敛性分析。大量的深度 FL 实验结果验证了我们的新方法比 FedAvg 和现有的标准动量 SGD 变体具有更好的训练性能。
引用
@article{arxiv.2102.03970,
title = {Coordinating Momenta for Cross-silo Federated Learning},
author = {An Xu and Heng Huang},
journal= {arXiv preprint arXiv:2102.03970},
year = {2022}
}