FedVeca：基于自适应双向全局目标在非独立同分布数据上的联邦向量化平均
机器学习
2024-09-19 v3
摘要
联邦学习（FL）是一种分布式机器学习框架，用于缓解数据孤岛问题，其中分散的客户端在不共享私有数据的情况下协作学习一个全局模型。然而，客户端的非独立同分布（Non-IID）数据会对训练好的模型产生负面影响，且进行不同次数本地更新的客户端可能在每轮通信中导致本地梯度间的显著差距。本文中，我们提出一种联邦向量化平均（FedVeca）方法来解决上述Non-IID数据上的问题。具体而言，我们为全局模型设定了一个与本地梯度相关的新颖目标。本地梯度被定义为具有步长和方向的双向向量，其中步长为本地更新次数，方向依据我们的定义分为正向和负向。在FedVeca中，方向受步长影响，因此我们对该双向向量取平均以减小不同步长的影响。随后，我们从理论上分析了步长与全局目标之间的关系，并得到了每轮通信步长的上界。基于该上界，我们设计了一种服务器与客户端算法，自适应调整步长使目标接近最优。最后，我们通过构建原型系统在不同数据集、模型和场景下进行了实验，实验结果证明了FedVeca方法的有效性与高效性。
引用
@article{arxiv.2209.13803,
title = {FedVeca: Federated Vectorized Averaging on Non-IID Data with Adaptive Bi-directional Global Objective},
author = {Ping Luo and Jieren Cheng and Zhenhao Liu and N. Xiong and Jie Wu},
journal= {arXiv preprint arXiv:2209.13803},
year = {2024}
}