增强联邦学习的局部一致性：一种多步惯性动量方法
系统与控制
2023-02-14 v1 系统与控制
摘要
联邦学习(FL)作为一种由中心服务器协调、多个边缘计算设备参与的协同分布式训练范式，由于本地部分参与客户端的异构性，深受局部平稳点不一致的困扰，这加剧了本地客户端漂移问题，并引发不稳定与缓慢的收敛，尤其在加剧的异构数据集上。为解决这些问题，我们提出了一种新颖的联邦学习算法，名为FedMIM，其在边缘设备上采用多步惯性动量，并在训练过程中免费增强局部一致性以提升异构鲁棒性。具体而言，我们将加权全局梯度估计作为惯性校正项来引导局部迭代与随机梯度估计，从而自然考量边缘异构数据集上的全局目标优化，并在本地维持所需的一致迭代。理论上，我们证明FedMIM在无需凸假设下，相对于所选客户端数与适当本地间隔在通信轮次中取得了的收敛率并具有线性加速性质。在经验上，我们在多个真实世界数据集上进行了综合实验，并证明了所提FedMIM相较于若干最先进基线的有效性。
引用
@article{arxiv.2302.05726,
title = {Enhance Local Consistency in Federated Learning: A Multi-Step Inertial Momentum Approach},
author = {Yixing Liu and Yan Sun and Zhengtao Ding and Li Shen and Bo Liu and Dacheng Tao},
journal= {arXiv preprint arXiv:2302.05726},
year = {2023}
}