基于局部自适应修正优化器与线性加速的高效联邦学习
机器学习
2023-08-02 v1 分布式、并行与集群计算
最优化与控制
摘要
自适应优化在分布式学习中取得了显著成功，而将自适应优化器扩展到联邦学习（FL）却面临严重的低效问题，包括：（i）全局自适应优化器中梯度估计不准确导致的收敛困难；（ii）局部自适应优化器局部过拟合加剧的客户端漂移。在这项工作中，我们提出了一种基于动量的新算法，利用全局梯度下降与局部自适应修正优化器来应对这些困难。具体而言，我们将一种局部修正技术引入自适应优化器，称为联邦局部自适应修正优化器（FedLADA），其估计上一通信轮次的全局平均偏移，并通过类动量项修正局部偏移，以进一步提升经验训练速度并缓解异构过拟合。在理论上，我们建立了 FedLADA 在部分参与设置下非凸情形的收敛速率，并具有线性加速性质。此外，我们在真实世界数据集上进行了大量实验，证明了所提出的 FedLADA 的有效性，其能大幅减少通信轮次，并取得比若干基线更高的准确率。
引用
@article{arxiv.2308.00522,
title = {Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup},
author = {Yan Sun and Li Shen and Hao Sun and Liang Ding and Dacheng Tao},
journal= {arXiv preprint arXiv:2308.00522},
year = {2023}
}
备注
IEEE Transactions on Pattern Analysis and Machine Intelligence