基于解耦自适应优化的加速联邦学习
机器学习
2022-07-18 v1
摘要
联邦学习(FL)框架使边缘客户端能够协作学习共享推理模型，同时保护客户端训练数据的隐私。近来，许多启发式工作致力于将SGDM、Adam、AdaGrad等集中式自适应优化方法推广至联邦设定以改进收敛与精度。然而，关于在联邦设定中何处以及如何设计与利用自适应优化方法，仍缺乏理论原则。本工作旨在从常微分方程(ODE)动力学视角为FL开发新颖自适应优化方法。首先，建立解析框架以连通联邦优化方法与对应集中式优化器ODE分解。其次，基于此解析框架，提出动量解耦自适应优化方法FedDA，以充分在每步本地迭代利用全局动量并加速训练收敛。最后，在训练过程末尾采用全批量梯度来模拟集中式优化，以确保收敛并克服自适应优化方法可能引起的不一致性。
引用
@article{arxiv.2207.07223,
title = {Accelerated Federated Learning with Decoupled Adaptive Optimization},
author = {Jiayin Jin and Jiaxiang Ren and Yang Zhou and Lingjuan Lyu and Ji Liu and Dejing Dou},
journal= {arXiv preprint arXiv:2207.07223},
year = {2022}
}