FedDA：基于重启对偶平均的局部自适应梯度方法加速框架
机器学习
2023-02-14 v1 分布式、并行与集群计算
最优化与控制
摘要
联邦学习（FL）是一种新兴的学习范式，用于处理大规模分布式数据。在联邦学习中，一组客户端在服务器的协调下共同执行机器学习任务。FedAvg算法是解决联邦学习问题最广泛使用的方法之一。在FedAvg中，学习率为常数而非自适应变化。自适应梯度方法相比恒定学习率调度表现出更优的性能；然而，目前仍缺乏将自适应梯度方法纳入联邦设置的通用框架。本文提出\textbf{FedDA}，一种用于局部自适应梯度方法的新框架。该框架采用重启对偶平均技术，并可灵活搭配多种梯度估计方法与自适应学习率形式。特别地，我们分析了框架的一个实例\textbf{FedDA-MVR}，并证明其寻找驻点的梯度复杂度为、通信复杂度为。这与已知最优的一阶FL算法速率相匹配，且\textbf{FedDA-MVR}是首个达到该速率的自适应FL算法。我们还进行了大量数值实验以验证方法的有效性。
引用
@article{arxiv.2302.06103,
title = {FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging},
author = {Junyi Li and Feihu Huang and Heng Huang},
journal= {arXiv preprint arXiv:2302.06103},
year = {2023}
}