层级与维度局部自适应的联邦学习
机器学习
2022-06-24 v3
摘要
在新兴的联邦学习（FL）范式中，大量客户端（如移动设备）被用于在其各自数据上训练可能高维的模型。将（维度级）自适应梯度方法（如 Adam、AMSGrad）与 FL 相结合一直是一个活跃方向，其在许多情况下被证明优于传统的基于 SGD 的 FL。本文关注联邦深度神经网络的训练问题，并提出了一种新颖的 FL 框架，该框架进一步将层级自适应引入局部模型更新。我们的框架可应用于局部自适应的 FL 方法，包括两种近期算法 Mime 和 Fed-AMS。在理论上，我们对所提出的层级 FL 方法（称为 Fed-LAMB 和 Mime-LAMB）提供了收敛性分析，其匹配 FL 中最先进结果的收敛速率，并展现出关于工作节点数量的线性加速。在 IID 与非 IID 局部数据设置下，于多个数据集与模型上的实验结果表明，与多种近期自适应 FL 方法相比，Fed-LAMB 与 Mime-LAMB 均实现了更快的收敛速度与更好的泛化性能。
引用
@article{arxiv.2110.00532,
title = {Layer-wise and Dimension-wise Locally Adaptive Federated Learning},
author = {Belhal Karimi and Ping Li and Xiaoyun Li},
journal= {arXiv preprint arXiv:2110.00532},
year = {2022}
}