联邦学习中的局部自适应：收敛性与一致性
机器学习
2021-06-07 v1 分布式、并行与集群计算
机器学习
摘要
联邦学习（FL）框架通过使用存储在边缘客户端设备上的去中心化数据周期性聚合本地训练的模型来训练机器学习模型。FL 流行的优化算法在客户端的本地更新和聚合服务器的全局更新中均使用朴素（随机）梯度下降。近来，AdaGrad 等自适应优化方法已被研究用于服务器更新。然而，在客户端使用自适应优化方法进行本地更新的影响尚不清楚。我们在理论与实践中均表明，虽然局部自适应方法可加速收敛，但会导致非消失的解偏差，即最终收敛的解可能不同于全局目标函数的驻点。我们提出校正技术以克服这种不一致性，并补充联邦学习的局部自适应方法。在真实联邦训练任务上的大量实验表明，所提算法相比无局部自适应的基线可实现更快收敛与更高测试精度。
引用
@article{arxiv.2106.02305,
title = {Local Adaptivity in Federated Learning: Convergence and Consistency},
author = {Jianyu Wang and Zheng Xu and Zachary Garrett and Zachary Charles and Luyang Liu and Gauri Joshi},
journal= {arXiv preprint arXiv:2106.02305},
year = {2021}
}