EPISODE：面向异构数据联邦学习的 episodic 梯度裁剪与周期性重采样校正方法
机器学习
2023-02-15 v1 最优化与控制
摘要
梯度裁剪是针对具有梯度爆炸的深度神经网络（如循环神经网络）的一项重要技术。近期研究表明，这些网络的损失函数不满足传统的光滑性条件，而是满足一种松弛的光滑性条件，即梯度的Lipschitz常数随梯度范数线性缩放。基于该观察，已有若干针对非凸且松弛光滑函数的梯度裁剪算法被提出。然而，现有算法仅适用于单机或跨机器数据同质的设置。在具有异构数据和有限通信轮次的通用联邦学习（FL）设置下，如何设计可证明高效的梯度裁剪算法仍不明确。本文中，我们设计了EPISODE，这是首个在非凸且松弛光滑设置下解决异构数据FL问题的算法。该算法的两个关键新技术称为 episodic 梯度裁剪和周期性重采样校正。在每轮开始时，EPISODE从每个客户端重采样随机梯度并获得全局平均梯度，用于（1）确定是否对该整轮应用梯度裁剪，以及（2）为每个客户端构建局部梯度校正。值得注意的是，我们的算法和分析为任意随机梯度噪声水平下的同质与异构数据提供了统一框架，并取得了最先进的复杂度结果。特别地，我们证明EPISODE可实现机器数量的线性加速，且所需通信轮次显著更少。在多个异构数据集上的实验表明，EPISODE优于FL中若干强基线方法。
引用
@article{arxiv.2302.07155,
title = {EPISODE: Episodic Gradient Clipping with Periodic Resampled Corrections for Federated Learning with Heterogeneous Data},
author = {Michael Crawshaw and Yajie Bao and Mingrui Liu},
journal= {arXiv preprint arXiv:2302.07155},
year = {2023}
}
备注
Accepted by ICLR 2023. The code is available at https://github.com/MingruiLiu-ML-Lab/episode