基于锐度感知最小化的广义联邦学习
机器学习
2022-06-07 v1
摘要
联邦学习（FL）是一种有前景的框架，用于在一组客户端上执行隐私保护、分布式学习。然而，客户端间的数据分布常呈现非独立同分布，即分布偏移，这使得高效优化困难。为应对该问题，许多FL算法聚焦于通过提升全局模型性能来缓解跨客户端数据异质性的影响。然而，几乎所有算法都采用经验风险最小化（ERM）作为局部优化器，易使全局模型陷入尖锐极小值并增大部分本地客户端的较大偏差。因此，本文重新审视FL中分布偏移问题的解，聚焦局部学习泛化性。为此，我们提出一种通用、高效的算法\texttt{FedSAM}，基于锐度感知最小化（SAM）局部优化器，并开发了一种动量FL算法来桥接局部与全局模型，即\texttt{MoFedSAM}。理论上，我们给出了这两种算法的收敛性分析，并证明了\texttt{FedSAM}的泛化界。在实验上，我们提出的算法大幅优于现有FL研究，并显著减小学习偏差。
引用
@article{arxiv.2206.02618,
title = {Generalized Federated Learning via Sharpness Aware Minimization},
author = {Zhe Qu and Xingyu Li and Rui Duan and Yao Liu and Bo Tang and Zhuo Lu},
journal= {arXiv preprint arXiv:2206.02618},
year = {2022}
}