FedSOL:联邦学习中带近端正则的稳定正交学习
机器学习
2024-03-29 v6 人工智能
计算机视觉与模式识别
摘要
联邦学习(FL)聚合各客户端本地训练的模型以构建全局模型。尽管 FL 能在保护数据隐私的前提下学习模型,但当客户端数据分布异构时,常出现显著的性能下降。这种数据异构性导致模型在本地数据集上训练后,遗忘从先前采样客户端获得的全局知识。尽管在本地更新中引入近端正则有助于保留全局知识,但也可能通过干扰本地目标而阻碍本地学习。为解决此问题,我们提出一种新方法——联邦稳定正交学习(FedSOL),其采用正交学习策略来平衡这两个冲突的目标。FedSOL 旨在识别本质上与影响近端正则的方向正交的本地目标梯度。具体而言,FedSOL 定位于本地目标学习受近端权重扰动影响最小的参数区域。我们的实验表明,FedSOL 在各种场景下始终取得最先进的性能。
引用
@article{arxiv.2308.12532,
title = {FedSOL: Stabilized Orthogonal Learning with Proximal Restrictions in Federated Learning},
author = {Gihun Lee and Minchan Jeong and Sangmook Kim and Jaehoon Oh and Se-Young Yun},
journal= {arXiv preprint arXiv:2308.12532},
year = {2024}
}
备注
The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2024 (CVPR 2024)