联邦学习中的动态正则化锐度感知最小化：逼近全局一致性与平滑景观
机器学习
2024-04-02 v2 分布式、并行与集群计算
最优化与控制
摘要
在联邦学习（FL）中，一组本地客户端在全球服务器协调下合作训练一个具有隐私保护的模型。由于多次本地更新和孤立的非独立同分布数据集，客户端容易过拟合到自身最优解，这极大偏离全局目标并显著损害性能。大多数先前工作仅从优化视角出发，关注增强本地与全局目标间的一致性以缓解这种偏见性的客户端漂移，其在高度异构性下的性能会明显恶化。本工作中，我们提出一种新颖且通用的算法 {\ttfamily FedSMOO}，通过联合考虑优化与泛化目标来高效提升 FL 性能。具体而言，{\ttfamily FedSMOO} 采用动态正则化器以保证本地最优解朝向全局目标，同时由全局锐度感知最小化（SAM）优化器修正以寻找一致的平坦极小值。我们的理论分析表明 {\ttfamily FedSMOO} 实现了快速的 收敛率与低泛化界。我们在真实世界数据集上进行了大量数值研究，以验证其无与伦比的效率和优异的通用性。
引用
@article{arxiv.2305.11584,
title = {Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape},
author = {Yan Sun and Li Shen and Shixiang Chen and Liang Ding and Dacheng Tao},
journal= {arXiv preprint arXiv:2305.11584},
year = {2024}
}
备注
ICML2023, Oral Presentation