FedNAR：具有归一化退火正则化的联邦优化
机器学习
2024-02-19 v1
摘要
权重衰减是现代深度神经网络优化中提升泛化性能的标准技术，也广泛用于联邦学习（FL）中以防止本地客户端过拟合。在本文中，我们首先探索权重衰减的选择，并确定权重衰减值显著影响现有 FL 算法的收敛性。尽管防止过拟合至关重要，权重衰减会引入一个不同于全局目标的优化目标，由于多次本地更新与异构数据分布，该目标在 FL 中被进一步放大。为应对此挑战，我们开发了联邦优化与归一化退火正则化（FedNAR），一种简单而有效且通用的算法插件，可无缝集成到任何现有 FL 算法中。本质上，我们通过执行梯度与权重衰减的协同裁剪来调节每次更新的幅度。我们对 FedNAR 的收敛速率提供了全面的理论分析，并在视觉与语言数据集上结合不同骨干联邦优化算法进行了广泛实验。我们的实验结果一致表明，将 FedNAR 融入现有 FL 算法可加速收敛并提升模型精度。此外，FedNAR 在面对各种超参数配置时表现出鲁棒性。具体而言，当初始设定非最优时，FedNAR 能够自我调节权重衰减，而传统 FL 算法的精度会显著下降。我们的代码发布于 https://github.com/ljb121002/fednar。
引用
@article{arxiv.2310.03163,
title = {FedNAR: Federated Optimization with Normalized Annealing Regularization},
author = {Junbo Li and Ang Li and Chong Tian and Qirong Ho and Eric P. Xing and Hongyi Wang},
journal= {arXiv preprint arXiv:2310.03163},
year = {2024}
}
备注
Thirty-seventh Conference on Neural Information Processing Systems