FedLWS: 带自适应逐层权重缩减的联邦学习
机器学习
2025-03-31 v2
摘要
在联邦学习（FL）中，对局部模型进行加权聚合以生成新的全局模型，聚合权重通常归一化为1。最近的一项研究识别了FL中的全局权重缩减效应，表明当权重之和（即缩减因子）小于1时，全局模型的泛化能力得到增强，其中如何学习缩减因子变得至关重要。然而，从对隐私问题和逐层差异的充分考虑出发，对这一问题的原则性方法尚未得到仔细研究。为此，我们提出了一种新的模型聚合策略——带自适应逐层权重缩减的联邦学习（FedLWS），它以逐层方式自适应地设计缩减因子，并避免在代理数据集上优化缩减因子。我们最初探索了训练过程中影响缩减因子的因素。然后通过考虑全局模型中每层的差异来计算逐层缩减因子。由于其灵活性，FedLWS可以轻松地与各种现有方法结合。在多种场景下的广泛实验证明了我们方法相对于几种最先进方法的优越性，为增强FL中的全局模型提供了一个有前景的工具。
引用
@article{arxiv.2503.15111,
title = {FedLWS: Federated Learning with Adaptive Layer-wise Weight Shrinking},
author = {Changlong Shi and Jinmeng Li and He Zhao and Dandan Guo and Yi Chang},
journal= {arXiv preprint arXiv:2503.15111},
year = {2025}
}
备注
Accepted in ICLR 2025