联邦学习中参数偏斜的关键作用
计算机视觉与模式识别
2025-04-14 v2
摘要
联邦学习（FL）已成为在不交换原始数据的情况下在不同数据所有者之间执行深度学习的一种优秀解决方案。然而，FL中的统计异质性呈现出一个关键挑战，导致局部模型参数分布的偏斜现象，研究人员对此大多未予关注。在本工作中，我们提出了参数偏斜的概念，用以描述可能显著影响全局模型参数估计精度的现象。此外，我们引入了FedSA，一种用于获取高质量全局模型的聚合策略，以应对参数偏斜带来的影响。具体而言，我们根据变异系数将参数分为高离散度和低离散度两组。对于高离散度参数，微类（MIC）和宏类（MAC）分别表示微观和宏观层面的离散度，构成了FedSA的基础。为了评估FedSA的有效性，我们在三个计算机视觉数据集上使用不同的FL算法进行了广泛实验。FedSA在测试准确率上超越了八个最先进基线约4.7%。
引用
@article{arxiv.2408.11278,
title = {The Key of Parameter Skew in Federated Learning},
author = {Junfeng Liao and Sifan Wang and Ye Yuan and Riquan Zhang},
journal= {arXiv preprint arXiv:2408.11278},
year = {2025}
}