特征范数正则化联邦学习：将倾斜分布转化为全局洞察
机器学习
2023-12-13 v1 分布式、并行与集群计算
摘要
在联邦学习领域，处理非独立同分布（non-i.i.d.）数据仍然是提升全局模型性能的关键挑战。本研究提出了特征范数正则化联邦学习（FNR-FL）算法，该算法独特地引入了类平均特征范数，以增强 non-i.i.d. 场景下的模型准确率与收敛性。我们的全面分析表明，FNR-FL 不仅加速了收敛，而且在测试准确率上显著超越其他当代联邦学习算法，特别是在特征分布倾斜场景下。FNR-FL 的新型模块化设计便于与现有联邦学习框架无缝集成，增强了其适应性和广泛应用的潜力。我们通过严格的实证评估证实了上述结论，证明了 FNR-FL 在各种倾斜数据分布下的卓越性能。相较于 FedAvg，FNR-FL 在准确率上实现了 66.24% 的大幅提升，在训练时间上显著减少了 11.40%，凸显了其增强的有效性与效率。
引用
@article{arxiv.2312.06951,
title = {Feature Norm Regularized Federated Learning: Transforming Skewed Distributions into Global Insights},
author = {Ke Hu and WeiDong Qiu and Peng Tang},
journal= {arXiv preprint arXiv:2312.06951},
year = {2023}
}