用于协变量漂移下鲁棒联邦学习的混合正则化幅值剪枝
机器学习
2025-09-10 v2 计算机视觉与模式识别
摘要
联邦学习提供了解耦模型训练的解决方案，解决了分布式数据和隐私问题。然而，数据异构性频繁导致全局模型的泛化能力下降，影响其对未见数据的适应性。这在医学影像等专业应用中尤为关键，其中客户方数据和数量都有限。本文在多个基准数据集上经验性地表明，客户端侧训练分布的不一致会显著降低联邦学习模型的性能。我们提出一种新型 FL 框架，结合剪枝和客户端训练正则化，以提高神经网络连接的稀疏性、冗余性和鲁棒性，从而提高模型聚合的韧性。为解决相对未被充分探索的数据异构性维度，我们进一步引入一种新基准数据集 CelebA-Gender，专为控制基于属性变异的客户间类内分布漂移而设计，以补充此前联邦学习研究主要关注类间不平衡的焦点。针对诸多数据集如 CIFAR-10、MNIST 和新引入的 CelebA-Gender 数据集进行详尽实验，表明本方法在异构环境下 consistently 优于标准 FL 基线，产生更具鲁棒性和可泛化性的模型。
引用
@article{arxiv.2412.15010,
title = {Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift},
author = {Ozgu Goksu and Nicolas Pugeault},
journal= {arXiv preprint arXiv:2412.15010},
year = {2025}
}