FedPeWS：通过子网络实现个性化预热以增强异构联邦学习
机器学习
2025-04-17 v2 分布式、并行与集群计算
摘要
统计数据的异质性（statistical data heterogeneity）是联邦学习（FL）收敛的一个重大障碍。尽管先前的工作通过更好的优化目标推进了异构联邦学习，但当协作参与者之间存在极端数据异质性时，这些方法效果不佳。我们假设，在极端数据异质性下的收敛困难主要源于初始协作轮次中参与者冲突更新的聚合。为克服此问题，我们提出一个预热阶段，其中每个参与者学习一个个性化的掩码，并且仅更新完整模型的一个子网络。这种个性化预热允许参与者最初专注于学习针对其数据异质性定制的特定子网络。预热阶段结束后，参与者恢复到标准的联邦优化，此时所有参数都被通信。我们通过实验证明，所提出的基于子网络的个性化预热（FedPeWS）方法在准确性和收敛速度方面优于标准的联邦优化方法。
引用
@article{arxiv.2410.03042,
title = {FedPeWS: Personalized Warmup via Subnetworks for Enhanced Heterogeneous Federated Learning},
author = {Nurbek Tastan and Samuel Horvath and Martin Takac and Karthik Nandakumar},
journal= {arXiv preprint arXiv:2410.03042},
year = {2025}
}
备注
Accepted to CPAL 2025