FedAPM：基于ADMM的带部分模型个人化的联邦学习
机器学习
2025-06-06 v1
摘要
在联邦学习（FL）中，由于用户差异和异构数据模态的存在，往往不成立来自不同设备的数据是独立同分布（i.i.d.）的假设。对特定模型部分进行个人化可有效解决这些问题，使这些部分在不同客户端之间具有差异，而剩余部分作为共享模型。然而，我们发现，部分模型个人化可能加剧客户端漂移（每个客户端的本地模型与共享模型发生发散），从而降低FL算法的有效性和效率。我们提出一种基于交替方向乘子法（ADMM）的FL框架，称为FedAPM，以缓解客户端漂移。我们通过纳入一阶和二阶proximity项来构建增广拉格朗日函数，其中二阶项提供固定校正， 一阶项在本地模型与共享模型之间提供补偿性校正。我们的分析表明，FedAPM 利用明确的拉格朗日乘子估计，在收敛性方面比其他FL框架更稳定更有效。我们在轻微假设下从任意初始点建立FedAPM训练的全局收敛，实现常数、线性和亚线性三种收敛率。我们使用四个异构且多模态的数据集以不同指标验证FedAPM的性能。具体而言，FedAPM 实现了更快更准确的收敛，凭借在测试准确率、F1 分数和AUC方面的平均分别提高了12.3%、16.4%和18.0%，且通信轮数更少。
引用
@article{arxiv.2506.04672,
title = {FedAPM: Federated Learning via ADMM with Partial Model Personalization},
author = {Shengkun Zhu and Feiteng Nie and Jinshan Zeng and Sheng Wang and Yuan Sun and Yuan Yao and Shangfeng Chen and Quanqing Xu and Chuanhui Yang},
journal= {arXiv preprint arXiv:2506.04672},
year = {2025}
}