面向层级个人化联合学习：通过冲突梯度实现自适应层级解�合
机器学习
2024-10-07 v1 人工智能
摘要
在个人化联合学习(pFL)中，高数据异构性会导致不同设备之间的梯度发生显著分歧，从而严重影响学习过程。这种分歧，尤其是当来自不同用户的梯度在聚合时形成钝角时，可能会抵消进展，导致严重的权重和梯度更新退化。为解决这一问题，我们引入一种新的pFL设计方法，即通过梯度分析实现基于层级聚合的联合学习(FedLAG)，该方法利用梯度冲突的概念。具体而言，当不同客户端的层级梯度形成锐角时，这些梯度在相同方向上对齐，使来自不同客户端的更新能够识别客户不变特征。相反，当层级梯度对形成钝角时，这些层级倾向于关注客户特定任务。在事后看来，FedLAG根据层级梯度冲突的程度为各层级分配个人化。具体而言，排除层级梯度冲突的层级。理论评估表明，当集成到其他pFL基线方法时，FedLAG可通过一定幅度提高pFL性能。因此，我们的方法在收敛行为方面优于其他基线方法。广泛的实验表明，FedLAG超越了多个最先进的方法，并且可以轻松地与许多现有方法集成，以进一步提高性能。
引用
@article{arxiv.2410.02845,
title = {Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients},
author = {Minh Duong Nguyen and Khanh Le and Khoi Do and Nguyen H. Tran and Duc Nguyen and Chien Trinh and Zhaohui Yang},
journal= {arXiv preprint arXiv:2410.02845},
year = {2024}
}