具有自适应个性化层的联邦两阶段解耦学习
机器学习
2024-01-02 v2 人工智能
摘要
联邦学习因其能够在保持隐私约束的同时实现分布式学习的开创性能力而受到显著关注。然而，由于去中心化设备间的数据异质性，它固有地经历显著的学习退化和缓慢的收敛速度。因此，很自然地采用将同质客户端聚类至同一组的概念，仅允许每组内的模型权重被聚合。尽管大多数现有聚类联邦学习方法采用模型梯度或推理输出作为客户端划分的度量，以将相似设备分组在一起，但每个簇内仍可能存在异质性。此外，探索确定聚类适当时机的底层原因的研究稀缺，导致常见做法是将每个客户端分配至其各自的独立簇，尤其在高度非独立同分布（Non-IID）数据情形下。本文中，我们引入了一种具有自适应个性化层的两阶段解耦联邦学习算法，名为 FedTSDP，其中客户端聚类根据推理输出和模型权重分别执行两次。采用霍普金斯修正采样来确定聚类的适当时机以及公共无标签数据的采样权重。此外，开发了一种简单而有效的方法，基于不同程度的数据偏斜自适应调整个性化层。实验结果表明，我们提出的方法在 IID 和非 IID 场景下均具有可靠性能。
引用
@article{arxiv.2308.15821,
title = {Federated Two Stage Decoupling With Adaptive Personalization Layers},
author = {Hangyu Zhu and Yuxiang Fan and Zhenping Xie},
journal= {arXiv preprint arXiv:2308.15821},
year = {2024}
}