FedBug：一种自底向上渐进解冻的联邦学习框架
机器学习
2023-11-14 v2 人工智能
摘要
联邦学习（FL）提供了一种协作训练框架，使多个客户端能够在不损害数据隐私的情况下贡献于共享模型。由于本地数据集的异构性，更新后的客户端模型可能过拟合并彼此偏离，即常见的客户端漂移问题。本文提出FedBug（具有自底向上渐进解冻的联邦学习），一种旨在有效缓解客户端漂移的新型FL框架。FedBug自适应地利用服务器在每个全局轮次分发的客户端模型参数，作为跨客户端对齐的参考点。具体而言，在客户端侧，FedBug先冻结整个模型，然后逐层渐进解冻，从输入层到输出层。这种自底向上的方法使模型能够训练新解冻的层，将数据投影到潜空间，其中分离超平面在所有客户端间保持一致。我们在一种新颖的过参数化FL设定下对FedBug进行理论分析，揭示其相比FedAvg具有更优收敛速率。通过跨越多种数据集、训练条件和网络结构的综合实验，我们验证了FedBug的有效性。我们的贡献涵盖一种新型FL框架、理论分析与经验验证，展示了FedBug的广泛潜力与适用性。
引用
@article{arxiv.2307.10317,
title = {FedBug: A Bottom-Up Gradual Unfreezing Framework for Federated Learning},
author = {Chia-Hsiang Kao and Yu-Chiang Frank Wang},
journal= {arXiv preprint arXiv:2307.10317},
year = {2023}
}
备注
20 pages, 5 figures