FedEGG：基于显式全局指导的联邦学习
机器学习
2025-04-22 v2 人工智能
摘要
联邦学习因其隐私保护特性而在众多应用场景中具有巨大潜力。然而，其收敛常常因非独立同分布数据分布而受到挑战，限制了其在实际部署中的效果。现有方法通过优化导数客户端约束、自适应客户端选择或使用预训练模型/合成数据来解决这些挑战。本文重新诠释了这些方法，认为它们都引入了\emph{隐式引导任务}以正则化和引导客户端学习。随后，我们提出在当前联邦学习框架中引入\emph{显式全局引导任务}以提高收敛性和性能。为此，我们提出了FedEGG算法，该算法基于公共数据集和大语言模型(LLM)构建一个易于收敛的学习任务，以构建全局引导任务。该方法有效地结合了联邦学习(原始FL任务)和集中式学习(全局引导任务)的优势。我们对FedEGG的收敛性进行了理论分析，考察了引导任务与FL任务之间数据异构性以及引导强度的影响。我们的分析推导出最优引导强度的上界，为实际实现提供了实用见解。实验结果表明，在IID和非IID设置下，FedEGG均优于当前最先进的联邦学习方法，并进一步提升了这些方法的性能。
引用
@article{arxiv.2404.11888,
title = {FedEGG: Federated Learning with Explicit Global Guidance},
author = {Kun Zhai and Yifeng Gao and Difan Zou and Guangnan Ye and Siheng Chen and Xingjun Ma and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2404.11888},
year = {2025}
}