GPT-FL：生成式预训练模型辅助的联邦学习
机器学习
2024-06-19 v4 分布式、并行与集群计算
摘要
在本工作中，我们提出 GPT-FL，一种生成式预训练模型辅助的联邦学习（FL）框架。其核心在于，GPT-FL 利用生成式预训练模型生成多样化的合成数据。这些生成的数据用于在服务器上训练下游模型，随后在标准 FL 框架下使用私有客户端数据进行微调。我们表明，GPT-FL 在模型测试精度、通信效率与客户端采样效率方面持续优于最先进的 FL 方法。通过对不同数据模态的全面消融分析，我们发现由合成数据生成的下游模型在控制 FL 训练期间梯度多样性的方向上起着关键作用，这提升了收敛速度并促成了 GPT-FL 所观察到的显著精度提升。此外，无论目标数据处于还是超出预训练生成模型的领域，GPT-FL 均持续实现显著性能增益，超越仅由 FL 或合成数据训练的模型所得结果。代码可在 https://github.com/AvestimehrResearchGroup/GPT-FL 获取。
引用
@article{arxiv.2306.02210,
title = {GPT-FL: Generative Pre-trained Model-Assisted Federated Learning},
author = {Tuo Zhang and Tiantian Feng and Samiul Alam and Dimitrios Dimitriadis and Sunwoo Lee and Mi Zhang and Shrikanth S. Narayanan and Salman Avestimehr},
journal= {arXiv preprint arXiv:2306.02210},
year = {2024}
}