AugFL：利用预训练模型增强联邦学习
机器学习
2025-03-05 v1 人工智能
分布式、并行与集群计算
摘要
近年来，联邦学习（FL）引起了广泛关注。然而，由于训练参与者（如物联网设备）严格的隐私政策或有限的存储容量，其在实际去中心化学习环境中的有效部署往往受到训练数据稀缺的阻碍。在本文中，我们研究利用（大型）预训练模型（PM）增强 FL，这些模型封装了丰富的通用/领域无关知识，以缓解从零开始进行 FL 的数据需求。具体而言，我们考虑由中央服务器和分布式客户端组成的网络化 FL 系统。首先，我们将 PM 辅助的个性化 FL 表述为一个基于正则化的联邦元学习问题，其中客户端协同学习一个从存储在服务器上的私有 PM 转移知识的元模型。然后，我们开发了一种基于非精确 ADMM 的算法 AugFL，以在无需暴露 PM 或给本地客户端带来额外计算成本的情况下优化该问题。此外，我们在一般非凸情况下建立了 AugFL 在通信复杂度、自适应性能和知识转移收益方面的理论保证。大量实验证实了 AugFL 相对于现有基线的有效性和优越性。
引用
@article{arxiv.2503.02154,
title = {AugFL: Augmenting Federated Learning with Pretrained Models},
author = {Sheng Yue and Zerui Qin and Yongheng Deng and Ju Ren and Yaoxue Zhang and Junshan Zhang},
journal= {arXiv preprint arXiv:2503.02154},
year = {2025}
}
备注
to be published in Transactions on Networking