参数特征迁移：基于基础模型的一次性联邦学习
机器学习
2024-02-06 v1 人工智能
摘要
在一次性联邦学习（FL）中，客户端在单轮通信中协作训练全局模型。现有的一次性 FL 方法以提高通信效率为代价牺牲了准确性。本文介绍了 FedPFT（基于参数特征迁移的联邦学习），这是一种利用基础模型的可迁移性来提升一次性 FL 中准确性和通信效率的方法。该方法涉及迁移从基础模型提取的特征的每客户端参数模型（具体为高斯混合模型）。随后，利用每个参数模型生成合成特征以训练分类器头。在八个数据集上的实验结果表明，FedPFT 在集中式和去中心化 FL 场景中，以及在协变量偏移和任务偏移等多种数据异构设置下，均提升了通信 - 准确性前沿，改进幅度高达 20.6%。此外，FedPFT 遵循 FL 的数据最小化原则，因为客户端不发送真实特征。我们证明了发送真实特征易受强大的重构攻击。此外，我们展示了 FedPFT 可通过差分隐私获得形式化的隐私保证，并表现出良好的隐私 - 准确性权衡。
引用
@article{arxiv.2402.01862,
title = {Parametric Feature Transfer: One-shot Federated Learning with Foundation Models},
author = {Mahdi Beitollahi and Alex Bie and Sobhan Hemati and Leo Maxime Brunswic and Xu Li and Xi Chen and Guojun Zhang},
journal= {arXiv preprint arXiv:2402.01862},
year = {2024}
}
备注
20 pages, 12 figures