FedBaF: 受基础模型偏置的联邦学习聚合
机器学习
2025-06-24 v3 密码学与安全
分布式、并行与集群计算
摘要
基础模型因其跨不同任务泛化的能力，现已成为领先技术组织的主要关注点。现有的将基础模型适应新应用的方法通常依赖于联邦学习（FL），并在使用基础模型初始化全局模型时将其权重透露给客户端。虽然这些方法确保了客户端数据的隐私，但它们损害了模型和信息安全。在本文中，我们介绍了受基础模型偏置的联邦学习聚合（FedBaF），这是一种在FL聚合阶段动态集成预训练基础模型权重的新方法。与传统方法不同，FedBaF 在利用基础模型的能力训练更精确模型的同时，保留了基础模型的机密性，尤其是在非独立同分布（non-IID）和对抗性场景中。我们使用 Pre-ResNet 和 Vision Transformer 等基础模型进行的全面实验表明，FedBaF 不仅匹配，而且通常在 IID 设置中比传统的权重初始化方法高出高达 11.4% 的测试准确率，在 non-IID 设置中高出高达 15.8%。此外，将 FedBaF 应用于基于 Transformer 的语言模型，显著降低了高达 39.2% 的困惑度。
引用
@article{arxiv.2410.18352,
title = {FedBaF: Federated Learning Aggregation Biased by a Foundation Model},
author = {Jong-Ik Park and Srinivasa Pranav and José M. F. Moura and Carlee Joe-Wong},
journal= {arXiv preprint arXiv:2410.18352},
year = {2025}
}
备注
Published at The 28th International Conference on Artificial Intelligence and Statistics (AISTATS 2025)