FedBiOT：联邦学习中无需完整模型的大语言模型本地微调
机器学习
2024-06-26 v1 计算与语言
分布式、并行与集群计算
摘要
大型语言模型在使用适当数据进行微调后，在许多特定领域任务上表现出惊人的性能。然而，许多特定领域的数据是私有地分布在多个所有者手中的。因此，这一困境引发了人们对如何在联邦学习中进行大语言模型微调的兴趣。然而，面对有限的计算和通信能力，联邦学习客户端难以有效地微调大语言模型。为此，我们引入了FedBiOT，一种资源高效的大语言模型微调联邦学习方法。具体来说，我们的方法涉及服务器生成一个压缩的大语言模型，并使其性能与完整模型对齐。随后，客户端微调压缩模型的一个轻量级但重要的部分，称为适配器。注意，由于服务器无法访问客户端拥有的私有数据，服务器用于对齐的数据与客户端用于微调的数据具有不同的分布。我们将该问题表述为一个双层优化问题，以最小化数据差异的负面影响，并推导出服务器和客户端的更新规则。我们在LLaMA-2上进行了大量实验，实证表明适配器在重新集成到全局大语言模型中时具有卓越的性能。结果还表明，与现有基准相比，所提出的FedBiOT显著降低了资源消耗，同时达到了可比的性能水平。
引用
@article{arxiv.2406.17706,
title = {FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model},
author = {Feijie Wu and Zitao Li and Yaliang Li and Bolin Ding and Jing Gao},
journal= {arXiv preprint arXiv:2406.17706},
year = {2024}
}
备注
KDD 2024