FLoRA：异构低秩适配的大语言模型联邦微调
机器学习
2024-09-11 v1 分布式、并行与集群计算
摘要
大语言模型（LLM）的快速发展在推进人工智能方面起到了关键作用，预训练的LLM可以适应各种下游任务。联邦学习（FL）通过利用客户端本地数据进行原位计算，以隐私感知的方式进一步增强了微调，无需数据移动。然而，微调LLM由于其庞大的参数规模，对联邦学习中资源受限且异构的客户端构成了挑战。以往的方法采用低秩适配（LoRA）进行联邦微调，但在LoRA适配器上使用了传统的FL聚合策略。这些方法引入了数学上不准确的聚合噪声，降低了微调效果，并且无法处理异构的LoRA。在这项工作中，我们首先指出了现有联邦微调方法中LoRA聚合的数学不正确性。我们提出了一种名为FLORA的新方法，通过一种新颖的基于堆叠的聚合策略，支持跨客户端的异构LoRA适配器进行联邦微调。我们的方法无噪声，并能无缝支持异构LoRA适配器。大量实验表明，FLORA在同构和异构设置下均表现出优越的性能，超越了最先进的方法。我们期望这项工作能成为高效、隐私保护且准确的LLM联邦微调的里程碑。我们的代码可在https://github.com/ATP-1010/FederatedLLM获取。
关键词
引用
@article{arxiv.2409.05976,
title = {FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations},
author = {Ziyao Wang and Zheyu Shen and Yexiao He and Guoheng Sun and Hongyi Wang and Lingjuan Lyu and Ang Li},
journal= {arXiv preprint arXiv:2409.05976},
year = {2024}
}