面向大型语言模型参数高效微调的自动化联邦流水线
机器学习
2024-12-09 v2 人工智能
摘要
近年来，先进智能生成内容（AIGC）尤其是大型语言模型（LLM）的发展迅猛。然而，对于许多下游任务，需要使用私有数据对 LLM 进行微调。虽然联邦学习为 LLM 微调提供了一种有前景的隐私保护解决方案，但 LLM 的巨大规模以及高计算和通信需求使其难以应用于下游任务。更重要的是，在现实场景中，私有边缘服务器通常拥有不同的计算和网络资源，这给 LLM 微调带来了额外的复杂性。为了解决这些问题，我们设计并实现了一个名为 FedPipe 的自动化联邦流水线，以最小的训练成本微调 LLM，且不增加任何推理延迟。FedPipe 首先根据权重对 LLM 训练的贡献识别需要微调的权重。然后，它为每个选定的权重配置一个低秩适配器，在边缘服务器上训练局部低秩适配器，并聚合所有边缘服务器的局部适配器以微调整个 LLM。最后，它根据边缘服务器的要求适当量化 LLM 的参数以减少内存空间。大量实验表明，FedPipe 加速了模型训练，并比最先进的基准方法实现了更高的准确率。
引用
@article{arxiv.2404.06448,
title = {Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models},
author = {Zihan Fang and Zheng Lin and Zhe Chen and Xianhao Chen and Yue Gao and Yuguang Fang},
journal= {arXiv preprint arXiv:2404.06448},
year = {2024}
}
备注
15 pages, 16 figures