基于双 LoRA 调优的面向大语言模型的个人化联邦学习：FDLoRA
摘要
大语言模型 (LLMs) 已成为 various fields 中的重要组件，但其 training 需要 substantial computation resources 和 abundant labeled data。这给 robustly training LLMs for individual users (clients) 带来了挑战。为此，直观的想法是引入 federated learning (FL)， which can collaboratively train models on distributed private data。然而，existing methods 受 data heterogeneity、system heterogeneity 和 model size 的挑战， resulting in suboptimal performance 和 high costs。In this work，我们提出了一个 personalised federated learning (PFL) framework 的 variant，称为 FDLoRA，它 allows client 成为 single device 或 cluster，并采用 low-rank adaptation (LoRA) tuning。FDLoRA 在每个 client 上设置 dual LoRA modules 以分别捕获 personalized 和 global knowledge，仅上传 global LoRA module 的 parameters 到 central server 以 aggregate cross-client knowledge。最后，采用 adaptive fusion approach 来 combine dual LoRAs 的 parameters。这使 FDLoRA 能够 effective use 分布在不同 client 之间的 private data，从而 improve client 上的 performance，而不 incur high communication 和 computing costs。我们在 two practice scenarios 中进行了 extensive experiments。结果表明，FDLoRA 在 performance、stability、robustness、computation cost 和 communication cost 上均优于 six baselines。
引用
@article{arxiv.2406.07925,
title = {FDLoRA: Personalized Federated Learning of Large Language Model via Dual LoRA Tuning},
author = {Jiaxing QI and Zhongzhi Luan and Shaohan Huang and Carol Fung and Hailong Yang and Depei Qian},
journal= {arXiv preprint arXiv:2406.07925},
year = {2024}
}