大语言模型联邦微调综述
机器学习
2026-02-25 v3 分布式、并行与集群计算
摘要
大语言模型（LLM）在各种任务中展现了令人瞩目的成功。将LLM与联邦学习（FL）相结合，即所谓的FedLLM，为协作式模型适应与数据隐私保护提供了有前景的途径。本综述对FedLLM进行了系统而全面的回顾。我们首先追溯LLM和FL的历史发展，总结相关先前研究以建立背景。随后，我们深入分析部署FedLLM所固有的基本挑战。应对这些挑战通常需要高效的适应策略，因此我们对现有的参数高效微调（PEFT）方法进行了广泛考察，并探讨其在FL框架中的适用性。为了严格评估FedLLM的性能，我们对现有的微调数据集和评估基准进行了全面审查。此外，我们讨论了FedLLM在多个领域的多样化实际应用。最后，我们识别了关键开放挑战并概述了有前景的研究方向，以促进FedLLM的未来发展。本综述旨在为研究人员和实践者提供基础资源，提供对LLM联邦微调快速演进格局的宝贵见解，同时也为隐私保护AI的未来创新建立了路线图。我们积极维护一个GitHub仓库（https://github.com/Clin0212/Awesome-Federated-LLM-Learning）以追踪该领域的最新进展。
引用
@article{arxiv.2503.12016,
title = {A Survey on Federated Fine-tuning of Large Language Models},
author = {Yebo Wu and Chunlin Tian and Jingguang Li and He Sun and Kahou Tam and Zhanting Zhou and Haicheng Liao and Jing Xiong and Zhijiang Guo and Li Li and Chengzhong Xu},
journal= {arXiv preprint arXiv:2503.12016},
year = {2026}
}
备注
Accepted by Transactions on Machine Learning Research (TMLR), 2026