联邦草图 LoRA：面向异构协作式 LLM 微调的灵活框架
机器学习
2026-05-26 v4
摘要
在资源受限的客户端上对大语言模型 (LLM) 进行微调仍是一个具有挑战性的问题。最近的研究将低秩适应 (LoRA) 技术与联邦微调相结合，以缓解客户端模型规模和数据稀缺性所带来的挑战。然而，资源的异构性仍是一个关键瓶颈：虽然更高秩的模块通常会提升性能，但不同客户端的能力限制了 LoRA 可实现的秩范围。现有方法要么缺乏分析性依据，要么增加额外的计算开销，留下了一个高效且理论依据充分的解决方案的广阔空白。为此，我们提出了联邦草图 LoRA (FSLoRA)，其利用草图机制使客户端能够选择性地更新由服务器维护的全局 LoRA 模块的子矩阵。通过调整草图比例——即客户端上子矩阵的秩——FSLoRA 能灵活适应特定客户端的通信和计算约束。我们对 FSLoRA 提供了严格的收敛分析，阐述了草图比例如何影响收敛速度。通过大量实验，我们展示了 FSLoRA 在性能上优于基线方法，同时显著提高了训练效率，保持稳定的收敛。
引用
@article{arxiv.2501.19389,
title = {Federated Sketching LoRA: A Flexible Framework for Heterogeneous Collaborative Fine-Tuning of LLMs},
author = {Wenzhi Fang and Dong-Jun Han and Liangqi Yuan and Seyyedali Hosseinalipour and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2501.19389},
year = {2026}
}
备注
We propose Federated Sketching LoRA (FSLoRA), a theoretically grounded methodology for collaborative LLM fine-tuning that retains LoRA's flexibility while adapting to the communication and computational capabilities of individual clients