FedEx-LoRA：面向基础模型联邦高效微调的精确聚合
分布式、并行与集群计算
2025-07-01 v4 计算与语言
计算机视觉与模式识别
摘要
低秩适配（LoRA）是一种流行的基础模型高效微调技术。然而，在数据分布在多个客户端上的联邦学习环境中应用LoRA带来了独特的挑战。现有方法依赖于LoRA适配器的传统联邦平均，导致更新不精确。为了解决这个问题，我们提出了联邦精确LoRA（FedEx-LoRA），它在预训练的冻结权重矩阵中添加了一个残差误差项。我们的方法以最小的计算和通信开销实现了精确更新，保持了LoRA的效率。我们在算术推理、常识推理、自然语言理解和自然语言生成任务上对各种模型进行了评估，结果显示在多种设置下，该方法相较于最先进的方法具有持续的性能提升。通过广泛的分析，我们量化了与理想解的更新偏差是显著的，这凸显了精确聚合的必要性。我们方法的简单性、高效性和广泛适用性使其成为准确有效联邦微调基础模型的一个有前景的解决方案。我们的代码可在https://github.com/RaghavSinghal10/fedex-lora公开获取。
引用
@article{arxiv.2410.09432,
title = {FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models},
author = {Raghav Singhal and Kaustubh Ponkshe and Praneeth Vepakomma},
journal= {arXiv preprint arXiv:2410.09432},
year = {2025}
}
备注
ACL 2025 - Oral. Raghav Singhal and Kaustubh Ponkshe contributed equally to this work