LoRA-FAIR: 基于聚合与初始化细化的 LoRA 联邦微调
机器学习
2025-10-14 v3 计算机视觉与模式识别
摘要
Foundation models (FMs) 在 diverse 任务上通过 task-specific 微调实现卓越性能，但 full parameter 微调对大模型计算资源要求高。Parameter-efficient fine-tuning (PEFT) 方法如 Low-Rank Adaptation (LoRA) 通过引入低秩矩阵来微调更少参数，从而降低成本。尽管 LoRA 使微调高效，但需要大量数据才能完成适配，使 Federated Learning (FL) 成为具有隐私保留协作框架的吸引力解决方案。然而，将 LoRA 与 FL 结合会引入两个关键挑战: \textbf{Server-Side Aggregation Bias}（服务器端平均 LoRA 矩阵偏离理想全局更新），以及 \textbf{Client-Side Initialization Lag}（强调各 round 间初始化一致性）。现有方法分别解决上述挑战，效果有限。我们提出 LoRA-FAIR，一种新方法通过在服务器引入校正项来同时解决上述问题，提升聚合效率与准确性。LoRA-FAIR 保持计算与通信效率，优于 state-of-the-art 方法。在 ViT 与 MLP-Mixer 模型上大规模数据集上的实验表明，LoRA-FAIR 在 FL 环境下持续实现性能提升。
引用
@article{arxiv.2411.14961,
title = {LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement},
author = {Jieming Bian and Lei Wang and Letian Zhang and Jie Xu},
journal= {arXiv preprint arXiv:2411.14961},
year = {2025}
}
备注
ICCV 2025, Code is available: https://github.com/jmbian/LoRA-FAIR