联邦学习中面向低秩适配的选择性聚合
机器学习
2025-03-24 v3
摘要
我们从所学习 A 和 B 矩阵的非对称性分析角度探讨了联邦学习中的 LoRA。在此过程中，我们发现 A 矩阵负责学习通用知识，而 B 矩阵则聚焦于捕获特定于客户端的知识。基于此发现，我们提出了 Federated Share-A Low-Rank Adaptation（FedSA-LoRA），该方法使用两个低秩可训练矩阵 A 和 B 来建模权重更新，但仅将 A 矩阵与服务器共享进行聚合。此外，我们探讨了在其他 LoRA 变体（如 rsLoRA 和 VeRA）中所学习 A 和 B 矩阵之间的关系，揭示了一致的模式。因此，我们将 FedSA-LoRA 方法扩展到这些 LoRA 变体，从而形成一种通用的将 LoRA 与 FL 集成的范式，为未来工作于后续 LoRA 变体与 FL 结合提供指导。在自然语言理解与生成任务上进行的大量实验结果表明，所提出的方法有效。我们的代码已公开于 https://github.com/Pengxin-Guo/FedSA-LoRA。
引用
@article{arxiv.2410.01463,
title = {Selective Aggregation for Low-Rank Adaptation in Federated Learning},
author = {Pengxin Guo and Shuang Zeng and Yanran Wang and Huijie Fan and Feifei Wang and Liangqiong Qu},
journal= {arXiv preprint arXiv:2410.01463},
year = {2025}
}
备注
Accepted at ICLR 2025