FLoRG：基于低秩格拉姆矩阵和Procrustes对齐的联邦微调
机器学习
2026-03-09 v2 人工智能
摘要
参数高效微调技术（如低秩适配LoRA）使大型语言模型（LLM）能够高效地适应下游任务。联邦学习（FL）通过使分布式客户端在不共享私有数据的情况下进行协作微调，进一步促进了这一过程。然而，在联邦微调中使用LoRA的两个独立的低秩矩阵引入了两类挑战。首先，分别聚合两个低秩矩阵可能会产生聚合误差。其次，即使服务器聚合了两个低秩矩阵的乘积，它也需要将聚合后的矩阵分解回低秩矩阵。由于分解不唯一，这可能导致分解漂移。为了解决上述挑战，我们提出了联邦低秩格拉姆矩阵聚合（FLoRG），这是一种联邦微调框架，它使用单个低秩矩阵进行微调，并聚合其格拉姆矩阵（即其列向量内积的矩阵）。FLoRG可以消除聚合误差并减少通信开销。它还通过引入一种Procrustes对齐方法，在连续的微调轮次之间对齐分解后的矩阵以实现一致的更新，从而最小化分解漂移。我们从理论上分析了FLoRG的收敛性，并证明采用Procrustes对齐会导致更紧的收敛界。在多个LLM微调基准上的实验结果表明，FLoRG通过提供更高的下游任务准确率优于五种最先进的基线方案，并且可以将通信开销降低高达2041倍。
引用
@article{arxiv.2602.17095,
title = {FLoRG: Federated Fine-tuning with Low-rank Gram Matrices and Procrustes Alignment},
author = {Chuiyang Meng and Ming Tang and Vincent W. S. Wong},
journal= {arXiv preprint arXiv:2602.17095},
year = {2026}
}