FedRPCA：利用鲁棒 PCA 增强联邦 LoRA 聚合
机器学习
2025-06-03 v1 分布式、并行与集群计算
摘要
LoRA 已成为最有前景的微调技术之一，尤其是对于联邦学习 (Federated Learning, FL)，因为它显著降低了资源受限客户端的通信和计算成本。然而，数据异构性仍然是基于 LoRA 的 FL 面临的重大挑战，且基于 FedAvg 的传统聚合策略存在收敛缓慢和次优准确率的问题。受模型合并（特别是 Task Arithmetic）最新进展的启发，我们探索了使用缩放平均来聚合客户端 LoRA 参数的想法。我们首先观察到，由于客户端更新之间的高余弦相似度，直接应用 Task Arithmetic 是无效的，这表明跨客户端的更新中存在显著的共有知识。为了解决这个问题，我们提出通过鲁棒主成分分析 (Robust Principal Component Analysis, Robust-PCA) 将客户端 LoRA 更新分解为共有低秩成分和客户端特有的稀疏成分。我们提出的算法 FedRPCA 通过平均聚合低秩成分以巩固共有知识，并对稀疏成分应用缩放平均以放大客户端特有知识。我们在各种视觉和语言任务上评估了我们的方法，并证明与竞争基线相比，它实现了更高的最终准确率和更快的收敛速度。
引用
@article{arxiv.2506.01194,
title = {FedRPCA: Enhancing Federated LoRA Aggregation Using Robust PCA},
author = {Divyansh Jhunjhunwala and Arian Raje and Madan Ravi Ganesh and Chaithanya Kumar Mummadi and Chaoqun Dong and Jiawei Zhou and Wan-Yi Lin and Gauri Joshi and Zhenzhen Li},
journal= {arXiv preprint arXiv:2506.01194},
year = {2025}
}