FedHL：面向异构低秩适配的联邦学习框架
机器学习
2025-05-27 v1 人工智能
摘要
联邦学习（Federated Learning, FL）通过分布式数据源微调基础模型（Foundation Models, FMs），其中低秩适配（Low-Rank Adaptation, LoRA）因其低通信成本和卓越性能而日益流行。尽管近期研究认识到异构 LoRA 在联邦学习中的优势，并提出灵活的算法支持其实现，但我们的理论分析揭示了一个关键缺口：现有方法因参数截断和偏置梯度更新而缺乏正式的收敛性保证。具体而言，针对不同客户端的 LoRA 秩异构性，需对全局参数进行截断，这会引入固有的截断误差，导致后续不准确的梯度更新在训练轮次中累积，最终降低性能。为解决上述问题，我们提出一种简单而有效的 \textbf{Fed}erated Learning 框架，专为 \textbf{H}eterogeneous \textbf{L}oRA 设计，称为 FedHL。通过将全秩全局模型作为校准的聚合基准，FedHL 消除了初始对齐不同客户端 LoRA 秩所带来的直接截断偏差。此外，我们推导了通过最小化收敛上界中的梯度漂移项所对应的最优聚合权重。我们的分析表明，FedHL 保证收敛率为 ，而在多个真实数据集上的实验结果表明，其性能比多个最先进方法提升了 1-3%。
引用
@article{arxiv.2505.18494,
title = {FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation},
author = {Zihao Peng and Jiandian Zeng and Boyuan Li and Guo Li and Shengbo Chen and Tian Wang},
journal= {arXiv preprint arXiv:2505.18494},
year = {2025}
}