异构化联邦微调：基于平行单秩适配的框架
分布式、并行与集群计算
2026-02-20 v1
摘要
大型语言模型 (LLM) 通过微调在适应下游任务方面展现出显著的有效性。联邦学习 (FL) 通过使用低秩适配 (LoRA) 使这一能力扩展到分布式客户端之间的协作微调，同时通过避免原始数据共享来保留数据隐私。然而，实际部署面临挑战，因为客户端资源异构，导致采用不同的 LoRA 秩，从而产生显著的初始化和聚合噪声，削弱性能。为解决这些挑战，我们提出了 Fed-PLoRA，一种新型轻量级异构化联邦微调 (FFT) 框架。Fed-PLoRA 引入平行单秩适配 (PLoRA)，一种新的 LoRA 变体，用多个平行单秩模块取代经典的多秩 LoRA 模块，并提出一种新颖的 Select-N-Fold 策略，将未训练的 PLoRA 模块折叠到预训练权重中，从而适应异构客户端资源。我们对 Fed-PLoRA 的初始化噪声和聚合噪声提供了统一分析，阐明了其如何解决最新方法的局限性。在多样化的 LLM 微调任务上的大量实验表明，Fed-PLoRA 在准确率和效率方面均 consistently 优于现有方法。代码已公开于 https://github.com/TNI-playground/Fed-PLoRA。
引用
@article{arxiv.2602.16936,
title = {Heterogeneous Federated Fine-Tuning with Parallel One-Rank Adaptation},
author = {Zikai Zhang and Rui Hu and Jiahao Xu},
journal= {arXiv preprint arXiv:2602.16936},
year = {2026}
}
备注
To appear in ICLR 2026