具有稀疏化正交更新的两阶段无线联邦LoRA微调
机器学习
2026-03-25 v2 信号处理
摘要
基于Transformer的大语言模型（LLMs）在各种任务中取得了显著成功。然而，在联邦学习（FL）环境中微调如此庞大的模型，由于资源限制和通信开销，带来了巨大挑战。低秩适应（LoRA）通过训练紧凑的低秩矩阵而非完全微调大模型来解决这些问题。本文介绍了一个无线联邦LoRA微调框架，该框架同时优化了学习性能和通信效率。我们提供了一种新颖的收敛性分析，揭示了LoRA秩和协方差效应如何影响联邦学习训练动态。利用这些见解，我们提出了稀疏化正交微调（SOFT），这是一种自适应稀疏化方法，无需昂贵的矩阵乘法和奇异值分解（SVD）操作即可简化参数更新。此外，我们还提出了一种两阶段联邦算法（TSFA），该算法离线预确定关键参数，并在线动态调整带宽和稀疏化，以确保在时延约束下进行高效训练。在基准数据集上的实验表明，我们的方法在显著降低通信开销的同时，达到了与理想场景模型相当的准确率。因此，我们的框架能够在真实世界的无线联邦学习场景中实现大规模、资源高效的模型部署。
引用
@article{arxiv.2505.00333,
title = {Two Stage Wireless Federated LoRA Fine-Tuning with Sparsified Orthogonal Updates},
author = {Bumjun Kim and Wan Choi},
journal= {arXiv preprint arXiv:2505.00333},
year = {2026}
}