聚合低秩适配器的联邦微调
机器学习
2026-05-06 v1 人工智能
摘要
微调大型语言模型需要高计算和内存资源，因而成本较高。在联邦数据集上训练时，还需要增加通信开销。因此，参数高效方法（PEFT）日益重要。在此背景下，利用低秩适应方法（LoRA）进行微调已取得优异成果。将 LoRA 方法应用于联邦学习，尤其是适配矩阵的聚合，目前是当前研究领域。本文提出了一种新颖的聚合方法，并与不同聚合方法进行比较，这些方法针对在大型机器学习模型上进行联邦微调的低秩适配器进行训练，并评估其在所选 GLUE 基准数据集上的性能。
引用
@article{arxiv.2501.06332,
title = {Aggregating Low Rank Adapters in Federated Fine-tuning},
author = {Evelyn Trautmann and Ian Hales and Martin F. Volk},
journal= {arXiv preprint arXiv:2501.06332},
year = {2026}
}
备注
presented at conference https://flta-conference.org/flta-2024-detailed-program/