Ravan：面向联邦微调的多头低秩适配
机器学习
2026-02-02 v2 人工智能
摘要
大型语言模型（LLM）尚未有效利用边缘设备数据的大量资源，联邦学习（FL）提供了一个在不将私有边缘数据传输到云端的情况下协同微调 LLM 的有前景的范式。为在边缘设备的计算和通信约束下运行，近期文献提出使用低秩适配（LoRA）等参数高效方法进行联邦微调 LLM。然而，LoRA 基于的方法在 FL 环境中存在精度下降，主要由于客户端之间的数据和计算异构性。我们提出了 Ravan，这是一种自适应的多头 LoRA 方法，通过将权重更新 reparameterization 为多个 LoRA 头 的和，在保持参数高效的同时平衡参数效率和模型表达能力，其中仅训练核心矩阵 及其轻量级缩放因子 。这些可训练的缩放因子使优化能够聚焦于最有用的头，从而在不增加通信参数数量的前提下恢复对完整更新的高秩近似，因为客户端直接上传 。在视觉和语言基准测试中实验结果表明，Ravan 在测试准确率上相较于先前的参数高效基线提升 ，使其成为面向联邦微调 LLM 的稳健且可扩展的解决方案。
引用
@article{arxiv.2506.05568,
title = {Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning},
author = {Arian Raje and Baris Askin and Divyansh Jhunjhunwala and Gauri Joshi},
journal= {arXiv preprint arXiv:2506.05568},
year = {2026}
}