面向异构数据的个性化联邦微调：基于双层 LoRA 的自动秩学习方法
机器学习
2025-03-07 v1 计算与语言
摘要
我们研究了在语言模型语境下的个性化联邦微调任务，其中客户端在不共享本地数据的情况下协作微调语言模型（如 BERT、GPT），同时实现个性化。尽管近期研究已将参数高效微调技术（如低秩适应 LoRA）应用于联邦设置，但它们通常使用单个或多个独立低秩适配器，并预设最大和最小秩，这可能无法适应客户端间多样化的数据源。为了解决这一问题，我们提出了 PF2LoRA，一种基于双层 LoRA 自动秩学习新方法的个性化联邦微调算法。在语言模型权重冻结的前提下，我们的算法旨在同时学习两个层次的适应：第一层旨在为所有客户端学习一个通用适配器，第二层则促进各客户端的个性化。PF2LoRA 的关键优势在于能够根据单个客户端的数据自适应地确定合适的秩，而非依赖于无视数据异构性的预设秩。我们给出一个合成示例，展示了 PF2LoRA 如何自动为每个客户端学习真实秩，使适应量身匹配其各自数据的特性。值得注意的是，该方法引入的额外内存开销极小，因为第二层适应所包含的参数数量远少于第一层。我们在自然语言理解和生成任务上的实验表明，PF2LoRA 显著优于现有的联邦微调方法。
引用
@article{arxiv.2503.03920,
title = {Personalized Federated Fine-tuning for Heterogeneous Data: An Automatic Rank Learning Approach via Two-Level LoRA},
author = {Jie Hao and Yuman Wu and Ali Payani and Myungjin Lee and Mingrui Liu},
journal= {arXiv preprint arXiv:2503.03920},
year = {2025}
}
备注
28 pages, 5 figures