WinFLoRA：面向隐私异构的联邦 LoRA 客户端自适应聚合激励机制
机器学习
2026-02-03 v1
摘要
大语言模型 (LLM) 正在支撑智能 web 应用，从聊天机器人到搜索和推荐，其中高效专业化至关重要。低秩适应 (LoRA) 通过最小开销实现此类适应，而联邦 LoRA 允许 web 服务提供商在不共享数据的情况下微调共享模型。然而，在隐私敏感部署中，客户端注入的差分隐私 (DP) 噪声水平各异，导致隐私异构性，使个人激励与全局性能产生错位。本文提出 WinFLoRA，一种具有隐私异构性的联邦 LoRA，利用作为激励的聚合权重实现噪声感知。具体而言，基于上传的 LoRA 适配器估计客户端的噪声；权重越大，表明对全局模型的影响越大，下游任务性能越好，奖励低噪声贡献。通过对低噪声更新进行加权，WinFLoRA 在保持客户端异构隐私需求的同时提升全局准确率。因此，WinFLoRA 在无需第三方参与的情况下，将客户端就隐私和下游性能而言的异构效用与全局模型目标对齐。广泛评估表明，跨越多个 LLM 和数据集，WinFLoRA 在全局准确率上提升最高可达 52.58%，客户端效用提升最高可达 2.56 倍。源代码已公开于 https://github.com/koums24/WinFLoRA.git。
引用
@article{arxiv.2602.01126,
title = {WinFLoRA: Incentivizing Client-Adaptive Aggregation in Federated LoRA under Privacy Heterogeneity},
author = {Mengsha Kou and Xiaoyu Xia and Ziqi Wang and Ibrahim Khalil and Runkun Luo and Jingwen Zhou and Minhui Xue},
journal= {arXiv preprint arXiv:2602.01126},
year = {2026}
}
备注
12 pages