FedLoDrop：面向通用大语言模型微调的联邦 LoRA 与 Dropout
信息论
2026-02-03 v2 机器学习
math.IT
摘要
微调（FT）大型语言模型（LLM）是将通用模型适应特定任务、以最小资源提升精度和相关性的关键步骤。为进一步提升泛化能力并降低训练成本，本文提出了 Federated LoRA with Dropout（FedLoDrop），一种新框架，通过对 Federated LoRA 中可训练矩阵的行和列应用 Dropout。获得了在稀疏正则化下的泛化误差界和收敛性分析，阐明了欠拟合与过拟合之间的根本权衡。误差界表明，更高的 Dropout 率会增加模型稀疏性，从而降低点态假设稳定性（PHS）的上界。虽然这减少了经验误差与泛化误差之间的差距，但也导致更高的经验误差，而这两者共同决定了总体泛化误差。另一方面，尽管 Dropout 降低了通信成本，但在网络边缘部署 FedLoDrop 仍面临资源受限的挑战。为解决此问题，构建了优化问题，旨在通过联合优化 Dropout 率和资源分配（受延迟和单设备能耗约束），最小化泛化误差的上界。为求解该问题，提出基于分支定界（B\&B）的方法，以获得全局最优解。此外，为降低 B\&B 方法的高计算复杂度，提出基于惩罚性继stant convex 近似（P-SCA）的算法，高效获得高质量次优解。最后，数值实验表明，所提方法在缓解过拟合和提升泛化能力方面有效。
引用
@article{arxiv.2510.12078,
title = {FedLoDrop: Federated LoRA with Dropout for Generalized LLM Fine-tuning},
author = {Sijing Xie and Dingzhu Wen and Changsheng You and Qimei Chen and Mehdi Bennis and Kaibin Huang},
journal= {arXiv preprint arXiv:2510.12078},
year = {2026}
}
备注
The paper has been accepted for publication in IEEE Journal on Selected Areas in Communications on Jan. 31 2026