面向联邦微调中的知识复用的秩级专家弹性混合
分布式、并行与集群计算
2025-12-02 v1
摘要
联邦微调为在保障数据隐私的同时将大型语言模型(LLM)适应下游任务提供了可行方案，但其高计算和通信需求阻碍了在资源受限设备上的部署。本文提出了SmartFed—a资源高效的联邦微调框架。SmartFed智能地复用现有LoRA模块中嵌入的知识，在适应新任务时无需从头训练即可实现。为有效利用该知识并确保可扩展性，我们引入了秩级专家混合(MoRE)。MoRE将LoRA模块分解为细粒度的秩级专家。这些专家根据输入语义和资源预算进行选择性激活并组合。此外，为优化资源利用，我们提出弹性专家配额分配(EEQA)。EEQA根据参数矩阵中专家对模型性能贡献，自适应分配专家容量，聚焦计算资源于关键专家。广泛的评估表明，SmartFed在模型性能和训练效率方面显著优于现有方法。
引用
@article{arxiv.2512.00902,
title = {Elastic Mixture of Rank-Wise Experts for Knowledge Reuse in Federated Fine-Tuning},
author = {Yebo Wu and Jingguang Li and Zhijiang Guo and Li Li},
journal= {arXiv preprint arXiv:2512.00902},
year = {2025}
}