无线网络上大型语言模型的低延迟联邦微调
分布式、并行与集群计算
2026-02-17 v2
摘要
最近，联邦大型语言模型(LLM)因 LLM 与联邦学习的结合能力而受到广泛关注，这有助于解决协作微调中的隐私问题。然而，鉴于 LLM 的大规模参数，现有的联邦 LLM 微调框架在资源受限的客户端（ characterized by 异构的计算能力和随机无线信道）方面面临显著挑战。为此，我们提出了面向无线网络的联合客户端特定剪枝和带宽分配(JCPBA)框架，用于改进 LLM 的微调效率。具体而言，我们通过联合优化剪枝率和带宽分配，构建了以微调延迟最小化为目标的优化问题。进一步，我们采用块坐标下降方法求解该优化问题。在 Yahoo Answers 和 GSM8K 数据集上的实验表明，所提出的框架显著降低了与最先进基线方法相比的墙钟微调时间，并在降低计算和通信开销的同时，获得等于或更低的测试损失。
引用
@article{arxiv.2602.01024,
title = {Low-Latency Federated Fine-Tuning for Large Language Models Over Wireless Networks},
author = {Zhiwen Pang and Kang Wei and Long Shi and Zhe Wang and Jun Li and Feng Shu},
journal= {arXiv preprint arXiv:2602.01024},
year = {2026}
}