一石三鸟：利用零阶优化解决无线网络大语言模型微调中的通信-内存-隐私三难困境
分布式、并行与集群计算
2026-04-15 v1
摘要
联邦学习为在边缘协同微调大语言模型提供了一条有前景的路径；然而，该范式面临一个关键瓶颈：交换高维梯度所带来的高昂通信和内存开销。此外，近期研究表明，用户训练数据仍可从这些本地梯度中恢复，破坏了联邦学习的核心隐私承诺。在本文中，我们通过提出pAirZero框架来解决通信、内存和隐私这三难困境，该框架创新性地将零阶优化与空中计算相结合。独特之处在于，pAirZero使得资源受限的设备能够仅以比特级的通信负载提交其本地梯度，同时以推理级的内存开销参与大语言模型的联邦微调。这种方法不仅消除了大语言模型微调所需的高内存需求，还缓解了困扰传统空中计算方法的严格同步要求。我们进一步构建了一个严谨的优化模型，以自适应地确定最优发射功率和噪声水平，确保无论信道条件如何都能提供一致的隐私保护。数值实验证明了pAirZero在实现无线网络上安全、高效的大语言模型微调方面的优越性，其在OPT-125M模型上的峰值内存开销仅为传统方法的25%，通信负载则低数个数量级。
引用
@article{arxiv.2604.12401,
title = {Three Birds, One Stone: Solving the Communication-Memory-Privacy Trilemma in LLM Fine-tuning Over Wireless Networks with Zeroth-Order Optimization},
author = {Zhijie Cai and Yuhao Zheng and Haolong Chen and Dongzhu Liu and Bin Wang and Guangxu Zhu},
journal= {arXiv preprint arXiv:2604.12401},
year = {2026}
}