CooperLLM：基于零阶优化的梯度校正实现 LLM 云边端协同联邦微调
机器学习
2026-01-21 v1 分布式、并行与集群计算
摘要
大型语言模型（LLM）在许多 NLP 任务上表现优异，然而尽管对保护隐私的个性化需求日益增长，由于高昂的内存和计算成本，在资源受限的移动设备上对其进行微调仍具挑战性。联邦学习（FL）支持本地数据训练，但现有方法要么依赖内存消耗大的反向传播，要么使用零阶优化（ZOO），后者虽避免了反向传播，却面临收敛缓慢和精度下降的问题。我们提出 CooperLLM，一个云辅助的边端协同联邦微调框架，将移动设备上的 ZOO 与云端引导的梯度校正相结合。移动客户端在私有数据上执行轻量级 ZOO 更新，而云端利用反向传播在辅助公开数据上进行微调，并注入引导扰动以校正本地更新，在不违反隐私的前提下提升收敛速度与精度。为解决系统瓶颈，CooperLLM 引入流水线调度与自适应压缩，以重叠计算与通信并降低内存占用。在多个 Transformer 模型与数据集上的实验表明，相较于基于 ZOO 的 SOTA 基线，CooperLLM 最多可减少 的设备端内存，将收敛速度提升 ，并将精度提升达 10 个百分点。
引用
@article{arxiv.2601.12917,
title = {CooperLLM: Cloud-Edge-End Cooperative Federated Fine-tuning for LLMs via ZOO-based Gradient Correction},
author = {He Sun and Jinrui Zhou and Li Li and Mingjun Xiao},
journal= {arXiv preprint arXiv:2601.12917},
year = {2026}
}
备注
14 pages, 9 figures, under review