Fed MobiLLM：基于服务器辅助侧调谐的异构移动设备高效联合大语言模型微调
机器学习
2025-08-12 v1
摘要
在异构移动设备上协同微调大语言模型（LLM）潜在着眼于个性化智能的广泛应用，但该愿景面临关键系统挑战。传统的联合LLM微调方法在移动硬件上施加严苛的计算和内存负担，其同步模型聚合协议因较慢设备而出现停滞。本文提出Fed MobiLLM，一种新型设计，旨在支持跨异构移动设备的高效联合LLM微调，考虑到不同计算/通信速度和本地模型架构。具体而言，Fed MobiLLM实施了一种 pioneering server-assisted federated side-tuning 范式。简而言之，移动设备在其冻结的预缩放 backbone LLM 上对本地数据执行轻量级前向传播计算，然后上传选定的中间激活。服务器独立训练共享侧网络，消除客户端反向传播，实现异步更新。为桥接不同设备间的模型异构性，我们引入一种自适应层级特征对齐方法，确保为协同微调共享侧网络提供一致的表示。大量实验结果表明，Fed MobiLLM在保持稳健微调性能的同时，实现了极低的设备内存占用，计算开销至少降低95.2%，通信成本降低93.2%，收敛速度快5.1倍，验证了其在异构移动设备上实现实际LLM适配的有效性。
引用
@article{arxiv.2508.06765,
title = {Fed MobiLLM: Efficient Federated LLM Fine-Tuning over Heterogeneous Mobile Devices via Server Assisted Side-Tuning},
author = {Xingke Yang and Liang Li and Sicong Li and Liwei Guan and Hao Wang and Xiaoqi Qi and Jiang Liu and Xin Fu and Miao Pan},
journal= {arXiv preprint arXiv:2508.06765},
year = {2025}
}