MobiLLM：通过服务器辅助侧调优实现移动设备上的LLM微调
机器学习
2025-03-03 v1
摘要
大规模语言模型(LLM)在移动设备上的应用潜力不朽。然而，移动设备上的模型微调面临巨大的内存要求和慢速训练速度的挑战。即便采用仅更新小部分参数的高效微调(PEFT)方法，资源受限的移动设备也无法承担。本文提出MobiLLM，通过服务器辅助侧调优在移动设备上实现内存高效的Transformer LLM微调。特别地，MobiLLM允许资源受限的移动设备仅保留冻结的主干模型，同时将记忆和计算密集型反向传播卸载到高性能服务器。不同于已有微调方法将可训练参数保留在冻结主干内部，MobiLLM将一组平行适配器从主干分离，以创建反向传播旁路，仅进行单向前向传播期间的低带宽量化激活传输。在这种方式下，数据永远留在移动设备上，但设备可通过本地主干模型消除反向传播，其前向传播可与服务器端执行并行。因此，MobiLLM在保持数据隐私的同时，显著减少了LLM微调的内存和计算负担。通过大量实验，我们展示了MobiLLM能够使资源受限的移动设备，甚至仅CPU的设备，微调LLM并显著减少收敛时间和内存使用。
引用
@article{arxiv.2502.20421,
title = {MobiLLM: Enabling LLM Fine-Tuning on the Mobile Device via Server Assisted Side Tuning},
author = {Liang Li and Xingke Yang and Wen Wu and Hao Wang and Tomoaki Ohtsuki and Xin Fu and Miao Pan and Xuemin Shen},
journal= {arXiv preprint arXiv:2502.20421},
year = {2025}
}