中文

MobileFineTuner:面向移动手机的 LLM 微调统一端到端框架

机器学习 2025-12-10 v1

摘要

移动电话是最普遍的 end device,产生海量 human-authored 数据,作为 end-side 应用的主要平台。随着 high-quality public data for LLM 的接近枯竭,on-device 微调提供了一种利用 private user data 同时保持 privacy 的机会。然而,现有方法主要基于 simulation 或依赖 IoT 设备和 PC,留下了商品化移动电话的实用性探索空白。一个关键缺口是缺乏可在移动电话上实现 practical LLM 微调的开源框架。我们提出 MobileFineTuner,一个 unified 开源框架,使 end-to-end LLM 微调直接在商品化移动电话上实现。MobileFineTuner 设计以 efficiency、scalability 和 usability 为核心,支持 full-parameters 微调 (Full-FT) 和 parameter-efficient 微调 (PEFT)。为解决移动电话固有的 memory 与 energy 限制,我们引入 system-level 优化,包括 parameter sharding、gradient accumulation 和 energy-aware computation scheduling。我们通过在真实移动电话上对 GPT-2、Gemma 3 和 Qwen 2.5 进行微调,展示了 MobileFineTuner 的实用性。大量实验和消融研究验证了所提优化的有效性,确立了 MobileFineTuner 作为 future research on on-device LLM training 的 viable 基础。

关键词

引用

@article{arxiv.2512.08211,
  title  = {MobileFineTuner: A Unified End-to-End Framework for Fine-Tuning LLMs on Mobile Phones},
  author = {Jiaxiang Geng and Lunyu Zhao and Yiyi Lu and Bing Luo},
  journal= {arXiv preprint arXiv:2512.08211},
  year   = {2025}
}

备注

15 pages, 9 figures, submitted to Mobisys 2026