PocketLLM：面向移动设备的个人化LLM低资源微调
机器学习
2024-07-02 v1 计算与语言
摘要
近期大型语言模型(LLM)的进展确实展示了其惊人的能力。在移动设备上，每日产生的宝贵且非公开的数据为在本地对个人化LLM进行微调提供了巨大的前景，同时通过本地处理可保持数据隐私。然而，移动设备资源的限制构成了直接在移动设备上进行LLM微调的挑战，主要由于基于导数的优化在保存梯度和优化器状态方面对内存要求极高。为此，我们提出了采用无导数优化技术以实现LLM在内存受限的移动设备上的微调。经验结果表明，在OPPO Reno 6智能手机上，可使用约4GB和6.5GB的内存分别对RoBERTa-large模型和OPT-1.3B进行本地微调，这表明了在资源受限的移动设备上实现LLM本地微调的可行性，为在资源受限设备上部署具有隐私保护能力的个人化LLM铺平了道路。
引用
@article{arxiv.2407.01031,
title = {PocketLLM: Enabling On-Device Fine-Tuning for Personalized LLMs},
author = {Dan Peng and Zhihui Fu and Jun Wang},
journal= {arXiv preprint arXiv:2407.01031},
year = {2024}
}
备注
Accepted to the ACL 2024 Workshop on Privacy in Natural Language Processing (PrivateNLP)