PAE MobiLLM：基于加法副调优的移动设备隐私感知高效 LLM 微调
机器学习
2025-08-12 v2 密码学与安全
摘要
大量引人注目的应用源于在新鲜移动数据上进行的本地大语言模型（LLM）微调（FT），但移动设备的资源有限，导致存在巨大的差距。虽然现有的服务器辅助方法（如分段学习或副调优）可能使LLM在本地移动设备上进行FT，但它们会因激活传输的沉重通信负担而受限，可能向服务器披露数据和标签。为此，我们开发PAE MobiLLM，一种可部署在移动设备上的隐私感知且高效的LLM FT方法，通过服务器辅助的加法副调优实现。为进一步加速FT收敛并提高计算效率，PAE MobiLLM集成了服务器端的激活缓存，允许服务器重用历史激活，节省移动设备为重复数据样本重复计算前向传递的开销。此外，为减少通信成本，PAE MobiLLM开发了激活快捷方式，只传输损失计算中涉及的标记，而非完整的激活矩阵，以指导副网络调优。最后，PAE MobiLLM引入基于加法适配器的副网络设计，使服务器基于设备定义的预测差异而非原始真实标签训练适配器模块。如此一来，服务器仅协助设备定义的副网络计算，什么关于数据和标签的学习信息都不会泄露。广泛的实验结果表明PAE MobiLLM的优越性。
引用
@article{arxiv.2507.01216,
title = {PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-Tuning},
author = {Xingke Yang and Liang Li and Zhiyi Wan and Sicong Li and Xiaoqi Qi and Jiang Liu and Tomoaki Ohtsuki and Xin Fu and Miao Pan},
journal= {arXiv preprint arXiv:2507.01216},
year = {2025}
}