面向资源受限移动设备的 LLM 高效反向传播
机器学习
2025-10-07 v1
摘要
对大型语言模型(LLM)进行反向传播微调——即使只针对部分参数如 LoRA——也比推理更占用大量内存，往往被视为在资源受限的移动设备上不可行。另一些方法，如零阶优化(ZO)，可大幅降低内存占用，但会带来显著的模型收敛速度下降（需要10倍到100倍的训练步数）。我们提出一种在移动设备上实现的反向传播内存高效实现(MeBP)，在内存使用与计算时间之间提供更好的权衡，同时比ZO基线更快收敛并取得更好性能。我们在 iPhone 15 Pro Max 上验证了 MeBP 的有效性，表明各种规模的 LLM（从0.5B到4B参数）均可使用少于1GB的内存进行微调。我们将 MeBP 实现的示例发布于 https://github.com/apple/ml-mebp。
引用
@article{arxiv.2510.03425,
title = {Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices},
author = {Congzheng Song and Xinyu Tang},
journal= {arXiv preprint arXiv:2510.03425},
year = {2025}
}