无GPU的LoRA精调：面向大语言模型的CPU高效元生成框架
机器学习
2025-07-03 v1 人工智能
计算与语言
机器学习
摘要
低秩适配器（LoRA）通过实现参数高效更新，已彻底改变大型语言模型（LLM）的精调方式。然而，其广泛采用受限于基于GPU的训练，在资源受限的用户（尤其是仅能使用普通笔记本CPU的用户）中仍显有限。本文提出一种针对这些用户的、基于理论的LoRA精调方法。该方法学习一个元算子，将以概率分布形式表示的输入数据集映射到一组LoRA权重，借助大规模预训练适配器库（针对Mistral-7B-Instruct-v0.2模型）。本文方法无需进行新的梯度更新，而是在CPU上通过现有LoRA的轻量级组合直接构建适配器。虽然所得适配器性能不及GPU训练的对手，但在下游任务上始终优于基础Mistral模型，为传统GPU精调提供了一种实用且可及的替代方案。
引用
@article{arxiv.2507.01806,
title = {LoRA Fine-Tuning Without GPUs: A CPU-Efficient Meta-Generation Framework for LLMs},
author = {Reza Arabpour and Haitz Sáez de Ocáriz Borde and Anastasis Kratsios},
journal= {arXiv preprint arXiv:2507.01806},
year = {2025}
}
备注
5-page main paper (excluding references) + 11-page appendix, 3 tables, 1 figure. Accepted to ICML 2025 Workshop on Efficient Systems for Foundation Models