CE-LoRA：面向语言模型的计算高效低秩适应微调
机器学习
2025-02-04 v1
摘要
大型语言模型（LLMs）在各种任务中展现出卓越的性能，但即使仅进行微调计算也需要大量的计算资源。尽管低秩适应（LoRA）显著减轻了微调期间的内存消耗，但其对降低计算成本的影响有限。本文指出激活梯度的计算是LoRA反向传播中的主要瓶颈，并引入了计算高效低秩适应（CE-LoRA）算法，该算法在保持内存效率的同时提高了计算效率。CE-LoRA利用了两项关键技术：近似矩阵乘法，用仅涉及关键行和列的稀疏乘法替代大型完整矩阵的稠密乘法；以及双LoRA技术，用于减少激活梯度中的误差传播。理论上，CE-LoRA以与LoRA相同的速率收敛，即 ，其中 为迭代次数。实证评估证实，与LoRA相比，CE-LoRA显著降低了计算成本，且没有明显的性能下降。
引用
@article{arxiv.2502.01378,
title = {CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models},
author = {Guanduo Chen and Yutong He and Yipeng Hu and Kun Yuan and Binhang Yuan},
journal= {arXiv preprint arXiv:2502.01378},
year = {2025}
}