LoRA-Mini：适配矩阵分解与选择性训练
计算与语言
2024-11-26 v1 人工智能
机器学习
摘要
大型语言模型（LLM）的快速发展彻底改变了自然语言处理领域，推动了对高效、任务特定微调方法的需求。传统的 LLM 微调涉及更新大量参数，计算昂贵且占用大量内存。低秩适应（LoRA）作为一种有前景的解决方案，通过减少可训练参数的数量，实现了参数高效微调。然而，尽管 LoRA 减少了可训练参数的数量，LoRA 模块仍然在存储方面存在显著挑战。我们提出 LoRA-Mini，对 LoRA 进行优化适配，通过将低秩矩阵分为四个部分，仅使其中两个内部矩阵可训练。该方法在可训练参数数量上较标准 LoRA 最多可实现 20 倍的降低，同时保持与标准 LoRA 相当的性能水平，既解决了计算效率问题，也提升了存储效率。
引用
@article{arxiv.2411.15804,
title = {LoRA-Mini : Adaptation Matrices Decomposition and Selective Training},
author = {Ayush Singh and Rajdeep Aher and Shivank Garg},
journal= {arXiv preprint arXiv:2411.15804},
year = {2024}
}
备注
11 pages