LoRA 的速度远快于想象
机器学习
2025-07-15 v1
摘要
低秩适应（Low-Rank Adaptation, LoRA）是微调大型语言模型（Large Language Models, LLMs）最广泛使用的方法之一。通过引入少量可训练的低秩权矩阵，LoRA显著减少了需要更新的参数数量，相较于完全微调在内存消耗和计算效率方面具有显著优势。然而，我们注意到LoRA在所有模型架构和训练设置下都不能持续提供速度提升。为了弄清这一不一致性的原因，我们对LoRA的性能进行了全面分析，并研究了限制其加速的底层因素。基于我们的发现，我们提出了几种更高效的LLM微调方法。我们经验性地评估了这些方法并与LoRA进行比较，结果显示我们的方法在可比或更优性能的同时，能够提供更一致的训练速度改进。我们的工作为寻求在资源受限条件下优化LLM微调的实践者提供了宝贵的见解和实用指南。
引用
@article{arxiv.2507.08832,
title = {A Hybrid Machine Learning Framework for Optimizing Crop Selection via Agronomic and Economic Forecasting},
author = {Niranjan Mallikarjun Sindhur and Pavithra C and Nivya Muchikel},
journal= {arXiv preprint arXiv:2507.08832},
year = {2025}
}