OLoRA：大型语言模型的正交低秩适配
计算与语言
2024-11-26 v2
摘要
大型语言模型（LLM）的出现彻底改变了自然语言处理，在理解和生成类人文本方面实现了前所未有的能力。然而，与微调这些模型相关的计算成本和收敛时间仍然是重大挑战。低秩适配（LoRA）作为一种有前途的方法出现，通过引入具有较少可训练参数的高效微调技术来缓解这些问题。在本文中，我们提出了 OLoRA，这是对 LoRA 方法的一种增强，它利用 QR 分解进行正交矩阵初始化。OLoRA 显著加速了 LLM 训练的收敛，同时保留了 LoRA 的效率优势，如可训练参数数量和 GPU 内存占用。我们的实证评估表明，与标准 LoRA 相比，OLoRA 不仅收敛更快，而且在各种语言建模任务中表现出更好的性能。这一进展为更高效、更易获取的 LLM 微调开辟了新途径，有可能促进自然语言应用中的更广泛采用和创新。
引用
@article{arxiv.2406.01775,
title = {OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models},
author = {Kerim Büyükakyüz},
journal= {arXiv preprint arXiv:2406.01775},
year = {2024}
}
备注
10 pages, 5 figures