L1RA：LoRA 微调中的动态秩分配
计算与语言
2025-09-08 v1 性能
摘要
大型语言模型 (LLMs) 解决复杂任务的能力使其在基于 AI 的应用开发中变得至关重要。然而，在下游任务上微调这些 LLMs 所需的高计算量带来了显著挑战，尤其是在资源有限的情况下。为应对这一挑战，我们引入了 L1RA，这是一种旨在使用 LoRA 进行微调期间动态分配低秩适配器秩的新技术。给定一个秩预算（即适配器秩的总和），L1RA 利用 L1 正则化来剪枝冗余的秩，并将其重新分配到各个适配器，从而优化资源利用。通过一系列全面的实验，我们实证证明，与其他 LoRA 变体（包括原始方法）相比，L1RA 保持了可比甚至更低的计算开销，同时实现了相同或更好的性能。此外，对秩分配的训练后分析揭示了关于哪些特定模型组件需要最多适配以对齐任务目标的见解：前馈层和注意力输出投影。这些结果突显了 L1RA 在不仅提高 LLM 微调效率，而且为模型优化和定制提供有价值的诊断信息方面的功效。总之，L1RA 是一种有前景的技术，可提升 LLM 适配的性能和可解释性，尤其是在计算资源受限的场景中。
引用
@article{arxiv.2509.04884,
title = {L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning},
author = {Raul Singh and Nicolo Brunello and Vincenzo Scotti and Mark James Carman},
journal= {arXiv preprint arXiv:2509.04884},
year = {2025}
}
备注
Work published at ICNLSP 2025, waiting for publication link