MatryoshkaLoRA：用于大语言模型精细调优的准确层次低秩表示学习
计算与语言
2026-05-11 v1 人工智能
机器学习
摘要
随着深度学习模型参数规模的不断增大，微调的计算成本仍然是部署的主要障碍。虽然低秩适应（LoRA）已成为参数高效微调的标准，但需要设置预定义的静态秩r，这需要进行大量网格搜索来平衡效率和性能。现有的秩自适应解决方案如DyLoRA通过从预定义分布中采样秩来缓解这一问题。然而，这些方法常常在较高秩下因缺乏跨越所有秩层次的一致梯度信号而导致亚最优结果，从而数据低效。在本文中，我们提出了MatryoshkaLoRA，这是一种通用的、受Matryoshka启发的LoRA训练框架，通过在现有LoRA适配器之间插入一个固定的、精心设计的对角矩阵P来缩放其子秩，从而学习准确的层次低秩表示。通过引入这一简单修改，我们的通用框架仅通过更改P即可恢复LoRA和DyLoRA，并确保所有子秩高效地嵌入可用梯度信息。我们的MatryoshkaLoRA支持动态秩选择，几乎不降低准确率。我们进一步提出了秩准确率曲线下面积（AURAC），用于一致地评估层次低秩适配器的性能。我们的结果表明，MatryoshkaLoRA比先前的秩自适应方法学习出更准确的层次低秩表示，并在评估数据集上实现了秩上的优异准确率-性能权衡。我们的代码可在https://github.com/IST-DASLab/MatryoshkaLoRA上获取。
引用
@article{arxiv.2605.07850,
title = {MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning},
author = {Ionut-Vlad Modoranu and Mher Safaryan and Dan Alistarh},
journal= {arXiv preprint arXiv:2605.07850},
year = {2026}
}