LoRA-Squeeze：简单有效的 LoRA 模块后调优与内调优压缩
计算与语言
2026-02-20 v2 人工智能
摘要
尽管 LoRA（低秩适配）在参数高效微调（PEFT）中拥有大量变体，但其仍是主导技术，然而面临着预选最优秩秩以及秩相关超参数、以及异构秩模块和更复杂 LoRA 衍生版本的部署复杂度等持续挑战。本文引入 LoRA-Squeeze，一种简单高效的方法，通过改变 LoRA 模块的秩秩来提升标准 LoRA 的学习效果，既可在事后压缩，也可在训练期间动态调整。我们的思路认为，先学习一个更具表达力的高秩解决方案，再进行压缩，而不是直接学习受限的低秩解决方案。该方法涉及使用刻意的高(更高)源秩进行微调，重建或高效近似完整权重更新矩阵，然后使用随机奇异值分解（RSVD）在较低目标秩下创建新的压缩 LoRA 模块。跨 13 个文本任务和 10 个视觉语言任务的大量实验表明，事后压缩常常会产生低秩适配器，这些适配器在目标秩上 outperform 直接在目标秩上训练的适配器，尤其是在允许少量目标秩微调步骤时效果更佳。此外，LoRA-Squeeze 的一种渐进式内调优秩退火变体在 LoRA 大小与性能之间始终实现最佳权衡。
引用
@article{arxiv.2602.10993,
title = {LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules},
author = {Ivan Vulić and Adam Grycner and Quentin de Laroussilhe and Jonas Pfeiffer},
journal= {arXiv preprint arXiv:2602.10993},
year = {2026}
}
备注
Preprint