FlexLoRA：基于熵的灵活低秩适配
机器学习
2026-02-02 v1
摘要
大型预训练模型在跨领域中取得了显著成功，但完全微调往往造成计算和内存成本的高企。参数高效微调（PEFT）因此成为主流范式。在其中，低秩适配（LoRA）引入可训练的低秩矩阵并显示出强大的性能，但其固定秩设计限制了灵活性。动态秩分配方法缓解了此问题，通过剪枝冗余方向来实现，但它们常依赖于基于元素级别的启发式指标，对秩方向进行全局排序，且缺乏针对需要额外适配的层的容量扩张机制。为克服这些限制，我们提出FlexLoRA，一个熵导引的灵活低秩适配框架，该框架（i）通过谱能熵评估矩阵重要性，（ii）在全局预算下支持秩的剪枝与扩张，（iii）采用零冲击初始化 for newly added singular directions 以确保稳定性。通过解决灵igrity、灵活性和稳定性限制，FlexLoRA为 PEFT 提供了更为原则的解决方案。大量实验表明，FlexLoRA 在各类基准测试中 consistently 优于最先进的基线方法。代码可在 https://github.com/Chongjie-Si/Subspace-Tuning 查阅。
引用
@article{arxiv.2601.22905,
title = {FlexLoRA: Entropy-Guided Flexible Low-Rank Adaptation},
author = {Muqing Liu and Chongjie Si and Yuheng Jia},
journal= {arXiv preprint arXiv:2601.22905},
year = {2026}
}
备注
2026 ICLR. Codes in https://github.com/Chongjie-Si/Subspace-Tuning