Flexi-LoRA：具有输入自适应秩的高效微调
机器学习
2026-05-05 v1 计算与语言
摘要
低秩适应(LoRA)等参数高效微调方法已成为大语言模型部署的必备工具，但其静态参数分配对输入复杂度不同的任务不够优化。我们提出Flexi-LoRA，一种在训练和推理期间根据输入复杂度动态调整LoRA秩的框架。通过在问答、数学推理和语音任务上的实证分析，证明在训练和推理之间保持一致的动态对于有效适应尤其重要，特别是对于顺序推理任务。我们的发现表明，输入依赖的参数分配以更少的参数实现更高性能，通过最佳匹配问题复杂度来优化秩配置。此外，任务对秩动态的依赖性各不相同，数学推理任务的依赖性高于问答任务。成功的适应不仅体现在正确性上，也体现在推理质量和指令遵循上。Flexi-LoRA在使用更少参数的情况下持续超越静态LoRA，特别是在需要严格推理链的任务上，性能提升更为显著。我们的做法通过更简洁的实现实现了混合专家框架的关键优势，减少参数冗余同时提升模型能力。我们提供了针对多样化任务的全面实证研究，为未来在输入自适应和高效微调方法方面的工作奠定了基础。
引用
@article{arxiv.2605.01959,
title = {Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning for Speech and Reasoning Tasks},
author = {Zongqian Li and Yixuan Su and Han Zhou and Zihao Fu and Nigel Collier},
journal= {arXiv preprint arXiv:2605.01959},
year = {2026}
}