MoR：面向低秩适应调优的秩混合
机器学习
2024-10-21 v2 人工智能
计算与语言
摘要
低秩适应（LoRA）驱动着研究以将其性能与完全微调相匹配。然而，仍存在显著挑战：（1）仅增加LoRA的秩大小并不有效地捕获高秩信息，这导致性能瓶颈。（2）基于MoE风格的LoRA方法显著增加参数并增加推理延迟，与高效微调和易于应用的目标相矛盾。为解决这些挑战，我们引入了秩混合（Mixture of Ranks, MoR），其基于输入高效地学习不同任务的秩特定信息，并高效地整合多秩信息。我们首先提出了一个新的框架，将多个LoRAs的集成等同于LoRA秩的扩张。此外，我们假设低秩LoRA已经捕获足够的内在信息，MoR可以通过对低秩组件的数学变换来派生高秩信息。因此，MoR可以降低LoRA的学习难度并增强其多任务能力。MoR取得了令人印象深刻的结果，MoR在仅使用93.93%参数的情况下，相对于基线方法实现了1.31%的性能提升。
引用
@article{arxiv.2410.13408,
title = {MoR: Mixture of Ranks for Low-Rank Adaptation Tuning},
author = {Chuanyu Tang and Yilong Chen and Zhenyu Zhang and Junyuan Shang and Wenyuan Zhang and Yong Huang and Tingwen Liu},
journal= {arXiv preprint arXiv:2410.13408},
year = {2024}
}
备注
11 pages, 7 figures