挖掘低秩适配器中的全局协同效应
机器学习
2024-06-24 v1 计算与语言
摘要
低秩适配（LoRA）是大型语言模型的事实参数高效微调技术。我们提出 HeteroLoRA，一种轻量级搜索算法，利用零成本代理在模型中分配有限的 LoRA 可训练参数，以获得更好的微调性能。除了对标准 LoRA 适配模型的分配外，我们还通过在包含 LoRA 模块和 LoRA 适配快捷连接的更具挑战性的搜索空间中执行分配来展示 HeteroLoRA 的有效性。实验表明，HeteroLoRA 在相同参数预算下即可实现模型性能的提升。例如，在 MRPC 上，我们以类似的训练参数预算，准确率提升 1.6%。我们将在论文被接受后开源我们的算法。
引用
@article{arxiv.2406.14956,
title = {Unlocking the Global Synergies in Low-Rank Adapters},
author = {Zixi Zhang and Cheng Zhang and Xitong Gao and Robert D. Mullins and George A. Constantinides and Yiren Zhao},
journal= {arXiv preprint arXiv:2406.14956},
year = {2024}
}
备注
Accepted at ICML2024 ES-FoMo-II Workshop