VB-LoRA：基于向量库的极致参数高效微调
计算与语言
2024-10-30 v3
摘要
随着大型语言模型应用的增加以及对每用户或每任务模型定制需求的增长，参数高效微调（PEFT）方法（如低秩适应（LoRA）及其变体）产生了大量的存储和传输成本。为了进一步减少存储参数，我们引入了一种“分而享之”的范式，该范式通过一个向量库全局共享参数，打破了跨矩阵维度、模块和层的低秩分解障碍。作为该范式在LoRA上的实例化，我们提出的VB-LoRA通过一个可微分的top-k混合模块，从一个共享的向量库中组合LoRA的所有低秩矩阵。VB-LoRA在实现极致参数效率的同时，保持了与最先进PEFT方法相当或更优的性能。大量实验证明了VB-LoRA在自然语言理解、自然语言生成、指令微调和数学推理任务上的有效性。在微调Llama2-13B模型时，VB-LoRA仅使用LoRA存储参数的0.4%，却取得了更优的结果。我们的源代码可在https://github.com/leo-yangli/VB-LoRA获取。该方法已合并到Hugging Face PEFT包中。
引用
@article{arxiv.2405.15179,
title = {VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks},
author = {Yang Li and Shaobo Han and Shihao Ji},
journal= {arXiv preprint arXiv:2405.15179},
year = {2024}
}
备注
NeurIPS 2024