BoRA：双维权重分解低秩自适应
计算与语言
2024-12-10 v1
摘要
近年来，像低秩自适应（LoRA）这样的参数高效微调（PEFT）方法显著增强了大规模预训练模型的适应性。权重分解低秩自适应（DoRA）通过分离权重矩阵的幅度和方向分量来改进 LoRA，从而获得更优性能。然而，DoRA 的改进仅限于垂直维度，导致水平与垂直维度之间呈现不对称模式。本文引入了 BoRA，这是一种 LoRA 和 DoRA 的创新扩展，其特点是横跨水平和垂直维度具有对称性质。我们的方法通过同时调整列方向和行方向的幅度来对称地优化权重矩阵。大量实验表明 BoRA 超越了最先进的 PEFT 方法，包括 LoRA 和 DoRA，在各种基准测试中取得了更优结果。
引用
@article{arxiv.2412.06441,
title = {BoRA: Bi-dimensional Weight-Decomposed Low-Rank Adaptation},
author = {Qiushi Wang and Yuchen Fan and Junwei Bao and Hongfei Jiang and Yang Song},
journal= {arXiv preprint arXiv:2412.06441},
year = {2024}
}