BoRA：通过块多样性实现更具表达力的低秩适应

低秩适应（LoRA）是一种广泛应用于大型语言模型（LLMs）的参数高效微调（PEFT）方法。它将预训练权重矩阵 $W\in\mathbb{R}^{m\times n}$ 的更新近似为两个低秩矩阵 $BA$ 的乘积，其中 $A \in\mathbb{R}^{r\times n}$ 且 $B\in\mathbb{R}^{m\times r} (r\ll\min\{m,n\})$。增加维度 $r$ 可以提高LoRA权重（即 $BA$）的秩，这通常会改善微调性能，但也会显著增加可训练参数的数量。在本文中，我们提出了块分集低秩适应（BoRA），它通过少量额外参数来提高LoRA权重的秩。具体来说，BoRA将乘积 $BA$ 视为块矩阵乘法，其中 $A$ 和 $B$ 分别沿列和行划分为 $b$ 个块（即 $A=[A_1,\dots,A_b]$ 和 $B=[B_1,\dots,B_b]^\top$）。因此，乘积 $BA$ 变为块乘积 $B_iA_j$（对于 $i,j\in[b]$）的拼接。为了增强不同块乘积的多样性，BoRA为每个块乘法引入一个唯一的对角矩阵 $\Sigma_{i,j} \in \mathbb{R}^{r\times r}$，从而得到 $B_i \Sigma_{i,j} A_j$。通过利用这些逐块对角矩阵，BoRA将LoRA权重的秩提高了 $b$ 倍，而仅需要 $b^2r$ 个额外参数。在多个数据集和模型上的大量实验证明了BoRA的优越性，消融研究进一步验证了其可扩展性。