迈向对称低秩适配器

在本文中，我们引入了对称低秩适配器（Symmetric Low-Rank Adapters），这是 LoRA 的一种优化变体，具有更少的权重。该方法利用低秩对称权重矩阵来更高效地学习下游任务。传统的 LoRA 通过类似奇异值分解（SVD）的方法将微调权重与原始预训练权重累加，即模型权重通过 $BA$ 形式的更新进行微调（其中 $B \in \mathbb{R}^{n\times r}$，$A \in \mathbb{R}^{r\times n}$，$r$ 是合并后权重矩阵的秩）。相比之下，我们命名为 SymLoRA 的方法将微调权重表示为谱分解，即 $Q \, diag(\Lambda)\, Q^T$，其中 $Q \in \mathbb{R}^{n\times r}$ 且 $\Lambda \in \mathbb{R}^r$。SymLoRA 仅需约一半的微调权重。在此，我们表明该方法在下游有效性上的损失微乎其微。