通过圆形卷积实现参数高效微调

低秩适应（LoRA）因利用低秩矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 表示权重变化（即 $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$）而在微调大型基础模型方面获得了流行。该方法通过依次乘以 $\mathbf{A}$ 和 $\mathbf{B}$ 与激活值相乘来减少可训练参数，并缓解与全尺寸 delta 矩阵相关的巨大内存消耗。尽管如此，内在的低秩特性可能限制其性能。尽管提出了几种变体来解决此问题，但它们通常会忽视LoRA所带来的关键计算和内存效率。在本文中，我们提出了圆形卷积适应（C$^3$A），该方法不仅实现了高秩适应并提升了性能，还在计算效率和内存利用方面表现出色。广泛的实验表明，C$^3$A 在各种微调任务中始终优于LoRA及其变体。