Transformer模型低秩适应（LoRA）微调的计算极限

我们利用细粒度复杂性理论研究了基于Transformer模型的低秩适应（LoRA）微调的计算极限。我们的关键观察是，LoRA适应的梯度计算中存在低秩分解，这可能导致算法加速。这使我们能够（i）在假设强指数时间假设（SETH）下，识别出效率的相位转变，（ii）通过控制LoRA更新计算的各个术语，证明几乎线性算法的存在。对于前者，我们基于输入序列$X$、预训练权重${W^\star}$和适配器矩阵$\alpha B A/r$的乘法，识别出所有可能的秩-$r$ LoRA更新算法的效率之间的尖锐转变。具体而言，我们推导出此类范数的一个共享上限阈值，并显示在此阈值以下仅能存在有效（亚二次）近似算法。对于后者，我们通过利用LoRA梯度的层次低秩结构，并用一系列串联的低秩近似来近似梯度，证明了LoRA适应几乎线性近似算法的存在。为展示我们的理论，我们考虑两种实际场景：部分适应（例如仅$W_V$和$W_Q$）和完全适应（例如$W_Q$、$W_V$和$W_K$）。