NTK机制下的LoRA训练不存在虚假局部极小值

低秩适应（LoRA）已成为大型语言模型（LLM）参数高效微调的标准方法，但我们对LoRA的理论理解仍然有限。本文在神经正切核（NTK）机制下对具有$N$个数据点的LoRA微调进行了理论分析，表明：（i）全微调（无LoRA）存在秩为$r\lesssim \sqrt{N}$的低秩解；（ii）使用秩$r\gtrsim \sqrt{N}$的LoRA可消除虚假局部极小值，使梯度下降能够找到低秩解；（iii）使用LoRA找到的低秩解具有良好的泛化性能。