子空间几何主导低秩适应中的灾难性遗忘

低秩适应（Low-Rank Adaptation, LoRA）已成为针对大预训练模型进行参数高效适配的主流方法，但其在持续学习情境下的行为仍鲜有了解。我们通过梯度子空间相互作用的视角，构建LoRA中灾难性遗忘的几何理论。我们的核心发现表明，遗忘由简单几何规律主导：$\mathcal{F} = \alpha(1 - \cos^2\theta_{\min}) + \beta$，其中$\theta_{\min}$为任务梯度子空间的最小主角。该表述揭示了近似秩不变性：在高子空间角度下，遗忘对适配器秩的影响趋于独立（在受控合成设置下变异系数≈0.8%；在真实基准上变异系数≈10-19%，表明此特性在不同 regime 下具有依赖性）。我们在合成任务（r=0.994相关性）、ViT-LoRA的Split-CIFAR100以及RoBERTa-LoRA的顺序GLUE上验证了理论。我们的分析调和了文献中看似矛盾的发现：我们展示秩仅在任务子空间相似（低角）时影响遗忘，而正交方法如O-LoRA在自然正交度已较高时提供的最小帮助。这些见解为参数高效微调的持续学习提供了原则性指导。