ABM-LoRA：用于低秩适应的激活边界匹配

我们提出一种称为Activation Boundary Matching for Low-Rank Adaptation（ABM-LoRA）的初始化策略，以显著加速低秩适配器的收敛。虽然LoRA在高参数效率方面表现出色，但其随机初始化将梯度更新限制在不匹配的切线空间中，导致显著信息损失，阻碍早期收敛。ABM-LoRA通过在下游训练前将适配器的激活边界与预训练模型的激活边界对齐，从而最大化全参数梯度向适配器子空间的投影。这种对齐显著减少初始化时的information loss，产生更低的起始损失，加速收敛。我们在 diverse architectures和tasks上展示ABM-LoRA的有效性：语言理解（T5-Base在GLUE上）、对话生成（LLaMA2-7B在WizardLM上）以及视觉识别（ViT-B/16在VTAB-1K上）。在VTAB-1K上，它实现了所有方法中最高的准确率，在需要几何理解的结构化推理任务上取得显著提升。