秩1够吗？基于几何的初始化用于参数高效微调
机器学习
2026-02-03 v1 计算机视觉与模式识别
摘要
参数高效微调（PEFT）是适用于多模态大语言模型的标准方法，但在极低秩设置下——尤其是秩1 LoRA——常常不稳定。我们指出，这种不稳定性不仅源于容量有限：在秩1的情形下，优化对更新方向极其敏感。具体而言，预训练的视觉和文本特征形成错位的各向异性区域，产生支配性的“gap”方向，类似于平移分量，并在秩1约束下过度引导早期梯度。在分析预训练表示后，我们识别出一种主导早期梯度流的模态差轴，而随机的秩1初始化不太可能与其对齐，导致梯度弱小和训练崩溃。我们提出了Gap-Init，这一种几何感知的初始化方法，通过对小型校准集中估计的模态差向量进行对齐，同时保持初始LoRA更新为零。经过多个视觉语言任务和主干网络测试，Gap-Init均匀稳定了秩1训练，并能匹配或优于强大的秩8基准。我们的结果表明，在极端低秩极限下，初始对齐的作用可能与秩本身一样重要。
引用
@article{arxiv.2602.01522,
title = {When Is Rank-1 Enough? Geometry-Guided Initialization for Parameter-Efficient Fine-Tuning},
author = {Haoran Zhao and Soyeon Caren Han and Eduard Hovy},
journal= {arXiv preprint arXiv:2602.01522},
year = {2026}
}