超越零初始化：探究非零初始化对 LoRA 微调动态的影响
机器学习
2025-08-19 v2
摘要
低秩适配（LoRA）是一种广泛使用的参数高效微调方法。在标准 LoRA 层中，矩阵 或 之一被初始化为零，以确保微调从预训练模型开始。然而，这一做法并无理论支持。在本文中，我们从无限宽度的视角研究了非零初始化对 LoRA 微调动态的影响。我们的分析表明，与零初始化相比，将 和 同时初始化为非零值提升了 LoRA 对次优学习率（尤其是较小的学习率）的鲁棒性。进一步分析表明，尽管 的非零初始化在预训练权重中引入了随机噪声，但通常不会影响微调性能。换言之，微调不需要严格从预训练模型开始。通过在多种模型和数据集上的大量实验，证实了我们发现的有效性。代码可在 https://github.com/Leopold1423/non_zero_lora-icml25 获取。
引用
@article{arxiv.2505.23194,
title = {Beyond Zero Initialization: Investigating the Impact of Non-Zero Initialization on LoRA Fine-Tuning Dynamics},
author = {Shiwei Li and Xiandi Luo and Xing Tang and Haozhao Wang and Hao Chen and Weihong Luo and Yuhua Li and Xiuqiang He and Ruixuan Li},
journal= {arXiv preprint arXiv:2505.23194},
year = {2025}
}
备注
Accepted by ICML 2025