ConsNoTrainLoRA：基于约束的数据驱动低秩适配器权重初始化
计算机视觉与模式识别
2025-07-14 v1 人工智能
摘要
基础模型在大规模数据集上进行预训练后，使用参数高效微调（PEFT）技术如低秩适配器（LoRA）在小规模数据集上进行微调。在大多数以前的工作中，LoRA 权重矩阵使用固定秩随机初始化。本文提出了 ConsNoTrainLoRA（CNTLoRA），通过数据驱动的权重初始化方法提高 LoRA 微调的收敛速度和最终性能。我们将 LoRA 初始化建模为域迁移问题，其中使用多个约束关联预训练和微调激活。在重新构建这些约束后，我们获得的 LoRA 权重闭式估计取决于预训练权重和微调激活向量，从而无需进行初始化训练。该权重估计被分解以初始化上和下矩阵，采用可变秩的灵活性。通过该初始化方法，我们在图像生成、图像分类和图像理解等下游任务上进行微调。定量和定性结果表明，CNTLoRA 在标准和数据驱动的权重初始化方法方面表现更佳。广泛的分析和消融实验进一步阐明了本框架的设计选择，为更快的收敛和 improved 性能提供了最佳配方。
引用
@article{arxiv.2507.08044,
title = {ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints},
author = {Debasmit Das and Hyoungwoo Park and Munawar Hayat and Seokeon Choi and Sungrack Yun and Fatih Porikli},
journal= {arXiv preprint arXiv:2507.08044},
year = {2025}
}
备注
ICCV 2025