CLoQ：通过校准的LoRA初始化提升量化LLM的微调
机器学习
2025-08-15 v2 人工智能
摘要
使用低秩适应(LoRA)对大语言模型(LLM)进行微调已成为下游任务中高效的方法，尤其在计算资源有限的场景中。然而，将LoRA技术应用于量化LLM面临独特挑战，由于量化权重的表征精度降低。本文引入CLoQ(针对量化LLM的校准LoRA初始化)，一种旨�克服这些挑战的简单初始化策略。我们的做法聚焦于在初始化时最小化原始LLM及其量化版本(带LoRA组件)的层级差异。通过利用小型校准数据集，CLoQ对预训练LLM进行量化并确定每个层的最优LoRA组件，确保后续微调的坚实基础。本工作的关键贡献是一种新型理论结果，使这些最优LoRA组件的准确且闭式构建成为可能。我们在多种任务上验证了CLoQ的有效性，包括语言生成、算术推理和常识推理，证明其在面对量化LLM时，尤其在超低位宽下，始终优于现有LoRA微调方法。
引用
@article{arxiv.2501.18475,
title = {CLoQ: Enhancing Fine-Tuning of Quantized LLMs via Calibrated LoRA Initialization},
author = {Yanxia Deng and Aozhong Zhang and Selcuk Gurses and Naigang Wang and Zi Yang and Penghang Yin},
journal= {arXiv preprint arXiv:2501.18475},
year = {2025}
}