RoLoRA：旋转型无异常值LLM低精度权重-激活量化
计算与语言
2024-09-30 v2 人工智能
机器学习
摘要
低秩适应(LoRA)作为代表性参数高效微调方法，显著提高了训练效率，通过仅更新大语言模型(LLM)中小部分权重。最近，仅对权重进行量化技术也被应用于LoRA方法，以减少微调的内存占用。然而，在LoRA流程中应用权重-激活量化仍属未充分探索的领域，我们观察到主要由于存在激活异常值导致显著性能下降。本文提出RoLoRA，首个针对有效权重-激活量化的LoRA方案。RoLoRA利用旋转进行异常值消除，并提出旋转感知微调以保持旋转后LLM中的无异常值特性。实验结果显示，RoLoRA在低比特LoRA收敛和训练后量化鲁棒性方面持续提升。我们在LLaMA2-7B/13B、LLaMA3-8B模型上进行评估，在常识推理任务上实现了对4位权重-激活量化LLaMA2-13B最高可达29.5%的绝对准确率提升。我们进一步在大型多模态模型(LLaVA-1.5-7B)上证明了其有效性。代码已公开于https://github.com/HuangOwen/RoLoRA。
引用
@article{arxiv.2407.08044,
title = {RoLoRA: Fine-tuning Rotated Outlier-free LLMs for Effective Weight-Activation Quantization},
author = {Xijie Huang and Zechun Liu and Shih-Yang Liu and Kwang-Ting Cheng},
journal= {arXiv preprint arXiv:2407.08044},
year = {2024}
}
备注
EMNLP 2024 Findings, Codes: https://github.com/HuangOwen/RoLoRA, Models: https://huggingface.co/collections/ScarletAce/rolora-66f5f228a90681c7c4512b28