通过使权重层次化来补偿量化误差
计算与语言
2024-06-25 v1 人工智能
摘要
新兴的大语言模型（LLM）凭借其惊人的性能和强大的推理能力，正在显现出区别于传统语言模型的特征。然而，这些 LLM 的计算资源和存储成本令人瞠目，量化因此成为热门话题。为解决量化导致的精度下降，后训练量化方法中有两条主流路径：一种是使用其他权重来补偿现有量化误差，另一种是将量化难题转移到模型的其他部分。将两者的优势结合起来，我们引入可学习奇异值增量（LSI）。LSI 使用奇异值分解提取奇异值并使其可学习，以帮助权重在激活条件下相互补偿。将 LSI 与现有技术结合，在各种量化设置下（包括权重-only、权重-激活以及极低位场景）均实现了最先进的性能。通过释放 LSI 的潜力，针对量化模型的高效微调不再是禁锢问题。
引用
@article{arxiv.2406.16299,
title = {Compensate Quantization Errors: Make Weights Hierarchical to Compensate Each Other},
author = {Yifei Gao and Jie Ou and Lei Wang and Yuting Xiao and Zhiyuan Xiang and Ruiting Dai and Jun Cheng},
journal= {arXiv preprint arXiv:2406.16299},
year = {2024}
}
备注
Efficient quantization method