通过偏差补偿最小化量化输出误差
计算机视觉与模式识别
2024-06-26 v1
摘要
量化是一种很有前景的方法，可以减少深度神经网络的内存使用和计算强度，但通常会导致显著的输出误差，阻碍模型部署。在本文中，我们提出了偏差补偿来最小化输出误差，从而无需模型微调即可实现超低精度量化。与大多数先前方法优化非凸量化过程不同，提出的 BC 绕过了这一步骤，通过寻找用于补偿的偏差向量来直接最小化量化输出误差。我们已经证明，通过 BC 最小化输出误差是一个凸问题，并提供了一种高效策略来获取与最小输出误差相关的最优解，而无需训练或微调。我们在视觉 Transformer 模型和大型语言模型上进行了大量实验，结果表明我们的方法显著减少了量化输出误差，从而允许超低精度的训练后量化并提升了模型的任务性能。特别是，BC 在 ImageNet-1k 任务上将使用 4-bit PTQ4ViT 的 ViT-B 的准确率提高了 36.89%，并在 WikiText2 上将使用 3-bit GPTQ 的 OPT-350M 的困惑度降低了 5.97。代码位于 https://github.com/GongCheng1919/bias-compensation。
关键词
引用
@article{arxiv.2404.01892,
title = {Minimize Quantization Output Error with Bias Compensation},
author = {Cheng Gong and Haoshuai Zheng and Mengting Hu and Zheng Lin and Deng-Ping Fan and Yuzhi Zhang and Tao Li},
journal= {arXiv preprint arXiv:2404.01892},
year = {2024}
}
备注
10 pages, 6 figures