误差扩散：基于块缩放数值的后训练量化
机器学习
2024-10-16 v1
摘要
量化会降低模型的硬件成本，如数据传输、存储以及乘加运算。它还会通过降低输出质量来影响模型行为。因此，需要能够在量化模型参数时保持模型行为的方法。块缩放数格式等更复杂的数值编码显示出在固定比特预算下编码模型参数方面的优势。本文提出了误差扩散 (ED)，一种支持块缩放数据格式的后训练量化方法，无需超参数。我们的做法不依赖反向传播或 Hessian 信息。我们描述了如何将神经模型视为复合函数，并在每一层扩散量化误差。此外，我们引入了 TensorCast，一个基于 PyTorch 的开源库，用于模拟各种数格式，包括块缩放格式，以促进神经模型量化研究。我们通过在各种体系结构（包括视觉模型和大型语言模型 LLM）上的严格测试证明了该算法的有效性，其中始终能提供具竞争力的结果。我们的实验确认，块缩放数据格式为后训练量化提供了稳健的选择，可能有效地增强了先进神经网络的实际部署。
关键词
引用
@article{arxiv.2410.11203,
title = {Error Diffusion: Post Training Quantization with Block-Scaled Number Formats for Neural Networks},
author = {Alireza Khodamoradi and Kristof Denolf and Eric Dellinger},
journal= {arXiv preprint arXiv:2410.11203},
year = {2024}
}