ISQuant：将 SQuant 应用于实际部署
机器学习
2024-07-17 v1 计算机视觉与模式识别
摘要
深度神经网络的模型量化技术引起了广泛关注，已被证明在压缩模型大小、减少计算成本和加速推理方面具有高度实用性。许多研究者采用假量化来分析或训练量化过程。然而，假量化并非部署的最终形式，学术环境与实际部署之间存在差距。此外，额外的计算量（包括尺度和零点）使得部署变得具有挑战性。本研究首先分析了为何使用量化和去量化组合来训练模型，并得出结论，由于权重梯度消失以及假量化与真实量化之间的近似能力，假量化研究是合理的。其次，我们提出了 ISQuant 作为部署 8 位模型的解决方案。ISQuant 快速且易于使用，适用于大多数 8 位模型，所需参数更少，计算量也更小。ISQuant 还继承了 SQuant 的优势，例如无需训练数据且在量化的第一层非常快。最后，我们进行了一些实验并发现结果是可接受的。我们的代码已公开于 https://github.com/。
引用
@article{arxiv.2407.11037,
title = {ISQuant: apply squant to the real deployment},
author = {Dezan Zhao},
journal= {arXiv preprint arXiv:2407.11037},
year = {2024}
}