ANT：利用自适应数值数据类型实现低比特深度神经网络量化
机器学习
2022-08-31 v1
摘要
量化是一种降低日益庞大的DNN模型计算和内存开销的技术。现有的量化方案使用定点整数或浮点类型，其优势有限，因为两者都需要更多比特来保持原始模型的精度。另一方面，变长量化对正常值使用低比特量化，对少数异常值使用高精度。尽管这类工作带来了算法上的好处，但由于变长编码和解码，也引入了显著的硬件开销。本文提出一种称为ANT的定长自适应数值数据类型，以极小的硬件开销实现低比特量化。我们的数据类型ANT利用两个关键创新来挖掘DNN模型中的张量内和张量间自适应机会。首先，我们提出了一种特定的数据类型flint，它结合了float和int的优点，以适应张量内不同值的重要性。其次，我们提出了一个自适应框架，根据每个张量的分布特征为其选择最佳类型。我们为ANT设计了统一的处理单元架构，并展示了其与现有DNN加速器集成的简便性。我们的设计相比最先进的量化加速器实现了2.8倍加速和2.5倍能效提升。
引用
@article{arxiv.2208.14286,
title = {ANT: Exploiting Adaptive Numerical Data Type for Low-bit Deep Neural Network Quantization},
author = {Cong Guo and Chen Zhang and Jingwen Leng and Zihan Liu and Fan Yang and Yunxin Liu and Minyi Guo and Yuhao Zhu},
journal= {arXiv preprint arXiv:2208.14286},
year = {2022}
}
备注
20 pages, accepted by MICRO 2022