HAWQV3：二进整数神经网络量化
计算机视觉与模式识别
2021-06-24 v3
摘要
当前低精度量化算法常隐藏有从浮点值与量化整数值之间来回转换的成本。这一隐藏成本限制了量化神经网络所实现的延迟改善。为此，我们提出HAWQV3，一种新颖的混合精度纯整数量化框架。HAWQV3的贡献如下：(i) 纯整数推理，其中整个计算图仅通过整数乘法、加法和位移位执行，无任何浮点运算甚至整数除法；(ii) 一种新颖的硬件感知混合精度量化方法，其中位精度通过求解整数线性规划问题计算，以平衡模型扰动与其他约束（如内存占用和延迟）之间的权衡；(iii) 在TVM中针对4位均匀/混合精度量化的直接硬件部署与开源贡献，在T4 GPU上相对于ResNet50的均匀8位实现了均匀4位平均的加速；(iv) 在ResNet18/50和InceptionV3上针对各种有/无混合精度的模型压缩水平对所提方法进行了广泛评估。对于ResNet50，我们的INT8量化达到了的精度，比先前纯整数工作高，而我们的混合精度INT4/8量化能将INT8延迟降低且仍达到精度。我们的框架与TVM实现已开源。
引用
@article{arxiv.2011.10680,
title = {HAWQV3: Dyadic Neural Network Quantization},
author = {Zhewei Yao and Zhen Dong and Zhangcheng Zheng and Amir Gholami and Jiali Yu and Eric Tan and Leyuan Wang and Qijing Huang and Yida Wang and Michael W. Mahoney and Kurt Keutzer},
journal= {arXiv preprint arXiv:2011.10680},
year = {2021}
}