RMSMP：一种具有行混合方案与多精度的新型深度神经网络量化框架
机器学习
2021-11-02 v1
摘要
本工作提出了一种新颖的深度神经网络（DNN）量化框架，即 RMSMP，采用行混合方案与多精度（Row-wise Mixed-Scheme and Multi-Precision）方法。具体而言，这是首次在层内——即 DNN 权重矩阵的行之间——分配混合量化方案与多精度，以简化硬件推理中的操作，同时保持精度。此外，本文与先前工作有不同的发现：量化误差未必表现出层间敏感性，实际上只要每一层中一定比例的权重处于较高精度即可缓解。该发现使得硬件实现中层间均匀性得以保证推理加速，同时仍享有行级混合方案与多精度的灵活性以提升精度。方案与精度的候选者以高度硬件可知策略实际且有效地导出，以缩减问题搜索空间。利用离线确定的各层不同量化方案与精度比例，RMSMP 量化算法使用基于 Hessian 与方差的方法为每一行有效分配方案与精度。所提 RMSMP 在图像分类与自然语言处理（BERT）应用上测试，在相同等效精度下取得了优于现有最优方法的精度性能。RMSMP 在 FPGA 器件上实现，在 ImageNet 上对 ResNet-18 的端到端推理时间相较 4-bit 定点基线实现了 3.65 倍加速。
引用
@article{arxiv.2111.00153,
title = {RMSMP: A Novel Deep Neural Network Quantization Framework with Row-wise Mixed Schemes and Multiple Precisions},
author = {Sung-En Chang and Yanyu Li and Mengshu Sun and Weiwen Jiang and Sijia Liu and Yanzhi Wang and Xue Lin},
journal= {arXiv preprint arXiv:2111.00153},
year = {2021}
}
备注
Accepted by International Conference on Computer Vision 2021 (ICCV 2021)