面向深度神经网络的后训练分段线性量化
计算机视觉与模式识别
2020-03-20 v2 机器学习
摘要
量化在资源受限设备上高效部署深度神经网络时起着重要作用。后训练量化非常可取，因为它不需要重新训练或访问完整训练数据集。成熟的后训练量化均匀方案通过将神经网络从全精度转换为8位定点整数取得了令人满意的结果。然而，当量化到更低比特宽度时，它会出现显著的性能下降。在本文中，我们提出一种分段线性量化（PWLQ）方案，以对具有长尾钟形分布的张量值进行精确近似。我们的方法将每个张量的整个量化范围划分为不重叠的区域，每个区域分配相等数量的量化级别。通过最小化量化误差找到划分整个范围的最优断点。与最先进（state-of-the-art）的后训练量化方法相比，实验结果表明，我们提出的方法在图像分类、语义分割和物体检测上以微小开销实现了更优性能。
引用
@article{arxiv.2002.00104,
title = {Post-Training Piecewise Linear Quantization for Deep Neural Networks},
author = {Jun Fang and Ali Shafiee and Hamzah Abdel-Aziz and David Thorsley and Georgios Georgiadis and Joseph Hassoun},
journal= {arXiv preprint arXiv:2002.00104},
year = {2020}
}