面向深度神经网络的有弹性有效位量化与加速
计算机视觉与模式识别
2021-11-25 v2 信号处理
摘要
量化已被证明是提高深度神经网络（DNNs）推理效率的重要方法。然而，在将 DNN 权重或激活值从高精度的格式量化为其量化对应值时，仍难以在准确率和效率之间取得良好平衡。我们提出了一种称为有弹性有效位量化（ESB）的新方法，通过控制量化值的有效位数量，以更少的资源获得更好的推理精度。我们设计了一个统一的数学公式来约束具有灵活有效位数量的 ESB 量化值。我们还引入了分布差异对齐器（DDA）来定量对齐全精度权重或激活值与量化值之间的分布。因此，ESB 适用于 DNN 权重和激活的各种钟形分布，从而保持高推理精度。得益于量化值更少的有效位，ESB 能够降低乘法复杂度。我们将 ESB 实现为加速器，并在 FPGA 上定量评估其效率。大量实验结果表明，ESB 量化始终优于最先进的方法，并在 AlexNet、ResNet18 和 MobileNetV2 上分别实现了平均 4.78%、1.92% 和 3.56% 的准确率提升。此外，ESB 作为加速器可在 Xilinx ZCU102 FPGA 平台上以无 DSP 的 1k LUTs 实现 10.95 GOPS 峰值性能。与 CPU、GPU 以及 FPGA 上最先进的加速器相比，ESB 加速器可分别将能效提升高达 65 倍、11 倍和 26 倍。
引用
@article{arxiv.2109.03513,
title = {Elastic Significant Bit Quantization and Acceleration for Deep Neural Networks},
author = {Cheng Gong and Ye Lu and Kunpeng Xie and Zongming Jin and Tao Li and Yanzhi Wang},
journal= {arXiv preprint arXiv:2109.03513},
year = {2021}
}
备注
15 pages, 14 figures