面向神经网络的基于类别的量化方法
机器学习
2022-11-29 v1
摘要
在深度神经网络(DNNs)中,存在海量的权重和乘加(MAC)运算。因此,在资源受限平台(例如手机)上应用 DNN 颇具挑战。量化是一种降低 DNN 规模与计算复杂度的方法。现有量化方法要么需要硬件开销以实现非均匀量化,要么聚焦于模型级和层级的均匀量化,其细粒度不如滤波器级量化。本文中,我们提出一种基于类别的量化方法,用于 individually 确定 DNN 中每个滤波器或神经元的最小量化比特数。在所提方法中,首先评估每个滤波器或神经元相对于数据集中类别数量的重要性分数。分数越大,该滤波器或神经元越重要,因而应分配更多量化比特。随后,采用搜索算法利用滤波器与神经元的不同重要性来确定各滤波器或神经元的量化比特数。实验结果表明,所提方法能以低比特宽度量化保持推理精度。在给定相同量化比特数的情况下,所提方法也能取得优于现有方法的推理精度。
引用
@article{arxiv.2211.14928,
title = {Class-based Quantization for Neural Networks},
author = {Wenhao Sun and Grace Li Zhang and Huaxi Gu and Bing Li and Ulf Schlichtmann},
journal= {arXiv preprint arXiv:2211.14928},
year = {2022}
}
备注
accepted by DATE2023 (Design, Automation and Test in Europe)