用于深度神经网络压缩的可微细粒度量化
计算机视觉与模式识别
2018-11-14 v3 人工智能
摘要
神经网络在认知任务中展现出优异性能。在资源受限的移动设备上部署网络模型时，权重量化已被广泛采用。二值量化获得最高压缩率但通常导致较大精度下降。实践中，常使用 8 位或 16 位量化以维持与原始 32 位精度相同的准确率。我们观察到不同层对量化的精度敏感度不同。因此，与传统量化方法相比，为不同层/结构审慎选择不同精度，可通过在准确率与压缩率间取得更好平衡，潜在地产生更高效模型。本工作中，我们提出一种深度神经网络压缩的细粒度量化方法，将量化位宽的搜索空间从离散域松弛至连续域。所提方法应用基于梯度下降的优化生成混合精度量化方案，在相同压缩率下优于传统量化方法的精度。
引用
@article{arxiv.1810.10351,
title = {Differentiable Fine-grained Quantization for Deep Neural Network Compression},
author = {Hsin-Pai Cheng and Yuanjun Huang and Xuyang Guo and Yifei Huang and Feng Yan and Hai Li and Yiran Chen},
journal= {arXiv preprint arXiv:1810.10351},
year = {2018}
}
备注
Hsin-Pai Cheng, Yuanjun Huang and Xuyang Guo contributed equally and are co-first authors for this paper. This work has been accepted by NIPS 2018 Workshop on Compact Deep Neural Network Representation with Industrial Applications, Montreal, Canada