基于单级与多级量化的深度神经网络压缩
机器学习
2018-12-18 v2 人工智能
机器学习
摘要
网络量化是压缩深度神经网络以供实际使用的有效方案。现有网络量化方法不能充分利用深度信息来生成低比特压缩网络。本文中，我们提出两种新颖的网络量化方法：用于高比特量化的单级网络量化 (SLQ) 与用于极低比特量化（三值）的多级网络量化 (MLQ)。我们首次从宽度与深度两个层面考虑网络量化。在宽度层面，参数被分为两部分：一部分用于量化，另一部分用于再训练以消除量化损失。SLQ 利用参数分布来改善宽度层面。在深度层面，我们引入增量层补偿以迭代方式量化各层，从而降低每次迭代中的量化损失。所提方法基于包括 AlexNet、VGG-16、GoogleNet 和 ResNet-18 在内的先进神经网络通过大量实验得到验证。SLQ 与 MLQ 均取得令人印象深刻的结果。
引用
@article{arxiv.1803.03289,
title = {Deep Neural Network Compression with Single and Multiple Level Quantization},
author = {Yuhui Xu and Yongzhuang Wang and Aojun Zhou and Weiyao Lin and Hongkai Xiong},
journal= {arXiv preprint arXiv:1803.03289},
year = {2018}
}
备注
Published in AAAI18. Code is available at https://github.com/yuhuixu1993/SLQ