一种面向低比特神经网络的定向加速与压缩框架
计算机视觉与模式识别
2019-07-12 v1
摘要
1 比特深度神经网络（DNN），即激活值与权重均被二值化的网络，因其高计算效率与低内存需求正受到越来越多的关注。然而，精度大幅下降的缺陷也限制了其应用。本文提出一种新颖的定向加速与压缩（TAC）框架以提升 1 比特深度神经网络的性能。我们认为，将全连接层二值化所带来的加速与压缩效果不足以弥补其引起的精度损失。在所提框架中，卷积层与全连接层被分离并分别优化。对于卷积层，激活值与权重均被二值化。对于全连接层，二值化操作被网络剪枝与低比特量化所替代。该框架在 CIFAR-10、CIFAR-100 与 ImageNet（ILSVRC-12）数据集上实现，实验结果表明所提 TAC 能显著提升 1 比特深度神经网络的精度，并以超过 6 个百分点的优势优于当前最优（SOTA）。
引用
@article{arxiv.1907.05271,
title = {A Targeted Acceleration and Compression Framework for Low bit Neural Networks},
author = {Biao Qian and Yang Wang},
journal= {arXiv preprint arXiv:1907.05271},
year = {2019}
}
备注
10 pages