通过激活图压缩加速卷积神经网络
计算机视觉与模式识别
2019-03-28 v2 人工智能
机器学习
摘要
深度学习革命为我们带来了广泛的神经网络架构,在分类、检测与分割等众多计算机视觉任务中取得了最先进的性能。与此同时,我们也观察到对计算与内存需求的空前增长,使得在低功耗设备上高效使用神经网络几乎无法实现。为此,我们提出一种三阶段压缩与加速流程,对卷积神经网络的激活图进行稀疏化、量化与熵编码。稀疏化提升了激活图的表征能力,从而实现推理加速与更高的模型精度。在 ImageNet 与 CIFAR-10 数据集上,Inception-V3 与 MobileNet-V1 可加速至多 ,精度分别提升 与 。对更稀疏的激活图进行量化与熵编码可在基线之上获得更高压缩率,降低网络执行的内存开销。量化为 位的 Inception-V3 与 MobileNet-V1 激活图可压缩至多 ,精度分别提升 与 。
引用
@article{arxiv.1812.04056,
title = {Accelerating Convolutional Neural Networks via Activation Map Compression},
author = {Georgios Georgiadis},
journal= {arXiv preprint arXiv:1812.04056},
year = {2019}
}