用于快速低功耗移动应用的深度卷积神经网络压缩
计算机视觉与模式识别
2016-02-25 v2 机器学习
摘要
尽管最新的高端智能手机拥有强大的 CPU 和 GPU，但在移动设备上运行更深的卷积神经网络（CNNs）以执行 ImageNet 分类等复杂任务仍具挑战性。为了在移动设备上部署深度 CNNs，我们提出了一种简单有效的压缩整个 CNN 的方案，称之为一次性整体网络压缩（one-shot whole network compression）。所提方案包含三个步骤：(1) 基于变分贝叶斯矩阵分解的秩选择，(2) 对核张量进行 Tucker 分解，(3) 微调以恢复累积的精度损失，且每一步均可使用公开工具轻松实现。我们通过在智能手机上测试多种压缩后的 CNNs（AlexNet、VGGS、GoogLeNet 和 VGG-16）的性能证明了该方案的有效性。在精度微小损失代价下，模型大小、运行时间和能耗均显著降低。此外，我们探讨了重要的实现层面问题——1?1 卷积，它是 GoogLeNet 的 inception 模块以及我们所提方案压缩后的 CNNs 的关键操作。
引用
@article{arxiv.1511.06530,
title = {Compression of Deep Convolutional Neural Networks for Fast and Low Power Mobile Applications},
author = {Yong-Deok Kim and Eunhyeok Park and Sungjoo Yoo and Taelim Choi and Lu Yang and Dongjun Shin},
journal= {arXiv preprint arXiv:1511.06530},
year = {2016}
}