使用矢量量化压缩深度卷积网络
计算机视觉与模式识别
2014-12-22 v1 机器学习
神经与进化计算
摘要
深度卷积神经网络（CNN）已成为目标识别最有前途的方法，近年来在图像分类和目标检测中反复展示出破纪录的结果。然而，非常深的CNN通常涉及许多层和数百万参数，使得网络模型的存储极其庞大。这禁止了深度CNN在资源受限硬件上的使用，尤其是手机或其他嵌入式设备。在本文中，我们通过研究信息论矢量量化方法来压缩CNN的参数，以解决模型存储问题。特别地，我们发现，在压缩最需要存储的密集连接层方面，矢量量化方法比现有的矩阵分解方法有明显的优势。简单地对权重应用k-means聚类或进行乘积量化可以在模型大小和识别精度之间取得非常好的平衡。对于ImageNet挑战中的1000类分类任务，我们能够实现网络16-24倍的压缩，而使用最先进的CNN仅损失1%的分类精度。
引用
@article{arxiv.1412.6115,
title = {Compressing Deep Convolutional Networks using Vector Quantization},
author = {Yunchao Gong and Liu Liu and Ming Yang and Lubomir Bourdev},
journal= {arXiv preprint arXiv:1412.6115},
year = {2014}
}