压缩卷积神经网络
机器学习
2015-06-16 v1 计算机视觉与模式识别
神经与进化计算
摘要
卷积神经网络（CNN）正越来越多地用于计算机视觉的许多领域。它们尤其吸引人，因为它们能够通过数百万参数“吸收”大量标注数据。然而，随着模型尺寸增大，分类器的存储和内存需求也随之增加。我们提出一种新颖的网络架构——频率敏感哈希网络（Frequency-Sensitive Hashed Nets，FreshNets），它利用深度学习模型的卷积层和全连接层中固有的冗余，大幅节省内存和存储消耗。基于所学卷积滤波器权重通常平滑且低频的关键观察，我们首先使用离散余弦变换（DCT）将滤波器权重转换到频域，并使用低成本哈希函数将频率参数随机分组到哈希桶中。分配给同一哈希桶的所有参数共享一个通过标准反向传播学习的单一值。为了进一步减小模型尺寸，我们为高频分量分配更少的哈希桶，而这些分量通常不太重要。我们在八个数据集上评估FreshNets，结果表明相较于若干相关基线，它带来了显著更优的压缩性能。
引用
@article{arxiv.1506.04449,
title = {Compressing Convolutional Neural Networks},
author = {Wenlin Chen and James T. Wilson and Stephen Tyree and Kilian Q. Weinberger and Yixin Chen},
journal= {arXiv preprint arXiv:1506.04449},
year = {2015}
}