使用低秩滤波器训练 CNN 以实现高效图像分类
摘要
我们提出了一种利用卷积滤波器的低秩表示来创建计算高效的卷积神经网络（CNNs）的新方法。与用更高效的版本近似先前训练网络中的滤波器不同，我们从头学习一组小的基滤波器；在训练期间，网络学习将这些基滤波器组合成对于图像分类具有判别性的更复杂滤波器。为了训练此类网络，使用了一种新颖的权重初始化方案。这使得由不同形状滤波器组构成的卷积层中的连接权重能够有效初始化。我们通过将该方法应用于几个现有的 CNN 架构并使用 CIFAR、ILSVRC 和 MIT Places 数据集从头训练这些网络来验证我们的方法。我们的结果显示出与常规 CNN 相似或更高的准确率，但计算量却少得多。将我们的方法应用于使用全局最大池化（global max-pooling）的改进版 VGG-11 网络，我们实现了可比的验证准确率，同时计算量减少了 41%，且仅使用了原始 VGG-11 模型参数的 24%；我们方法的另一个变体在改进的 VGG-11 模型上准确率提高了 1 个百分点，给出了 89.7% 的 top-5 中心裁剪验证准确率，同时相对于原始 VGG-11 模型计算量减少了 16%。将我们的方法应用于 ILSVRC 的 GoogLeNet 架构，我们实现了可比的准确率，计算量减少了 26%，模型参数减少了 41%。将我们的方法应用于 CIFAR 的一个接近最先进的网络，我们实现了可比的准确率，计算量减少了 46%，参数减少了 55%。
引用
@article{arxiv.1511.06744,
title = {Training CNNs with Low-Rank Filters for Efficient Image Classification},
author = {Yani Ioannou and Duncan Robertson and Jamie Shotton and Roberto Cipolla and Antonio Criminisi},
journal= {arXiv preprint arXiv:1511.06744},
year = {2016}
}
备注
Published as a conference paper at ICLR 2016. v3: updated ICLR status. v2: Incorporated reviewer's feedback including: Amend Fig. 2 and 5 descriptions to explain that there are no ReLUs within the figures. Fix headings of Table 5 - Fix typo in the sentence at bottom of page 6. Add ref. to Predicting Parameters in Deep Learning. Fix Table 6, GMP-LR and GMP-LR-2x had incorrect numbers of filters