利用微调 CP 分解加速卷积神经网络
计算机视觉与模式识别
2015-04-27 v3 机器学习
摘要
我们提出一种简单的两步方法，基于张量分解和判别式微调来加速大型卷积神经网络中的卷积层。给定一个层，我们使用非线性最小二乘法计算 4D 卷积核张量的低秩 CP 分解，将其表示为少量秩一张量的和。第二步，利用该分解将原始卷积层替换为四个具有小核的卷积层序列。替换后，使用标准反向传播过程在训练数据上对整个网络进行微调。我们在两个 CNN 上评估了该方法，结果表明其与先前方法相比具有竞争力，在较小的网络上以更低的精度下降代价获得了更高的 CPU 加速比。因此，对于 36 类字符分类 CNN，我们的方法使整个网络获得了 8.5 倍的 CPU 加速，精度仅轻微下降（从 91% 降至 90%，下降 1%）。对于标准的 ImageNet 架构 (AlexNet)，该方法将第二个卷积层加速了 4 倍，代价是整体 top-5 分类错误率增加 1%。
引用
@article{arxiv.1412.6553,
title = {Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition},
author = {Vadim Lebedev and Yaroslav Ganin and Maksim Rakhuba and Ivan Oseledets and Victor Lempitsky},
journal= {arXiv preprint arXiv:1412.6553},
year = {2015}
}