终极张量化：卷积层与全连接层的一并压缩
机器学习
2016-11-11 v1
摘要
卷积神经网络在图像识别任务中表现出色，但这是以高计算和内存复杂度为代价的。为解决这个问题，[1] 开发了张量分解框架来压缩全连接层。本文中，我们专注于压缩卷积层。我们展示虽然将张量框架 [1] 直接应用于卷积的 4 维核确实压缩了该层，但我们可以做得更好。我们将卷积核重塑为更高阶的张量并分解它。我们将提出的方法与之前的工作结合，以压缩网络的卷积层和全连接层，并在 CIFAR-10 数据集上实现 80x 网络压缩率，精度下降 1.1%。
引用
@article{arxiv.1611.03214,
title = {Ultimate tensorization: compressing convolutional and FC layers alike},
author = {Timur Garipov and Dmitry Podoprikhin and Alexander Novikov and Dmitry Vetrov},
journal= {arXiv preprint arXiv:1611.03214},
year = {2016}
}
备注
NIPS 2016 workshop: Learning with Tensors: Why Now and How?