宽压缩:张量环网络
机器学习
2018-02-27 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络已在多种现实应用中展现出最先进的性能。为获取性能增益,这些网络变得更大更深,包含数百万甚至数十亿参数及逾千层。其代价是这些大型架构需要巨大的内存、存储和计算量,从而限制了可用性。受近期张量环分解的启发,我们提出张量环网络(Tensor Ring Networks, TR-Nets),其显著压缩深度神经网络的 fully connected 层与卷积层。结果表明,我们的TR-Nets方法可在不损失精度的情况下将LeNet-5压缩,并仅以{Cifar10图像分类}中2.3%的精度下降将最先进的Wide ResNet压缩。总体而言,该压缩方案在科学计算与深度学习中,尤其对智能手机、可穿戴设备和IoT设备等新兴资源受限设备具有前景。
引用
@article{arxiv.1802.09052,
title = {Wide Compression: Tensor Ring Nets},
author = {Wenqi Wang and Yifan Sun and Brian Eriksson and Wenlin Wang and Vaneet Aggarwal},
journal= {arXiv preprint arXiv:1802.09052},
year = {2018}
}
备注
Accepted to CVPR 2018