中文

宽压缩:张量环网络

机器学习 2018-02-27 v1 计算机视觉与模式识别 机器学习

摘要

深度神经网络已在多种现实应用中展现出最先进的性能。为获取性能增益,这些网络变得更大更深,包含数百万甚至数十亿参数及逾千层。其代价是这些大型架构需要巨大的内存、存储和计算量,从而限制了可用性。受近期张量环分解的启发,我们提出张量环网络(Tensor Ring Networks, TR-Nets),其显著压缩深度神经网络的 fully connected 层与卷积层。结果表明,我们的TR-Nets方法可在不损失精度的情况下将LeNet-5压缩11×11\times,并仅以{Cifar10图像分类}中2.3%的精度下降将最先进的Wide ResNet压缩243×243\times。总体而言,该压缩方案在科学计算与深度学习中,尤其对智能手机、可穿戴设备和IoT设备等新兴资源受限设备具有前景。

关键词

引用

@article{arxiv.1802.09052,
  title  = {Wide Compression: Tensor Ring Nets},
  author = {Wenqi Wang and Yifan Sun and Brian Eriksson and Wenlin Wang and Vaneet Aggarwal},
  journal= {arXiv preprint arXiv:1802.09052},
  year   = {2018}
}

备注

Accepted to CVPR 2018