联合稀疏约束下深度卷积神经网络的压缩
计算机视觉与模式识别
2018-10-30 v2 机器学习
神经与进化计算
摘要
我们考虑深度卷积神经网络（CNNs）的优化，使其在保证良好性能的同时，若部署于利用空间域卷积的传统系统或专为Winograd卷积设计的低复杂度系统上，均具有更低的复杂度。此外，我们探索了这些网络的通用量化和压缩。具体而言，所提出的框架生成一个压缩模型，其卷积滤波器可在空间域或Winograd域中变得稀疏。因此，一个压缩模型可通用地部署于任何平台，无需在部署平台上重新训练，并且其卷积滤波器的稀疏性可用于在任一域中进一步降低复杂度。为获得更好的压缩比，该稀疏模型在空间域中进行压缩，其参数数量更少。根据我们的实验，对于ResNet-18、AlexNet和CT-SRCNN，我们分别获得了、和的压缩模型，而它们的计算成本也分别降低了、和。
引用
@article{arxiv.1805.08303,
title = {Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints},
author = {Yoojin Choi and Mostafa El-Khamy and Jungwon Lee},
journal= {arXiv preprint arXiv:1805.08303},
year = {2018}
}