空间域-Winograd 剪枝实现稀疏 Winograd 卷积
计算机视觉与模式识别
2019-01-09 v1 机器学习
神经与进化计算
摘要
深度卷积神经网络（CNN）已部署于各类应用中，但对计算量需求巨大。剪枝技术与 Winograd 卷积是降低 CNN 计算量的两种典型方法。然而，它们无法直接结合，因为 Winograd 变换会填满剪枝产生的稀疏性。Li 等（2017）提出了稀疏 Winograd 卷积，其中权重直接在 Winograd 域中剪枝，但该技术并不实用，因为 Winograd 域重训练需要低学习率，从而显著延长训练时间。此外，Liu 等（2018）将 ReLU 函数移入 Winograd 域，有助于增加权重稀疏性但需改变网络结构。为在不改变网络结构的情况下实现高 Winograd 域权重稀疏性，我们提出一种新的剪枝方法——空间域-Winograd 剪枝。第一步，以结构化方式在空间域剪枝权重，高效地将空间域稀疏性转移到 Winograd 域并避免 Winograd 域重训练。第二步，我们也直接在 Winograd 域进行剪枝与重训练，但提出使用重要性因子矩阵来调整权重重要度与权重梯度。该调整使得无需改变网络结构即可有效重训练已剪枝的 Winograd 域网络。在 CIFAR10、CIFAR-100 和 ImageNet 数据集的三个模型上，我们的方法可分别达到 63%、50% 和 74% 的 Winograd 域稀疏性。
引用
@article{arxiv.1901.02132,
title = {Spatial-Winograd Pruning Enabling Sparse Winograd Convolution},
author = {Jiecao Yu and Jongsoo Park and Maxim Naumov},
journal= {arXiv preprint arXiv:1901.02132},
year = {2019}
}