高效的稀疏 Winograd 卷积神经网络
计算机视觉与模式识别
2018-02-20 v1 机器学习
神经与进化计算
摘要
卷积神经网络（CNNs）计算密集，这限制了它们在移动设备上的应用。其能耗主要由执行卷积所需的乘法次数决定。Winograd 极小滤波算法（Lavin, 2015）和网络剪枝（Han et al., 2015）能够减少操作次数，但这两种方法无法直接结合——应用 Winograd 变换会填满权重和激活值中的稀疏性。我们提出对基于 Winograd 的 CNN 的两处修改，以使这些方法能够利用稀疏性。首先，我们将 ReLU 操作移入 Winograd 域，以增加变换后激活值的稀疏性。其次，我们在 Winograd 域中对权重进行剪枝，以利用静态权重稀疏性。对于 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的模型，我们的方法将乘法次数分别减少了 、 和 ，精度损失小于 ，优于先前基线 -。我们还表明，将 ReLU 移至 Winograd 域可实现更激进的剪枝。
引用
@article{arxiv.1802.06367,
title = {Efficient Sparse-Winograd Convolutional Neural Networks},
author = {Xingyu Liu and Jeff Pool and Song Han and William J. Dally},
journal= {arXiv preprint arXiv:1802.06367},
year = {2018}
}
备注
Published as a conference paper at ICLR 2018