通过原生剪枝实现稀疏Winograd卷积
计算机视觉与模式识别
2017-10-17 v2
摘要
稀疏方法和Winograd卷积的使用是两种正交的方法，每种方法都能显著加速现代CNN中的卷积计算。稀疏Winograd将这两者合并，因此有潜力提供组合的性能收益。然而，训练卷积层以使得到的Winograd核稀疏迄今并不十分成功。通过引入Winograd层代替标准卷积层，我们可以“原生地”学习和剪枝Winograd系数，并在ImageNet数据集上用AlexNet获得超过90%的稀疏度，而准确率损失仅为0.1%。此外，我们提出了一种稀疏Winograd卷积算法及其实现，该实现利用稀疏性，在最新的Intel Xeon CPU上以32位精度实现了高达31.7有效TFLOP/s，这相当于比最先进的稠密卷积实现加速5.4倍。
引用
@article{arxiv.1702.08597,
title = {Enabling Sparse Winograd Convolution by Native Pruning},
author = {Sheng Li and Jongsoo Park and Ping Tak Peter Tang},
journal= {arXiv preprint arXiv:1702.08597},
year = {2017}
}
备注
10 pages, 2 figures