利用整流单元稀疏性加速卷积神经网络
计算机视觉与模式识别
2017-05-16 v2
摘要
整流神经元单元（ReLUs）已广泛应用于深度卷积网络中。ReLU 将负值转换为零，且不改变正值，从而导致神经元具有高稀疏性。在本文中，我们首先考察了一些流行的深度卷积架构中 ReLU 输出的稀疏性。随后，我们利用 ReLU 的稀疏特性，通过跳过零值神经元的计算来加速卷积运算。所提出的稀疏卷积算法在稀疏度不低于 0.9 时，相较于传统的卷积矩阵 - 矩阵乘法算法，在 CPU 上实现了一定的加速提升。
引用
@article{arxiv.1704.07724,
title = {Speeding up Convolutional Neural Networks By Exploiting the Sparsity of Rectifier Units},
author = {Shaohuai Shi and Xiaowen Chu},
journal= {arXiv preprint arXiv:1704.07724},
year = {2017}
}
备注
7 pages