用于高效硬件加速的带可分离滤波器的二值化卷积神经网络
计算机视觉与模式识别
2017-07-18 v1
摘要
最先进的卷积神经网络在计算和内存方面成本极高，需要大规模并行 GPU 才能执行。此类网络给嵌入式和移动处理平台的计算能力和可用能源带来了巨大压力，限制了其在许多重要应用中的使用。在本文中，我们通过提出带可分离滤波器的二值化卷积神经网络（BCNNw/SF）推动了硬件高效 CNN 设计的边界，该方法对 BCNN 核应用奇异值分解（SVD）以进一步降低计算和存储复杂度。为了实现其部署，我们提供了 SVD 梯度的闭式解，以便在反向传播中计算相对于每个二值化权重的精确梯度。我们在 MNIST、CIFAR-10 和 SVHN 数据集上验证了 BCNNw/SF，并在 FPGA 硬件上实现了针对 CIFAR-10 的加速器。与仅使用 BCNN 相比，我们的 BCNNw/SF 加速器实现了 17% 的内存节省和 31.3% 的执行时间减少，同时仅牺牲了微小的精度。
引用
@article{arxiv.1707.04693,
title = {Binarized Convolutional Neural Networks with Separable Filters for Efficient Hardware Acceleration},
author = {Jeng-Hau Lin and Tianwei Xing and Ritchie Zhao and Zhiru Zhang and Mani Srivastava and Zhuowen Tu and Rajesh K. Gupta},
journal= {arXiv preprint arXiv:1707.04693},
year = {2017}
}
备注
9 pages, 6 figures, accepted for Embedded Vision Workshop (CVPRW)