面向基于随机计算的深度卷积神经网络的硬件驱动非线性激活
计算机视觉与模式识别
2017-03-14 v1
摘要
近年来，深度卷积神经网络 (DCNN) 取得了前所未有的进展，在多种任务中达到了接近甚至优于人类水平的感知精度。当前迫切需要将最新的软件 DCNN 映射到专用硬件上，以实现性能、能效和紧凑性数量级的提升。随机计算 (SC) 作为传统二进制计算范式的一种低成本替代方案，有潜力实现 DCNN 的大规模并行和高度可扩展的硬件实现。基于 SC 的 DCNN 面临的一个主要挑战是设计精确的非线性激活函数，这些函数对网络级精度有显著影响，但无法由现有的 SC 计算模块精确实现。在本文中，我们设计并优化了基于 SC 的神经元，并为软件 DCNN 中最常用的三种激活函数，即双曲正切、逻辑斯谛和整流线性单元，提出了高精度的激活设计。在 MNIST 数据集上对 LeNet-5 的实验结果表明，与二进制 ASIC 硬件 DCNN 相比，采用所提出的 SC 神经元的 DCNN 在面积、功耗和能效方面分别实现了高达 61 倍、151 倍和 2 倍的提升，代价是精度的轻微下降。此外，与 CPU 和 GPU 方法相比，SC 方法在面积上分别实现了高达 21 倍和 41 倍的提升，功耗上实现了 41 倍和 72 倍的提升，能效上实现了 198200 倍和 96443 倍的提升，而误差增加不到 3.07%。考虑到 ReLU 激活在小比特流长度下的优越性能，建议将其用于未来基于 SC 的 DCNN。
引用
@article{arxiv.1703.04135,
title = {Hardware-Driven Nonlinear Activation for Stochastic Computing Based Deep Convolutional Neural Networks},
author = {Ji Li and Zihao Yuan and Zhe Li and Caiwen Ding and Ao Ren and Qinru Qiu and Jeffrey Draper and Yanzhi Wang},
journal= {arXiv preprint arXiv:1703.04135},
year = {2017}
}
备注
This paper is accepted by 2017 International Joint Conference on Neural Networks (IJCNN)