神经网络激活函数电路的设计空间探索
神经与进化计算
2018-10-23 v1
摘要
人工神经网络的广泛应用促使研究人员尝试使用 FPGA 和定制 ASIC 设计来加速其计算。这些实现工作通常聚焦于权重乘法和信号求和运算，而较少关注这些应用中使用的激活函数。然而，像指数线性单元（ELU）、缩放指数线性单元（SELU）和双曲正切（tanh）这样的非线性激活函数的高效硬件实现对于设计有效的神经网络加速器至关重要，因为这些函数需要大量资源。在本文中，我们使用纯组合电路探索激活函数的高效硬件实现，聚焦于两个广泛使用的非线性激活函数，即 SELU 和 tanh。我们的实验表明神经网络通常对激活函数的精度不敏感。结果还证明所提出的基于组合电路的方法在速度和面积方面非常高效，在 MNIST、CIFAR-10 和 IMAGENET 基准上精度损失可忽略。Synopsys Design Compiler 综合结果显示，tanh 和 SELU 的电路设计相比基于 LUT/存储器的实现分别可节省 3.13-7.69 和 4.45-8.45 的面积，并且使用 28nm SVT 库可分别工作于 5.14GHz 和 4.52GHz。实现可在以下地址获取：https://github.com/ThomasMrY/ActivationFunctionDemo。
引用
@article{arxiv.1810.08650,
title = {Design Space Exploration of Neural Network Activation Function Circuits},
author = {Tao Yang and Yadong Wei and Zhijun Tu and Haolun Zeng and Michel A. Kinsy and Nanning Zheng and Pengju Ren},
journal= {arXiv preprint arXiv:1810.08650},
year = {2018}
}
备注
5 pages, 5 figures, 16 conference