基于随机计算的神经网络加速设计挑战
信号处理
2020-06-11 v1 机器学习
摘要
最先进神经网络（NN）巨大且持续增长的复杂度阻碍了深度学习在资源受限设备（如物联网（IoT））上的部署。随机计算利用NN固有的易于近似特性来降低其能耗与面积占用，这两项是适用于IoT的小型嵌入式设备的关键需求。本报告评估并比较了两种近期提出的基于随机计算的NN设计，即Sim与Lee于2017年提出的BISC（二进制接口随机计算）和Canals等人于2016年提出的ESL（扩展随机逻辑）。通过分析与仿真，我们从性能、功耗、面积与精度方面比较了这些设计的三种不同实现。我们还讨论了采用随机计算构建NN所面临的整体挑战。我们发现，在执行应用于MNIST数字识别数据集的LeNet-5 NN模型时，BISC优于其他架构。我们的分析与仿真实验表明，该架构比两种ESL架构快约50倍，面积占用少5.7倍和2.9倍，功耗低7.8倍和1.8倍。
引用
@article{arxiv.2006.05352,
title = {Design Challenges of Neural Network Acceleration Using Stochastic Computing},
author = {Alireza Khadem},
journal= {arXiv preprint arXiv:2006.05352},
year = {2020}
}